[Feature] qwen 3.6模型在V100上已经支持mtp了吗？ 如何开启mtp支持

[simonjhy]

Motivation

[Feature] qwen 3.6模型在V100上如何开启mtp支持？

谢谢

Related resources

No response

Additional context

No response

[simonjhy]

我在qwen3.6-35b上通过如下参数启用mtp功能

  --speculative-algorithm qwen3_5_mtp
  --speculative-num-draft-tokens 3

但是日志里提示下面的错误。这个是有什么限制吗？

WARNING async_engine.py:129 - speculative decoding is not supported by turbomind

[simonjhy]

if speculative_config is not None and backend == 'turbomind':
logger.warning('speculative decoding is not supported by turbomind')

现在这个是代码里看到这个，是turbowind根本不支持吗？

[lvhan028]

turbomind 还没有增加 speculative decoding 的功能。
请使用 --backend pytorch