EAGLE-4让Qwen生成速度提升3.6倍,手机CPU也能提速3倍
2026-10-21 19:13:27
币界网消息,Eagle公司发布了EAGLE-4,升级其推测解码方案,提升了Qwen的生成速度。新版重点降低了草稿模型的计算开销,并能根据硬件性能和并发数量调整预测规模。在4张NVIDIA B300 GPU上,Qwen 3.8-27B的单请求生成速度从每秒240.5 token提高到863.8 token,提升3.6倍在512个请求同时运行时,总吞吐量从每秒2.12万token提高到2.83万,提升34%。手机端也有明显提升,在摩托罗拉Razr 70 Ultra上,Gemma-4-E2B-IT仅靠CPU就实现了3.2倍的长文本生成速度,任务耗时从43秒缩短至14秒,每个token的能耗降低53%。EAGLE-4已公开代码,支持接入SGLang、VLLM和实验性TokenSpeed,但新版改用限制性商业许可证,商业使用需另行授权。
出典:互联网
このコンテンツは市場情報のみを提供するものであり、投資アドバイスを構成するものではありません。
CoinWorld公式アカウントをフォローして最新情報を入手









