FreeToken 开源:一张5090跑DeepSeek-V4-Flash,最高25 Token /s
2026-09-01 15:37:47
幣界網消息,FreeToken開源項目由伯克利、MIT等研究人員推出,旨在為本地設備設計的混合專家模型推理引擎,解決超大模型顯存不足的問題。該引擎將部分權重放在系統內存,允許CPU和GPU一起參與推理。實測顯示,配備RTX 5090的臺式機運行284B參數的DeepSeek-V4-Flash,速度可達22–25 Token /s;而在8GB顯存的RTX 4060筆記本上,35B模型的速度達到39.3 Token /s。項目目前支持超過20款MOE模型,並已採用Apache 2.0許可證開源。
來源:互聯網
本內容只為提供市場資訊,不構成投資建議。
關注WalletJYS官方帳號,及時關注最新動態









