幣界網消息，螞蟻百靈開源了大模型推測解碼方案UBTree。該方案通過並行篩選草稿樹，讓小模型提前「打草稿」，再由大模型一次驗證多個token，從而減少逐個生成所需的計算輪次。UBTree改進了篩選方法，先並行預測後面幾個位置可能出現的token，再用輕量級模型判斷相鄰token能否合理銜接。經過調整，使用dflash選擇器構樹的平均加速比為5.95倍，換成ubtree選擇器並調整訓練方法後，提高到6.88倍，進一步提升約16%。