新路由层可根据最优模型、优先级、健康状况和成本来分配推理请求，为可预测的 AI 支出提供路径。

美国加州桑尼维尔，11月5日 /PRNewswire/ -- 面向 neoclouds、电信公司和企业 AI 的基础设施编排与变现平台 Rafay Systems 今日宣布，Rafay Token Factory 新增能力，可让运营方控制每一条推理请求运行在哪里，以及它的成本是多少。Rafay 的 Token Router 是一个新的路由层，可根据优先级、健康状况和成本，将每个请求发送到集群内模型部署，或发送到 OpenAI、Anthropic 等外部提供商，以及任何兼容 OpenAI 的端点。Token Budgets 则允许管理员为组织、项目或个人用户设置每日或每月支出上限，并在请求被接纳前执行这些限制。

此次发布的时点反映了 AI 消费方式的变化。Agentic 工作流每个任务消耗的 token 更多，因此即便每个 token 的价格下降，AI 总账单仍在上升；与此同时，团队正把高吞吐工作迁移到开源模型，以控制支出。运营方现在需要让前沿模型和开源模型并行服务，并控制每种模型的成本。

结合使用 Token Factory 和 Token Router 后，运营方可以通过单一端点同时提供前沿模型和开源模型，并在它们之间自动切换流量。企业可以先让团队在日预算内使用前沿模型，等当天预算用尽后，再把他们切换到运行在自有 GPU 上的开源模型，而调用这些接口的应用无需做任何改动。

这些新能力面向两类用户：一类是将开源模型作为服务提供的 neoclouds，另一类是为自身开发者和应用运营内部 token factory 的企业。

一个端点覆盖所有模型

Token Router 位于应用与所有推理运行位置之间。运营方通过一个 API 管理它，给使用者一套凭证，并在一个视图中查看 token 支出。在这个稳定端点背后，运营方可以在不要求用户修改代码的情况下，改变模型来源。

• 外部模型：Token Factory 现在可以将 OpenAI、Anthropic 以及任何兼容 OpenAI 的端点，与集群内模型部署一起提供，且拥有相同的 API 表面、成本跟踪和故障切换控制。
• 优先级路由：每个后端都维护有序的提供商组。流量会先进入优先级最高的组；如果主组不可用，则切换到下一个。常见模式包括先自托管、再在流量高峰时溢出到云端；先前沿模型、再回退到集群内模型；以及跨提供商的多供应商韧性。
• 感知健康状况的路由与负载均衡：请求会在同一组内所有健康的提供商之间均匀分配，其中包括集群内部署与外部 API 的组合。未通过健康检查的提供商会自动退出轮转，恢复后再重新加入。
• 感知成本的计量：运营方可为输入、输出、缓存输入和缓存写入 token 设置按组费率。每个请求都按实际提供服务的组费率计费，即使流量被重新路由，showback、chargeback 和账单仍能保持准确。

不仅是停止请求，而是引导流量的预算

请求速率限制并不能让 AI 支出变得可预测，因为调用一个小模型的成本可能只是几美分的一小部分，而对高级模型发起一次长推理请求的成本则高得多。Token Budgets 直接以金额设限：

• 三个层级：管理员可按组织、每个项目和每个用户设置预算，按日或按月计，使用服务提供商支持的货币。用户的预算会跨项目跟随其本人。
• 在接纳前执行：每个请求在被接纳前都会检查所有适用预算。当预算耗尽时，由运营方策略决定下一步：拒绝后续请求、继续提供服务，或回退到更低成本的模型。其他团队仍可在各自限额内继续工作。
• 默认值与覆盖：新项目和新用户会继承默认预算，管理员可为更重的工作负载提高预算，而无需更改应用或端点。
• 提醒与自助可视化：阈值提醒会在接近上限前通知管理员。开发者可在 Rafay Developer Hub 中查看自己的支出和剩余预算，预算会按日或按月自动重置。

借助基于预算的路由，Token Router 还可以对这些预算做出响应。当某个租户、团队或 API key 接近或达到预算时，Token Router 会把其流量切换到更低成本的组，例如更低价或自托管模型，而不是直接拒绝请求。用户仍能获得回答，支出则保持在管理员设定的限额内。

面向 neoclouds 和企业 token factory 设计

为开源模型提供服务的 neoclouds 现在可以在第一天就把前沿模型加入产品目录，并通过客户已在使用的同一 API 和凭证提供服务。提供商可以向每个客户出售每日额度的前沿模型使用权，并将当天剩余流量路由到其在自有 GPU 上托管的开源模型。客户在最需要的时候获得想要的模型，提供商保持算力利用率，每个 token 都按实际服务模型的费率计费。租户管理员可为自己的项目和用户管理预算，因此提供商无需治理每一位开发者。

运营内部 token factory 的企业，则可以让团队在不产生无上限账单的情况下使用前沿模型。平台团队可以为每个团队或应用设置每日前沿模型额度。开发者先使用前沿模型，直到额度耗尽；随后 Token Router 会把请求切换到运行在公司自有 GPU 上的开源模型，供当天剩余时间使用。应用继续调用同一个端点，额度会在第二天重置。带有按用户筛选和 CSV 导出的 token 使用仪表盘，有助于内部 showback 和 chargeback。

Rafay Systems 首席产品官 Mohan Atreya 表示：“我们合作的每一位运营方都希望提供最好的模型，同时又不把自己的利润率，或者预算，交给别人。Token Router 和 Token Budgets 把这种取舍变成了策略。运营方决定每个请求由哪个模型服务，以及它的成本是多少，而应用无需改变。neoclouds 获得了在保持自有算力利用率的同时出售前沿模型访问权的方式，企业则获得了可预测的 AI 支出。”

Rafay Token Factory 还有这些新功能

• 护栏提供商：任何实现 LiteLLM Generic Guardrail API 的护栏服务，都可以检查路由流量中的提示词和响应，并对集群内模型和外部模型应用相同策略。
• 缓存输入 token 定价：运营方可以对由前缀缓存提供的 token 单独定价，将提示缓存带来的节省传递给 agentic AI 和检索工作负载。
• API key 轮换策略：运维团队可以强制 key 到期、自动轮换并设置重叠窗口，同时在 key 到期前发出提醒。

可用性

Token Router、Token Budgets 以及上述能力现已向 Rafay Token Factory 客户开放。欲了解更多信息或申请演示，请访问 https://rafay.co/request-demo。

关于 Rafay Systems

Rafay Systems 是一家领先的软件提供商，为构建 AI 云的运营方提供支持，包括 neoclouds、电信提供商、企业和主权 AI 运营方。Rafay Platform 使组织能够通过自助自动化、治理和多租户来运营 GPU 和计算基础设施。其能力涵盖裸金属部署、基础设施生命周期管理、虚拟机、Kubernetes、GPU PaaS、AI 开发环境以及用于将 AI 模型发布为按 token 计量推理服务的 Token Factory。通过简化这一技术栈上的编排与运维，Rafay 帮助运营方提高 GPU 利用率，并将原始基础设施转化为可变现、可生产化的 AI 服务，同时保持安全性、一致性和控制力。Rafay 是 NVIDIA AI Cloud Ready initiative 的验证合作伙伴。更多信息请访问 rafay.co。

媒体联系人：Angela Shugarts | Rafay Systems | [email protected] | 303-868-6294

OpenAI 和 Anthropic 是其各自所有者的商标。其他所有商标均为其各自所有者的财产。来源：Rafay Systems。