论文提出用生产流量驱动的后训练将 200+ 内部应用流量整合到单一自托管 LLM

内容摘要
概述:本文提出了一种利用生产流量驱动的后训练方法,将超过200个内部应用的流量整合到单一自托管的大型语言模型(LLM)中。通过分析生产错误,识别并缩小了指令遵循、函数调用和内部任务分配三个维度的质量差距,从而实现了流量的整合。 要点: 1. 针对数据本地化要求,企业需要自托管LLM,但不断采用新模型而未淘汰旧模型导致服务集群扩大,GPU资源碎片化。 2. 通过生产错误分析,在指令遵循、函数调用和内部任务分配三个维度上缩小质量差距,将200多个内部应用的流量整合到单一模型。 3. 使用离线基准测试来跟踪质量,并通过确定性验证器或校准的LLM评委进行评分。 4. 采用独立GRPO专家对每个维度进行训练,并通过两阶段SLERP合并,每个专家的奖励揭示了不同的失败模式,需要特定领域的解决方案。 5. 在非推理模式下,该模型在内部Arena上超过了参数总数大7倍的基线,指令遵循从0.85提升到0.83,函数调用从0.79提升到0.77,同时提升了通用对话基准,吸收了平台50%的流量,每月处理116M请求,服务成本大幅降低。
概述:本文提出了一种利用生产流量驱动的后训练方法,将超过200个内部应用的流量整合到单一自托管的大型语言模型(LLM)中。通过分析生产错误,识别并缩小了指令遵循、函数调用和内部任务分配三个维度的质量差距,从而实现了流量的整合。

要点:
1. 针对数据本地化要求,企业需要自托管LLM,但不断采用新模型而未淘汰旧模型导致服务集群扩大,GPU资源碎片化。
2. 通过生产错误分析,在指令遵循、函数调用和内部任务分配三个维度上缩小质量差距,将200多个内部应用的流量整合到单一模型。
3. 使用离线基准测试来跟踪质量,并通过确定性验证器或校准的LLM评委进行评分。
4. 采用独立GRPO专家对每个维度进行训练,并通过两阶段SLERP合并,每个专家的奖励揭示了不同的失败模式,需要特定领域的解决方案。
5. 在非推理模式下,该模型在内部Arena上超过了参数总数大7倍的基线,指令遵循从0.85提升到0.83,函数调用从0.79提升到0.77,同时提升了通用对话基准,吸收了平台50%的流量,每月处理116M请求,服务成本大幅降低。

Data-residency constraints force enterprises to self-host LLMs, but continuous adoption of newer models without decommissioning their predecessors expands the serving fleet, fragmenting a finite GPU pool. We consolidate traffic from over 200 internal applications onto a single model by closing quality gaps identified through production error analysis along three axes: instruction following, function-calling, and internal task distribution. Quality is tracked by offline benchmarks stratified to production traffic and scored by deterministic verifiers or calibrated LLM judges. Rather than optimising all objectives jointly, which introduces cross-domain reward interference, we train a separate GRPO expert per axis and merge them via two-stage SLERP. Each expert's reward exposes a distinct failure mode, namely semantic collapse, over-calling, and verbosity hacking, each requiring a domain-specific fix. In non-reasoning mode the recipe surpasses a {sim}7times larger by total parameters baseline on the in-house Arena with 69.6 to 65.8, instruction following with 0.85 to 0.83, and function-calling with 0.79 to 0.77, while lifting general dialogue benchmarks. The model absorbs 50% of platform traffic, 116M requests per month, at a fraction of the serving cost.

原始发布方:HuggingFace Daily Papers(社区热门论文)

原文时间:2026-09-01 08:00:00 +08:00

阅读原文 · 数据来源:AIHOT

提示

本文用于信息整理与经验分享。第三方订阅、支付及账号服务可能调整,实际规则、价格和可用性请以下单页面及服务方最新说明为准。

咨询 GPT 充值咨询充值