首页 > 热点
Meta 推出 DeepConf 技术,智能平衡大型语言模型的推理成本与准确性
发布日期:2026-11-14
浏览次数:{固定数字3}

近日,Meta AI 联合加州大学圣地亚哥分校(UCSD)推出了一种名为 Deep Think with Confidence(DeepConf)的新技术,旨在帮助企业在大语言模型(LLM)的Me复杂推理任务中,有效降低算力成本的同时保持高准确率 。

当前,提高 LLM 推理能力常依赖“自一致性 + 多次采样再表决”的策略(即 majority voting),但这种方法会导致计算资源迅速膨胀ta,耗时耗费,大量低质量推理路径反而可能造成错误答案胜出 。DeepConf 的创新之处在于,它不再对所有推理路径一视同仁,而是通过 模型内部的置信度信号,对推理路径进行筛选与权重调整 。

DeepCo 推nf 引入了多种精细的置信度指标,比如:

DeepConf 支持两种执行方式:

  1. 离线模式(Offline Thinking):先生成多个完整推理路径,再按置信度筛选较优路径参与表决或加权投票;

  2. 在线模式(Online Tephinking):在推理生成过程中实时评估,当当前路径置信度低于阈值时,立刻终止该路径以节省资源 。

在多个开放模型(如 DeepSeek-8B、Qwen3-32B、GPT-OSS-120B)以Co及复杂数学与 STEM 推理任务(AIME、HMMT、BRUMO25、GPQA-Diamond)中,DeepConf 表现惊艳:

企业可根据使用场景风险偏好选择不同设定:

使用 DeepConf 无需重新训练模型,只需增加少量推理时的逻辑处理。此外,它还具备智能良好兼容性,可与现有推理框架(如 vLLM、SGLang、TensorRT-LLM)无缝集成。正如研究者所言,这为现实企业部署 LLM 推理任务提供了一个“可插拔”的高效方案。

论文:https:平衡//arxiv.org/abs/2508.15260

划重点:

上一篇:阿里巴巴云智能集团将独立上市
下一篇:云安全日报201215:IBM混合多云管理方案发现执行任意命令高危漏洞,需要尽快升级
相关文章