川海智库

报告概述

本报告研究大型语言模型（LLMs）在推理任务中的效率问题，提出通信语言符号路由（CLSR）框架。该框架让多个LLM代理自主发明、进化和共享紧凑的语言符号框架（LSFs），并通过无潜空间的路由器根据查询自适应选择和组合这些语言，以优化准确率与标记成本的权衡。报告覆盖多种推理基准，分析符号协议如何替代冗长的自然语言推理链，并提供了理论下界证明。读者可以了解如何通过符号通信提升LLM推理的token效率，以及多智能体语言进化的机制。

报告的核心结论

CLSR框架大幅减少生成token同时保持推理准确率。

在七个推理基准和多个开源LLM上，CLSR相比标准思维链（CoT）将生成完成token减少约6倍，同时准确率不变或略有提升。这源于紧凑的符号协议替代了冗长的自然语言叙述，使得每个token携带更多任务相关信息。

多智能体协作进化出高效符号语言。

CLSR中多个LLM代理通过进化循环迭代提出、评论和变异LSFs，选择高杠杆（正确且token高效）的轨迹。代理多样性促进符号约定探索，最终形成收敛的鲁棒符号语言，这是单代理提示优化无法实现的。

自适应路由实现实例级计算分配。

路由器根据查询难度选择单一LSF、聚合多个LSF或多轮组合协议。简单查询使用低成本单轮，困难查询分配更多token进行验证和修正。这种动态分配使整体token预算更高效，避免固定推理链的浪费。

符号协议可内化程序执行逻辑。

理论分析表明，在解释器可实现性前提下，多轮多LSF协议可以条件性地包含程序执行（PoT/PAL）的效果。实验验证CLSR在不依赖外部执行器的情况下，匹配或超越了程序基线，证明了符号表示的计算能力。

报告回答的关键问题

大型语言模型如何通过符号通信提高推理效率？

CLSR框架让多个LLM代理发明紧凑的语言符号框架（LSFs），这些框架使用简洁的符号、语法和约束替代冗长的自然语言推理步骤。路由器根据查询自适应选择或组合LSFs，仅生成必要的token，从而在不牺牲准确率的情况下大幅降低推理成本。

多智能体语言进化在推理中发挥什么作用？

多智能体通过进化循环产生多样化的LSFs：不同的代理提出不同“方言”，选择机制保留正确且token高效的协议，跨代传播和融合。这种社会语言学过程比单代理优化更鲁棒，能发现更紧凑、可重用的符号惯例，提升推理效率。

CLSR框架如何优化准确率与token的权衡？

CLSR使用无隐状态的路由器，依据LSF配置文件（准确率、token占用、失效模式）选择最便宜的可能正确的协议。对于简单查询，单LSF直接回答；复杂查询则启动多伦协议或聚合多个LSF。实验显示，CLSR在给定token预算下实现更高准确率，或在更低token下达到相同准确率。

符号推理轨迹是否比思维链更可解释？

CLSR的LSF轨迹紧凑且以约束为导向，便于检查缺失约束、变量绑定不一致或算术错误。虽然不保证忠实于模型内部因果性，但相比长篇幅叙事式CoT，LSF更易分析中间步骤，提高了可审计性。

报告中的代表性数据

约6倍

生成token减少倍数

多个基准测试，与标准思维链（CoT）相比，CLSR将面向延迟生成的完成token减少了约6倍，同时保持了准确率。数据来自七个推理基准和四个LLM骨干网络。

以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。

完整报告包含什么

  • 完整的实验设置与基准测试：涵盖7个推理基准（MMLU-Pro、GPQA、GSM8K、MATH500、AIME21-24、ScienceQA、HotpotQA）和4个开源LLM骨干（LLaMA3-8B、Qwen3-8B/32B、DeepSeek-R1）。
  • LSF进化过程与提示模板：提供种子示例、LSF合成、变异、路由卡蒸馏等详细提示模板，以及多智能体进化的具体参数（温度、种群大小、进化世代）。
  • 多臂老虎机路由策略：两阶段路由（类别筛选→协议规划），紧凑DSL计划格式（M/L/R/K/A/S字段），以及执行语义（单次、聚合、组合模式）。
  • 理论证明与信息论下界：最优CLSR策略的存在性、准确率与token成本的帕累托特征、生成有效答案的最小token下界，以及CLSR条件包含程序执行管道的定理。
  • 跨模型迁移与鲁棒性分析：交换LSF生成器与推理骨干的迁移效果，初始种群规模、种子稳定性、长上下文试点、分类/全池路由、跨域迁移等消融实验。
  • 代表性案例与定量比较：在GPQA、MATH500、AIME等基准上的CoT与CLSR轨迹对比，展示LSF如何压缩推理、修正错误，以及多轮LSF协议的作用机制。
  • 延迟分解与缓存感知token等价计费：使用TTFT/TPOT测量、缓存感知指标混淆生成token与输入token，证明CLSR在实际部署中的优势。

本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。

相关报告