编辑：马青禾
浙江大学与蚂蚁集团联合实验室推出 LightThinker：革新大语言模型高效推理的新范式
随着大语言模型（LLMs）在复杂问题推理领域的重要性日益增长，如何提升其性能与效率成为研究重点。近日，浙江大学、蚂蚁集团及其联合实验室联合研发了一种名为“LightThinker”的全新技术方案。这一突破性方法通过动态压缩中间推理过程中的冗长信息，不仅显著降低了内存占用和计算成本，还在模型的推理能力上保持了高度的准确性，为解决当前LLMs的推理效率瓶颈提供了重要方向。
当前，大语言模型在诸如数学问题求解、代码生成等领域的推理性能得到了极大提升，方法如“链式推理（Chain-of-Thought，CoT）”将复杂问题分解为一系列子步骤。然而，这种方法通过生成大量中间推理步骤，不可避免地增加了计算开销和内存占用，尤其是在基于Transformer架构的模型中，随着上下文长度的增加，注意力机制的复杂度呈二次增长，导致存储和计算资源的需求暴增。
为应对这一挑战，研究者提出了LightThinker，以人类认知为灵感，通过压缩推理过程中冗长的中间信息，生成更加紧凑的表示，并有效舍弃不必要的推理链条，从而减少上下文窗口中的Token数量。这种动态压缩方法显著降低了模型推理的内存峰值使用及时间成本。
LightThinker的核心在于引入“依赖性度量（Dependency Metric）”这一指标，用于量化模型生成过程中对历史Token的依赖程度。基于该指标，研究者设计了两种压缩方式——Token级压缩和推理级压缩。与现有的基于裁剪（Pruning）或合并（Merging）的KV缓存优化方法相比，LightThinker无需额外的逐Token裁剪策略，大幅减少了因裁剪带来的推理时间开销。
实验表明，与其他五种主流加速方法相比，LightThinker不仅在保持良好推理性能的情况下实现了相似的压缩率，还显著优化了推理效率。例如，对于Qwen2.5-7B和Llama3.1-8B两个模型，LightThinker分别将推理时间降低了52%和41%。尤其是相比H2O技术在长文本生成中的表现，LightThinker在不牺牲性能的前提下显著减少了推理所需的计算资源。
研究团队基于包括Bespoke-Stratos-17k数据集的全参数微调，对LightThinker的性能进行了广泛的验证。实验涵盖四个具有代表性的数据集，通过效果和效率两个维度对比多种基线方法。结果显示，传统基于Greedy解码的Distill-R1方法普遍存在重复现象，导致性能显著落后于CoT方法，而H2O尽管在内存占用方面有所优化，却因逐Token的策略造成推理时间的大幅增加。
与此相比，LightThinker在推理效率方面表现优异，特别是在复杂任务中的资源占用和响应时间显著优化，这使其成为复杂推理任务中最具应用潜力的解决方案之一。
尽管取得了诸多进展，研究团队也认识到LightThinker的潜在局限性。例如，当前的研究尚未探讨其与LoRA或QLoRA等参数高效微调方法的兼容性，训练数据集规模的扩大可能带来的性能提升尚不明确。此外，在小规模数据集上的训练中，Llama系列模型的效果仍存在一定程度的退化现象。
然而，作为一种高效推理的新范式，LightThinker 的推出无疑为 LLMs 的持续优化提供了全新思路。从减少计算资源需求，到提升推理效率和准确性，未来 LightThinker 的扩展与完善将进一步推动大语言模型在医学、图像生成、编程辅助等领域的广泛应用。
研究团队表示，
[AI之星网出品] [高效推理解决方案] [大语言模型优化技术] [动态压缩方法应用] [链式推理效率提升] [机器姬][真机智能][机器洞察网][AI之星网][风投高科网][猛虎财经网][硅基科学网]
推理性能被提上热点话题，看来人工智能真正迈向又快又准的时代了！
LightThinker在性能上如此亮眼，仿佛是人工智能领域的一道光，照亮了未来的无限可能。