微软亚洲研究院

RE-TRAC框架：让AI智能体”记住”失败经验

已发布 2026年7月22日

分享这个页面

想象一下，你让AI助手结合搜索工具探索一个复杂的问题。它第一次探索时走错了方向，但第二次、第三次，它依然重复了同样的错误路径。或许你可以从最终得到的多次探索结果中，挑选出一个勉强满意的答案，但这不仅低效，而且还需要人工干预。这就是当前大多数深度搜索智能体面临的困境——它们无法”记住”之前的探索经验，每次都是从头开始，导致大量冗余搜索和资源浪费。

现有的深度搜索智能体大多基于ReAct框架构建，采用线性的推理方式：“思考→调用工具→观察→再思考”。这种设计在简单任务上表现良好，但在需要多轮探索的深度搜索任务中，往往陷入局部最优、重复探索和低效搜索的困境。

针对这一问题，来自微软亚洲研究院、东南大学等机构的研究员们提出了一种全新的解决方案RE-TRAC（REcursive TRAjectory Compression，递归轨迹压缩）。该框架让AI智能体能够”记住”每次探索的经验，在多个探索轨迹之间传递经验，实现渐进式的智能搜索。相关论文已被ICML 2026 接收。

diagram — 图1：RE-TRAC总览。智能体在每轮探索结束后压缩出结构化状态并传递给下一轮，使探索从”彼此独立的尝试”转变为”渐进式学习”。

论文信息已整理至文末，欢迎点击相关链接，了解更多技术详情。

让探索变成”渐进式学习”过程

ReAct框架的核心问题在于其线性设计。每个探索轨迹都是独立的，模型无法回顾先前尝试的状态。在长上下文场景下，早期制定的计划逐渐被遗忘，关键线索被埋没。

研究员们通过深入分析发现，现有深度搜索模型即使经过大量强化学习训练，其Pass@K性能仍远高于Pass@1。这意味着模型本身具备解决问题的推理潜能，问题在于上下文长度的限制，单次探索难以生成足够多样的探索路径，无法覆盖足够宽广的搜索空间。

RE-TRAC：递归式轨迹压缩

RE-TRAC的核心思想是将探索从一系列独立尝试转变为渐进式学习过程。具体而言，在每个探索轨迹结束时生成一个结构化的状态表示，针对深度搜索任务，记录以下三个维度的信息：

– 答案与分析结论：当前可能性最高的答案与其关键推理结果，可为后续推理提供锚点。

– 证据库与来源验证：已搜集到的证据及其来源，并标记哪些已被查阅、已被验证，从而避免冗余的工具调用和重复检查。

– 不确定项与待探索方向：现阶段需要继续探索验证的角度、曾被遗漏的候选探索分支与曾因失败放弃的探索方向，帮助模型在下一轮中补全未探索的搜索空间。

这个结构化状态将被添加到下一轮探索的输入中，确保智能体在每轮新尝试开始时，都能清楚地了解什么已被验证、什么仍未解决，以及应该将探索重点放在哪里。

小模型也能”以小博大”

研究员们在五个具有挑战性的搜索导向基准上评估了RE-TRAC，包括BrowseComp、BrowseComp-ZH、XBench、GAIA和HLE。

4B 模型性能 SOTA

RE-TRAC-4B在所有小于15B参数的基线中表现最佳。在BrowseComp上达到30.0%的准确率，在BrowseComp-ZH上达到36.1%，在GAIA上达到70.4%，在XBench上达到76.6%，在HLE上达到22.2%。

table — 表1：RE-TRAC 与各基线在五个基准上的准确率对比（缩写：ACC = Accuracy）。

更令人惊讶的是，这个仅4B参数的模型在多个基准上超越了更大规模的模型。在XBench基准上，RE-TRAC-4B的76.6%准确率不仅远超InfoAgent-14B的40.4%（提升了近90%），也超过了NestBrowse-4B的74.0%。在GAIA基准上，RE-TRAC-4B的70.4%准确率超过了AgentCPM-Explore-4B的63.9%和NestBrowse-4B的68.9%。

30B模型的进一步突破

RE-TRAC-30B同样表现出色，在除HLE外的所有基准上都击败了MiniMAX-M2-229B。在BrowseComp上，其准确率达到53%，甚至超过了GLM-4.7-358B的52%。在GAIA上，RE-TRAC-30B击败了所有闭源模型，在BrowseComp和BrowseComp-ZH上排名第二。

这些结果说明，通过轨迹压缩与跨轮次信息传递，小模型在资源受限场景下也能获得接近甚至超过更大模型的效果。

更少的消耗、更高的性能：一种通用的测试时扩展

RE-TRAC不仅可以通过训练提升小模型性能，还可以作为无需训练的测试时扩展（Test-Time Scaling）直接应用于前沿模型。

研究员们在o4-mini、o3、GPT-5、DeepSeek-V3.2、GLM-4.7和MiniMax-M2.1上实现了RE-TRAC框架，并与多数投票（Majority Voting）、加权投票（Weighted Voting）和最佳选择（Best-of-N）等方法进行了对比。

chart, line chart — 图3：将 RE-TRAC 作为测试时扩展方法应用于前沿模型的效果，与多数投票、加权投票、Best-of-N等方法对比。

结果显示，RE-TRAC在所有模型上都达到了最佳或具有竞争力的性能。在BrowseComp300子集上，o4-mini通过RE-TRAC从25.7%提升到46.8%，o3从54.9%提升到69.8%，GPT-5-medium从48.3%提升到66.6%，DeepSeek-V3.2从45.3%提升到60.8%，GLM-4.7从37.7%提升到60.7%。

在传统框架中，由于轨迹相互独立，资源使用量通常随扩展近似线性增长。RE-TRAC会继承之前轮次的状态，使搜索空间逐步收敛，从而减少冗余工具调用与重复探索，提升探索的效率。

如何训练RE-TRAC模型？

研究员们开发了一种后训练方法，构建了基于结构化状态表示的监督微调（SFT）数据。训练数据通过实体树（Entity Tree）方法构建：从维基百科收集大量实体作为树根，然后递归搜索相关实体作为子节点，直到树达到预定义深度。通过选择从根到叶节点的路径并将边转换为子问题，研究员们合成了33K个问答对。然后，利用收集GLM-4.7在这些合成问题上的RE-TRAC（4轮）轨迹，经过过滤后得到104k个训练样本，用于训练RE-TRAC-4B和RE-TRAC-30B模型。

实验结果显示，经过SFT训练后，Qwen3-4B-Instruct在BrowseComp上的准确率从2.7%大幅提升到30.0%，在BrowseComp-ZH上从6.9%提升到36.1%，在GAIA上从24.4%提升到70.4%，在XBench上从45.0%提升到76.6%。这表明通过简单的SFT训练，配合RE-TRAC框架，可以产生强大的搜索智能体，实现与通过大规模强化学习训练的模型相当甚至更好的性能。