AI 论文精读｜每日精选论文

长程智能体推理面临两个难题：轨迹分支越来越多、奖励稀疏，这让强化学习的短板被放大——基于反向传播的训练栈太重，难以微调更大的 LLM；轨迹变长后，信用分配也变得更困难。论文认为，进化策略（ES）是比 agentic RL 更适合长程智能体微调的选择，并给出三点理由：一是模型可扩展性，ES 只需推理级 GPU 显存就能做全参数优化，让大模型微调成为可能；二是灵活性，轻量黑盒反馈接口让 ES 微调容易与提示词空间进化组合，比如技能优化和测试时计算；三是长程可扩展性，ES 在轨迹层面做参数归因，无需跨时间步分解奖励，随着轨迹变长，扩展性优于 agentic RL。

基于这一思路，论文提出 Agentic ESOpt，一个面向参数与上下文协同进化的全参数智能体微调框架。每一步，它在当前 LLM 参数周围采样扰动，用奖励评估生成的智能体，再应用在线奖励加权更新。为了平衡探索与适应，框架引入扰动尺度 σ 的余弦衰减调度。

实验方面，在 WebArena-Lite 上，Qwen-3.5-27B 的全参数优化相对 No Skill 基线提升 6.69%。在测试时自动启发式设计任务中，Agentic ESOpt 做在线提示词与参数协同进化，在 36 个设置中的 28 个上超过匹配基线。

强化学习配合组内相对优势已成为语言模型推理能力后训练的主流范式。但当面对多个奖励目标时，现有方法通常先用固定加权和把奖励向量标量化，再做组内标准化。论文指出这种设计带来两个根本问题：具有不同奖励分布的 rollout 可能获得完全相同的优势值；所有目标都按固定相对权重优化，完全不考虑各自当前的饱和程度。结果是训练持续把梯度预算分配给已经解决的目标，而不是留给提升空间更大的目标。

为此作者提出 Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization（SA-MRPO）。该方法对每个奖励目标独立做标准化，并根据批级别的目标饱和估计自适应地折扣其贡献，从而动态地把优化努力重新分配给尚未充分优化的目标，同时经验上保持已满足目标的性能。论文进一步证明，饱和感知的权重重分配可以反转更新的符号，而不只是缩放其幅度。

实验覆盖多个任务。在数学推理的二元和三元奖励组合中，SA-MRPO 在 15 项基准对比里有 12 项优于 GDPO 的更难正确性目标，AIME24 上最高提升 5%。在自适应推理任务上，五个基准全部提升准确率，平均提升 3.8%，AMC23 上最高达 9.2%。代码基准的通过率最高提升 2.3%。所有设置下，较容易的目标都维持在已满足水平附近。

ARF将权威关系（AR）定义为跨域原语，绑定行动者、行动、对象、受限情境、论证链，以及一个名为DNA系数的校准度量——该系数捕捉文档化权威结构与实际运作中权威之间的偏差。框架提供权威来源和范围的机器可解释表示，包含JSON-LD表示形式和用于权威解析的知识图谱查询模式。

ARF旨在支持AI智能体在执行关键行动之前确定权威的来源、范围和情境有效性。该框架将权威解析定位为知识表示与推理问题，处于本体工程、语义AI、智能体AI和AI治理的交叉点。

史前手印的性别判定长期面临三大难题：缺乏真实标注、当代与史前人群的体质差异、图像退化带来的不确定性。传统形态测量方法在性别间结构重叠度高、跨人群泛化能力差，且依赖主观特征工程。

该框架显式地在整个分析流程中建模、传播并聚合不确定性。方法结合双图像处理、双轮廓提取、结构化剪影增强、模型架构多样性和集成决策聚合。每个手印模板生成十二种可能的剪影实现以捕捉边界不确定性，交由两个各含十个深度神经网络的集成处理，分别基于EfficientNet-B3和MobileViT-S架构，训练数据为14,036个当代手部样本。

验证环节采用三角化方案，将集成预测与无监督二维潜空间流形映射（UMAP加k-NN）以及可解释AI空间归因（LayerCAM）结合，确保解剖一致性。在当代数据上，集成模型在较大年龄组中分类准确率超过88%。应用于史前手印时，框架同时输出性别预测和内部一致性置信度，可区分形态稳定与模糊案例。

集成预测、潜空间结构和可解释性分析的收敛表明，不确定性可以成为考古推断的可测量组成部分，为古代岩画的稳健可复现解读提供新路径。

研究团队将多模态内容转化为结构化媒体的过程，抽象为长周期智能体任务，核心在于模型与框架系统的协同。一个理想的框架系统需要满足两点：一是符合人类设计偏好，二是能通过实践积累可复用经验，驱动自我改进。然而现有系统多为固定范式，无法实现这一闭环。

AutoDesign的核心思路是引入元框架优化器，它像一个“教练”，观察代码智能体在任务中的表现，基于执行反馈指导其改进底层框架。这种递归优化机制使系统能够从每次尝试中学习，逐步逼近更优的设计策略。

为验证框架有效性，团队聚焦“学术论文转海报”这一具体任务，构建了PosterBench基准，包含覆盖五个学科的100篇论文主测试集，以及10篇论文的mini子集用于受控对比。在主测试集上，AutoDesign取得78.32分的最高成绩，超越闭源商业系统Claude Design达7.45分。在七种受控代码智能体模型配置下，集成学习到的DesignHarness均能稳定提升性能，平均得分从54.99升至67.39，增幅12.4%。

在完全自主的长周期运行中，AutoDesign在40分钟内执行253次工具调用和11轮编辑，成本不足3美元，生成结果达到会议海报平均质量水平。系统盲测人类偏好研究进一步显示，AutoDesign在多个评估系统中获得最高的人类偏好率。

空中视觉语言导航（VLN）要求智能体在部分可观测条件下，随时间整合视觉证据、规划未来动作，并判断是否到达导航目标。尽管近期VLA模型提供了从感知到动作的可行范式，但将其适配到空中导航仍面临历史上下文有限、规划视野短、隐式终止不可靠等挑战。

针对这些问题，DreamFly框架引入三项核心设计。第一，因果对齐的历史记忆模块，仅使用当前决策步骤之前的观测来增强视觉表征，支持时间推理且避免未来信息泄漏。第二，滚动时域扩散规划策略，预测K步动作块但只执行第一步后重新规划，以未来动作作为辅助规划目标，同时保留闭环视觉反馈。第三，LiteStop模块直接从初始全掩码状态的动作logits估计停止概率，将显式终止判断与动作生成解耦。

实验在OpenFly基准上进行，DreamFly在测试可见与不可见分割上分别达到32.04%/29.46%的SR和28.22%/23.54%的SPL，两项指标均优于所有对比方法，并取得最低导航误差。结果表明，联合建模历史上下文、未来动作结构与显式终止对空中VLN任务有效。