大模型日报（8月2日学术篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

论文

AgentGen: 通过环境和任务生成增强基于大语言模型智能体的规划能力

大语言模型（LLM）智能体受到了极大关注，逐渐流行起来。规划能力是LLM智能体的关键组成部分，涉及与环境互动并执行动作以完成规划任务，通常包括从初始状态实现期望目标。本文研究通过指导微调（也称为智能体训练）增强LLM的规划能力。最近的研究表明，利用专家级的轨迹进行指导微调LLM有效增强了它们的规划能力。然而，现有的工作主要侧重于从手动设计的规划任务和环境中综合轨迹。手动创建这些环境和任务的劳动密集性阻碍了生成足够多样和广泛的轨迹。为解决这一局限，本文探讨了自动生成多样化环境和逐渐范围规划任务（从简单到困难）。我们提出了一个框架AgentGen，利用LLM首先生成环境，然后生成基于这些环境的规划任务。评估结果表明，AgentGen极大地提高了LLM的规划能力，例如，AgentGen指导微调Llama-3 8B的整体表现超过了GPT-3.5。此外，在某些任务中，它甚至胜过了GPT-4。

http://arxiv.org/abs/2408.00764v1

Intermittent Semi-working Mask：LLM的新蒙版范例

多轮对话是人类与大语言模型（LLMs）之间的一个关键交互方式，因为对话延伸至多个回合，在保持LLMs高生成质量和低延迟方面是一个挑战。主流LLMs可根据掩盖策略分为两类：因果LLM和前缀LLM。一些研究表明，在严重依赖历史上下文的场景中，如多轮对话或背景学习中，前缀LLMs往往优于因果LLMs，这要归功于它们对前缀序列的双向关注。然而，前缀LLMs在多轮对话数据集中存在固有的训练问题。此外，前缀LLM的注意机制使其无法跨对话轮重复使用键-值缓存（KV缓存）以减少生成延迟。在本文中，我们提出了一种名为间歇半工作掩码（ISM）的新的掩码方案来解决这些问题。具体来说，我们在对话历史中的查询和答案上交替应用双向和单向注意力。这样，ISM能够同时保持前缀LLM的高质量和因果LLM的低生成延迟。大量实验证明我们的ISM取得了显著性能。

http://arxiv.org/abs/2408.00539v1

QUITO: 通过查询引导的上下文压缩加速长上下文推理

摘要：最近，上下文压缩因其可以在很大程度上减少大语言模型的推理复杂性和计算成本而受到越来越多的关注。本文介绍了一种新颖的Query-gUIded aTtention cOmpression（QUITO）方法，利用问题对上下文的注意力来过滤无用信息。具体来说，我们使用一个触发token来计算上下文对问题的注意力分布。基于这个分布，我们提出了三种不同的过滤方法来满足上下文长度的预算约束。我们使用两个广泛使用的数据集NaturalQuestions和ASQA来评估QUITO。实验结果表明，QUITO在各种数据集和下游LLMs上显著优于已建立的基线模型，突出了它的有效性。我们的代码可以在https://github.com/Wenshansilvia/attention_compressor找到。

http://arxiv.org/abs/2408.00274v1

在大语言模型中通过负关注得分对齐来纠正负偏差

摘要：本文研究了语言模型在复杂推理任务的二元决策中表现出的负偏见，并提出了负注意力分数（NAS）来系统地量化这种负偏见。通过NAS，我们发现了关注负标记的注意力头，不考虑提示中的问题，将其作为二元决策的答案候选，并验证了它们与负偏见的关联。此外，我们提出了负注意力分数对齐（NASA）方法，这是一种参数高效的微调技术，用于解决提取的具有负偏见的注意力头。实验结果显示NASA显著减少了负偏见造成的精确度和召回率之间的差距，同时保持其泛化能力。我们的代码可在url{https://github.com/ysw1021/NASA} 上找到。

http://arxiv.org/abs/2408.00137v1

开放权重LLMs的防篡改保障

快速发展的大语言模型（LLMs）的能力引发了对其潜在恶意使用的广泛关注。开放权重的LLMs面临独特挑战，因为现有的防护措施对修改模型权重的篡改攻击缺乏稳健性。我们提出了一种名为TAR的方法，用于在开放权重的LLMs中构建耐篡改的保护措施，使对手即使经过数千步微调也无法移除保护措施。我们的结果表明，耐篡改是一个可行的问题，为提高开放权重LLMs的安全性和安全性开辟了一个有前途的新途径。

http://arxiv.org/abs/2408.00761v1

加速全波形反演的迁移学习

全波形反演（FWI）是一种强大的工具，根据波传播获取的稀疏测量数据重建材料场。针对特定问题，使用神经网络（NN）离散化材料场可提高相应优化问题的稳健性和重建质量。我们称这种方法为基于NN的FWI。本文介绍了一种新颖的迁移学习方法，进一步改进了基于NN的FWI。该方法利用监督预训练提供更好的NN权重初始化，导致后续优化问题更快地收敛。我们的计算实验在二维区域进行，培训数据集包括不同形状和方向任意位置的椭圆空洞的参考模拟。与其他三种方法相比，我们的结果表明，迁移学习NN-based FWI在收敛速度和重建质量方面优于其他方法。

http://arxiv.org/abs/2408.00695v1

关于机器反学习用于生成人工智能的局限性和前景

生成AI（GenAI）旨在从潜在变量或其他数据模态中合成逼真且多样化的数据样本，在自然语言、图像、音频和图表等各个领域取得了显著成就。然而，这也给数据隐私、安全和道德带来挑战和风险。机器消除学习是在不影响模型在其他数据或任务上的表现的情况下，移除或削弱训练模型中特定数据样本或特征的影响的过程。本文提供了对于GenAI的机器消除学习方法的深入探讨，并从基准、评估指标和效用-消除学习权衡三个方面展望未来发展。

http://arxiv.org/abs/2408.00376v1

ABC Align：安全与准确性的大语言模型对齐

摘要：大语言模型（LLMs）的对齐仍然是一个未解决的问题。人类偏好是高度分散的，可以在多个抽象级别上捕捉，从个体到多元化人群。组织偏好，由标准和原则表示，旨在减轻声誉风险或满足法律义务。在本文中，我们提出了ABC Align，一种新颖的LLMs对齐方法，能够将大型媒体组织的标准和偏好整合到LLM本身中。我们结合了一组数据和方法，借鉴了最近在合成数据生成、偏好优化和训练后模型量化方面的突破。我们统一的方法减轻了偏见并提高了准确性，同时保留了根据标准基准测试得出的推理能力。