我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

学术分析报告：ResearchFlow — 奇绩F23校友的开发的深度研究产品，PC端进入RFlow的分析报告，可直接点击节点右侧的小数字展开节点，登录后可在节点上直接“询问AI”，进一步探索深度信息

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

信号

Synthetic Data Can Mislead Evaluations: Membership Inference as Machine Text Detection

本文探讨了成员推断攻击（MIA）在大型语言模型（LLM）中的隐私问题，尤其是它们是否能够记忆训练数据。MIA的应用不仅关乎隐私保护，还涉及版权违规检测、测试集污染识别和专有数据审计等问题。然而，现有研究显示，MIA在开源模型上的效果远低于预期，几乎接近随机猜测，质疑了其可靠性。此外，现有评估协议存在方法论问题，例如依赖时间序列变化引入的混杂分布差异，或成员与非成员之间的n-gram重叠问题，从而导致评估结果缺乏意义。

为了应对这些挑战，研究者们开始使用合成数据进行MIA评估，以规避时间性偏差和训练集重叠问题。然而，本文指出，这一方法存在根本缺陷：某些MIA错误地将合成数据归类为训练成员，这表明这些攻击更多是在检测机器生成的文本，而非真实的成员数据。这一现象暴露了合成数据用于评估模型记忆性和隐私泄漏的局限性，尤其是在合成数据日益成为语言模型评估协议的一部分时。

我们通过实验验证了这一问题，展示了MIA在使用机器生成的非成员数据时，性能显著下降。以GPT-Neo 2.7B为目标模型，LLaMA 3.1为生成器，我们发现当将非成员替换为机器生成的文本时，AUC值从0.66降至0.20，即使使用更强大的生成模型如GPT-3.5，AUC仍然低于0.5。这表明，MIA在识别训练成员时，偏好合成数据而非真实的训练数据。我们在五种生成器模型、两种数据子集和五种不同的MIA中反复验证了这一现象，结果一致，除了Zlib压缩攻击外。

这一发现对语言模型评估有更广泛的影响，提示使用合成数据的评估方法存在系统性偏差。许多评估协议使用机器生成的文本，包括机器翻译、语言模型之间的互评以及其他基于合成数据的训练与评估。我们的结果表明，这些评估可能并未测量预期的属性，而是在检测机器生成的文本特征，这提出了几个重要问题：如何评估语言模型互评的可靠性？合成数据评估是否只是检测机器生成的特征而非目标属性？为什么合成文本的行为在不同模型架构中如此一致？

原文链接：https://arxiv.org/abs/2501.11786

Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling

本文探讨了如何通过强化学习（RL）扩展大型语言模型（LLM）在推理任务中的能力，并提出了T1模型，该模型在推理能力和推理扩展性方面表现出色。与传统的模仿学习方法不同，T1通过RL训练来实现自我探索和反馈学习，从而提升了模型的推理能力和推理扩展行为。现有研究主要依赖于重复采样和辅助验证器来提高推理精度，但这些方法无法根本提升模型的推理能力，且推理成本较高。本文提出的T1通过鼓励更广泛的探索来扩展RL训练，同时采用适当的惩罚机制以保持训练稳定性，从而克服了这些问题。

T1的创新之处在于两个方面：一是通过合成的链式思维数据进行强化学习前的调优，扩展了探索空间，避免了以往研究只关注正确步骤而忽视整体思维过程的局限性；二是在RL训练中，采用高温度生成、令牌级别的熵奖励和KL归一化策略来促进多样化的采样，从而提高模型生成的多样性并避免过度正则化。这些措施有效避免了生成重复或无意义输出的情况，保持了训练的稳定性。

此外，本文提出了一种新的推理扩展度度量方法，通过明确区分推理步骤和最终答案的生成，研究推理成本如何影响模型的表现。实验结果表明，随着RL训练的扩展，T1在推理任务中展现了更强的推理扩展性，随着训练步骤的增加，推理性能持续改善。

T1模型在多个挑战性数学推理基准测试中表现优异，例如在MATH500、AIME2024和Omni-MATH-500上，T1（以Qwen-32B为基础模型）显著超越了最新的Qwen QwQ-32B-Preview模型。这表明，T1不仅提升了模型的推理能力，还展示了在推理扩展性上的巨大潜力，为强化学习在LLM推理中的应用提供了新的思路。

原文链接：https://arxiv.org/abs/2501.11651

元资助

Coarse-to-Fine Process Reward Modeling for Enhanced Mathematical Reasoning

本文针对大语言模型（LLMs）在数学推理任务中的应用，提出了一种新的“粗到细”过程数据收集与训练框架。数学推理任务与常规任务不同，后者一般使用标准奖励模型或结果奖励模型（ORM）来评估输入指令，而数学推理需要一个过程奖励模型（PRM）来为每个步骤提供中间监督信号。这种过程奖励模型有助于识别每个步骤中的错误或关键步骤，因此，训练PRM需要逐步标注的数据集。然而，现有的方法往往依赖人工标注，成本高且限制了其广泛应用。为了解决这一问题，文中提出了一种自动化注释机制，利用蒙特卡洛树搜索（MCTS）算法来收集步骤数据，并定义通过中间步骤推导正确答案的潜力。

尽管已有方法解决了步骤奖励分配问题，但它们忽略了步骤粒度的重要性，导致过程数据收集效果不理想。例如，MCTS收集的数据中，尽管步骤的最终答案错误，但许多早期步骤没有信息增益，且部分步骤的内部错误未被检测到。这些问题阻碍了高质量推理数据的收集，进一步影响了PRM的优化与泛化能力。

为此，本文提出了一个新的粗到细框架，针对过程数据收集和训练进行改进。具体来说，框架通过定义一个步骤窗口大小C来表示初始的步骤粒度，每C个步骤合并为一个整体步骤，且合并后的标签由最后一个步骤的标签决定。接着，逐步减少C，直到C为1，收集不同粒度的训练数据。这种方法能够有效缓解冗余步骤和细微错误的问题。在训练过程中，模型也按粗到细的方式进行微调，从粗粒度的步骤逐渐过渡到细粒度的步骤，帮助模型从不同粒度的数据中学习推理能力。

通过这一框架，模型能够在不同的推理任务中取得更好的性能，本文在多个推理数据集上验证了该方法，实验结果一致表明该框架在性能上有显著提升，证明了其有效性和可行性。此研究不仅提供了新的数据收集和训练策略，也为大语言模型在数学推理等复杂任务中的应用提供了有力的支持。

原文链接：https://arxiv.org/abs/2501.13622

HuggingFace&Github

00Arxiver开源：包含 138,830 篇 arXiv 论文的多Markdown格

Lightpanda Browser：为AI设计的无头模式浏览器

Lightpanda 是一款开源浏览器，专为无头模式（headless）使用而设计，提供了极高的性能和较低的资源占用，适用于 AI 代理、LLM 训练、数据抓取和自动化测试等场景。
高效的 JavaScript 执行：支持 JavaScript 执行，能够处理动态网页内容
部分 Web API 支持：支持常见的 Web API
与 Playwright 和 Puppeteer 的兼容性：通过 CDP（Chrome DevTools Protocol）兼容 Playwright 和 Puppeteer
极低的内存占用和超快执行速度：比 Chrome 占用内存少 9 倍，执行速度比 Chrome 快 11 倍，几乎瞬间完成启动。