大模型日报（6月24日学术篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

学习

华泰 | 机械：核裂变 – 从原型堆到第四代的征程

核电技术从第一代原型堆到第四代高效、安全的反应堆经历了显著的发展。第一代核电站主要用于验证核能发电的可行性，而第二代核电站实现了商业化运营，采用了轻水堆（包括压水堆和沸水堆）和重水堆，其中压水堆使用二回路系统，沸水堆采用一回路系统。第三代核电站进一步提升了安全性，通过采用先进压水堆（如 AP1000、EPR）和先进沸水堆（如 ABWR）等设计改进，增加了多重安全冗余。第四代核电技术聚焦于安全性、经济性和可持续性，推出了包括钠冷快堆、铅冷快堆、气冷快堆、超临界水冷堆、高温气冷堆和熔盐堆等多种创新性技术，以解决核燃料稀缺问题并提高核电站的整体性能。在技术细节上，每种堆型都有其特定的冷却剂和慢化剂，如压水堆使用轻水，而重水堆使用重水，高温气冷堆则采用氦气作为冷却剂。此外，核电站建设涉及复杂的工程项目，包括土建、设备安装和系统调试等多个阶段，整个建设周期通常超过 5 年，且成本占比最大的是设备购置费。随着中国在核电领域的技术进步，国产化率提高，核电设备市场前景广阔，但也需关注核燃料泄漏、核准数量和技术进步等潜在风险。

https://mp.weixin.qq.com/s/l9JAJ2fGsfU656h-xGdj8w

使用Rotation抑制LLM中的Outlier(二)

本文深入探讨了 Rotation 技术在大型语言模型（LLM）中抑制异常值的应用。Rotation 通过对模型参数进行旋转操作，有效减少了异常值对损失函数的影响，提升了模型的泛化能力。技术细节上，Rotation 方法通过计算参数空间的特征向量，确定旋转的方向和角度，以此最小化异常值的干扰。实验结果表明，相比传统的异常值处理方法，Rotation 技术在保持模型性能的同时，更能抑制异常值带来的负面影响。然而，该技术也面临着选择合适旋转角度和平衡信息损失的挑战，未来的研究将集中在优化旋转策略和结合其他异常值处理技术以进一步提高模型的鲁棒性。

https://zhuanlan.zhihu.com/p/704424342?utm_psn=1787295492960505856

机器人运动规划（motion planning）发展到了什么阶段？

机器人运动规划技术目前已进入智能化阶段，通过采样规划算法如 RRT（快速随机树）及其改进版 RRT*，能够在复杂环境中高效搜索路径。同时，优化方法被用于寻找最优解，尽管面临计算效率和实时性挑战。深度学习尤其是深度强化学习，通过学习环境与任务特性，显著提升了机器人在动态环境中的适应性和规划效率。未来发展趋势是这些技术的综合应用，以实现更高级的多机器人协同规划和解决实际应用中的实时性与鲁棒性问题。

https://www.zhihu.com/question/279973696/answer/3535722816?utm_psn=1787453630393139200

你的大语言模型真的对齐了吗？模型本身可能是拒绝对齐的！

本文深入探讨了大语言模型（LLM）的对齐问题，特别是模型参数的弹性现象，即模型可能会抗拒对齐。研究指出，尽管通过监督微调（SFT）和强化学习从人类反馈（RLHF）等方法可以对齐模型，但这种对齐可能不稳定。文章通过理论分析和实验验证了模型弹性的存在，发现模型在面对干扰数据时，倾向于保持预训练分布，而非后续微调的分布。此外，研究表明，模型的弹性与其参数数量和预训练数据量成正比，即更大的模型和数据量会增强模型的弹性。实验结果揭示了逆向对齐（模型从对齐状态恢复到预训练状态）的可能性，并指出这种逆向对齐比正向对齐更容易实现。文章强调，这些发现对于优化微调技术和制定模型开源政策至关重要，需要更加稳健的对齐策略以及在开源前确保模型安全性，以防止潜在的滥用风险。

https://zhuanlan.zhihu.com/p/704550807?utm_psn=1787454198503313408

MLPerf训练4.0发布：Nvidia依然称王，新增能耗和LLM微调基准

MLPerf 训练 4.0 测试新增了能耗指标和大语言模型（LLM）微调基准，NVIDIA 再次证明了其在 AI 领域的领导地位，赢得了所有工作流的冠军。新的基准测试包括了图神经网络（GNN）和 LoRA 技术的 LLM 微调，后者是一种参数高效的微调方法，能显著降低训练时间和计算资源需求。在这次测试中，NVIDIA 的 GPU 展现了卓越的性能，特别是 H200 GPU 在性能上 relatively to H100 GPU 的提升。此外，Intel 的 Habana Gaudi2、Google 的 TPU v-5P 和 AMD 的 Radeon RX 7900 XTX GPU 也显示了强劲的竞争力。MLCommons 通过 MLPerf 基准测试推动了 AI 性能的提升，并为行业提供了评估和比较不同系统性能的工具。多家公司，如 Intel、Juniper Networks、Google、HPE、Fujitsu、Giga Computing、Dell Technologies、联想、NVIDIA、Oracle、Quanta Cloud Technology、Supermicro、Sustainable Metal Cloud (SMC) 和 Tiny Corp，都提交了他们的基准测试结果，这些结果不仅展示了技术进步，也强调了在 AI 训练中能效的重要性。特别是，Sustainable Metal Cloud (SMC) 通过其自主研发的 “Sustainable AI Factories” 平台，实现了在保持世界级性能的同时显著减少能源消耗。这些进展和优化措施为 AI 技术的未来发展奠定了基础，并在推动 AI 技术向更高效、可持续的方向发展中发挥了关键作用。

https://mp.weixin.qq.com/s/oI5OjGt4FRQVk_SYFONWWw

重温SSM（二）：HiPPO的一些遗留问题

文章深入探讨了HiPPO矩阵在离散化和实际应用中的技术细节。文章详细介绍了两种线性ODE系统HiPPO-LegT和HiPPO-LegS的离散化方法，强调了前向欧拉和后向欧拉方法在数值稳定性和精度上的差异。此外，文章分析了LegS型ODE的优良性质，如步长无关性和多项式衰减特性，确保了长尾记忆能力和计算高效性。最后，通过傅立叶基推导，对比了不同基下的记忆效果，进一步深化对HiPPO的理解。

https://kexue.fm/archives/10137

HuggingFace&Github

RTranslator

RTranslator 是一款几乎完全开源、免费、可离线使用的实时翻译应用程序，支持多种对话翻译模式，包括可连接蓝牙设备的对话模式和简单的对讲模式，以及传统的文本翻译功能。它使用 Meta 的 NLLB 和 OpenAI 的 Whisper AI 模型进行翻译和语音识别，在手机上就可以直接运行，无需联网即可使用，确保用户隐私和离线使用时的高质量翻译效果。

https://github.com/niedev/RTranslator

Kosmos-2.5

Kosmos-2.5 是一个强大的多模态文字模型，能够有效处理大量文本的图像数据。它不仅可以生成包含空间信息的文本块，还能产生结构化的 Markdown 格式输出，展现出统一的多模态文字理解能力。这种能力源于其创新的模型架构和训练方法。此外，Kosmos-2.5 还可以通过微调适应不同的文本图像理解任务，成为一个通用的工具。

https://huggingface.co/microsoft/kosmos-2.5