大模型日报（4月24日学术篇）

欢迎观看大模型日报，进入大模型日报群和空间站（活动录屏复盘聚集地）请直接扫码。社群内除日报外还会第一时间分享大模型活动。

欢迎大家一起交流！

论文

多头专家混合模型

稀疏专家混合模型（SMoE）通过扩展模型容量，而不会显著增加训练和推断成本，但存在两个问题：（1）专家激活低，仅有少数专家用于优化；（2）缺乏对每个标记内多个语义概念的细粒度分析能力。我们提出了多头专家混合（MH-MoE）模型，采用多头机制将每个标记分成多个子标记。这些子标记然后分配给并由一组多样化的专家并行处理，然后无缝重新集成为原始标记形式。多头机制使模型能够共同关注来自不同专家的各种表示空间的信息，显著增强专家激活，从而加深上下文理解并缓解过拟合。此外，我们的MH-MoE易于实现，并且与其他SMoE优化方法解耦，易于与其他SMoE模型集成以提高性能。在英语焦点语言建模、多语言建模和遮蔽多模态建模任务上的广泛实验结果表明了MH-MoE的有效性。

http://arxiv.org/abs/2404.15045v1

OpenELM: 一个拥有开源训练和推理框架的高效语言模型系列

摘要：重现性和透明度对于推进开放研究、确保结果的可靠性以及进行数据和模型偏见、潜在风险的调查至关重要。为此，我们发布了OpenELM，一个最先进的开放语言模型。OpenELM使用一种逐层缩放策略来有效地分配每个Transformer模型层中的参数，从而提高准确性。例如，在大约10亿参数的参数预算下，OpenELM相比于OLMo在精度上提高了2.36%，同时需要较少的预训练令牌。我们的发布包括完整的训练和评估语言模型的框架，在公开可用的数据集上进行训练，包括训练日志、多个检查点和预训练配置。我们还发布了将模型转换为MLX库以在苹果设备上进行推理和微调的代码。这一全面发布旨在赋予和加强开放研究社区，为未来的开放研究努力铺平道路。我们的源代码以及预训练模型权重和训练配方可以在https://github.com/apple/corenet找到。此外，模型可以在HuggingFace上找到：https://huggingface.co/apple/OpenELM。

http://arxiv.org/abs/2404.14619v1

Pegasus-v1 技术报告

这份技术报告介绍了Pegasus-1，一个专门用于视频内容理解和通过自然语言交互的多模态语言模型。Pegasus-1旨在应对视频数据带来的独特挑战，如解释时空信息，从而在各种长度范围内提供细致的视频内容理解。本技术报告概述了Pegasus-1的架构、训练策略以及在视频对话、零样本视频问题回答和视频摘要等基准测试中的表现。我们还探讨了Pegasus-1的定性特征，展示了其能力以及局限性，从而为读者提供一个对其当前状态和未来方向的平衡观点。

http://arxiv.org/abs/2404.14687v1

NExT：教大语言模型推理代码执行

摘要：人类开发者的基本技能之一是理解和推理程序执行过程。然而，大语言模型(LLMs)通常是在程序的表面文本形式上训练的，因此可能缺乏对程序在运行时执行方式的语义理解。为了解决这个问题，我们提出了NExT方法，教导LLMs检查程序的执行路径（执行行的变量状态）并通过思维链（CoT）推理对它们的运行时行为进行推理。具体来说，NExT利用自我训练来启动一个合成的训练集，其中包括导致正确任务解决方案（例如修复程序）的执行感知理由，而无需费力的手动注释。基于MBPP和HumanEval的程序修复任务的实验表明，NExT分别将PaLM 2模型的修复率提高了26.1%和14.3%，理由的质量也显著提高，经由自动度量和人工评分验证。我们的模型也可以推广到在测试时缺少程序追踪的情形。

http://arxiv.org/abs/2404.14662v1

走向更小、更快的解码器专用Transformer：架构变体及其影响

最近，大语言模型（LLMs）的研究呈指数增长，主要集中在Transformer为基础的架构上，[1] 引入并由[2]的仅解码器变种进一步发展。当代研究通常旨在通过增加架构复杂性和训练数据量来提高模型能力。然而，研究如何减小模型尺寸同时保持性能的研究有限。本研究对仅解码器Transformer架构进行了三项修改：ParallelGPT（p-gpt）、LinearlyCompressedGPT（lc-gpt）和ConvCompressedGPT（cc-gpt）。这些变体在代码生成任务中实现了与传统架构可比的性能，同时受益于减小的模型尺寸和更快的训练时间。我们开源模型权重和代码库，以支持未来在这一领域的研究和开发。

http://arxiv.org/abs/2404.14462v1

HuggingFace&Github

igerGraph CoPilot

TigerGraph CoPilot是一项自然语言查询服务，允许用户用简单的英语提出关于他们的图形数据的问题。该服务使用大型语言模型（LLM）将用户的问题转换为函数调用，然后在图数据库上执行。该服务旨在易于扩展，允许添加新的LLM提供程序和图模式。TigerGraph CoPilot由3个组件组成，InquiryAI（现已提供）、SupportAI（计划于2024年第二季度提供）和QueryAI（计划于2024年第四季度提供）。