大模型日报（5月17日学术篇）

特别活动

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

论文

Chameleon：混合模态早融合基础模型

我们介绍变色龙，一族早期融合的基于 token 的混合模态模型，能够理解和生成任意序列中的图像和文本。我们概述了从一开始的稳定训练方法，一种对齐方案，以及针对早期融合、基于 token 的混合模态设置进行参数化的体系结构。模型在包括视觉问答、图像字幕、文本生成、图像生成和长篇混合模态生成等全面范围的任务上进行了评估。变色龙展示出广泛和通用的能力，包括在图像字幕任务中的最新表现，优于仅文本任务中的Llama-2，同时在与Mixtral 8x7B和Gemini-Pro等模型竞争时表现出色，还在单一模型中执行了不平凡的图像生成。根据人类对新的长篇混合模态生成评估的判断，变色龙与Gemini Pro和GPT-4V等更大的模型的表现相匹配或超过，其中提示或输出包含混合图像和文本序列。变色龙标志着在完整多模态文档的统一建模方面迈出了重要的一步。

http://arxiv.org/abs/2405.09818v1

多模态基座模型多示例上下文学习

大语言模型被广泛认为在少样本上下文学习中非常有效。最近的多模态基础模型的进展使得探索它们执行更多示例的ICL的能力成为可能。在这项工作中，我们评估了从少样本到多样本ICL的多模态基础模型的性能。我们在涵盖多个领域（自然图像、医学图像、遥感和分子图像）和任务（多类别、多标签和精细分类）的10个数据集上对GPT-4o和Gemini 1.5 Pro进行了基准测试。我们观察到，包括近2000个多模态示例的多次ICL相比于所有数据集的少样本（<100个示例）ICL都有显着改善。此外，Gemini 1.5 Pro的性能在许多数据集上继续以对数线性递增，直至测试示例的最大数量。鉴于进行多次ICL所需的长提示的推理成本较高，我们还探讨了在单个API调用中批处理多个查询的影响。我们表明，批处理多达50个查询可在零次和多次ICL下提高性能，在多个数据集上零次设置中获得显着增益，同时大大降低每个查询的成本和延迟。最后，我们衡量了模型的ICL数据效率，即模型从更多示例中学习的速度。我们发现，尽管GPT-4o和Gemini 1.5 Pro在数据集上实现了类似的零次性能，但Gemini 1.5 Pro在大多数数据集上表现出比GPT-4o更高的ICL数据效率。我们的结果表明，多次ICL可能使用户能够将多模态基础模型有效地应用于新的应用和领域。我们的代码库可以在https://github.com/stanfordmlgroup/ManyICL 上公开获取。

http://arxiv.org/abs/2405.09798v1

SynthesizRR: 利用检索增强生成多样化数据集

大型语言模型（LLMs）是多功能的，可以解决许多任务，但为了计算效率，通常希望将它们的能力提炼为较小的学生模型。在分类任务中，一种方法是通过数据集合成来实现，这可以通过从LLM生成每个标签的示例来完成。之前的合成方法使用少样本提示，依赖LLM的参数化知识生成可用示例。然而，这会导致重复、对流行实体的偏倚以及与人类文本的风格差异等问题。本工作提出了Retrieval 和 Refinement技术（SynthesizRR），它使用检索增强将多样性引入数据集合成过程：随着检索到的段落变化，LLM会用不同的内容“种子”来生成示例。我们在涵盖主题分类、情感分析、语气检测和幽默等需要复杂合成策略的六个数据集上进行了实证研究。与标准的32-shot提示和六种基线方法相比，我们发现SynthesizRR在词汇和语义多样性、与人类编写文本的相似性以及提炼性能方面取得了巨大进展。

http://arxiv.org/abs/2405.10040v1

大型离散动作空间的随机Q学习

在具有大量离散动作空间的复杂环境中，有效的决策对于强化学习至关重要。尽管像Q-learning这样的基于价值的RL方法被广泛使用，但它们带来的计算负担要求在每次迭代中最大化所有动作的价值函数。当解决大规模问题并使用深度神经网络作为函数逼近时，这种负担尤为具有挑战性。本文提出了基于随机价值的RL方法，在每次迭代中，与优化整个动作集n相反，只考虑一个随机子线性数量的动作集，可能小到O(log(n))。提出的随机价值RL方法包括随机Q-learning、StochDQN和StochDDQN等，它们在价值函数更新和动作选择中都整合了这种随机方法。建立了随机Q-learning的理论收敛性，并提供了随机最大化的分析。此外，通过实证验证，我们证明了各种提出的方法在不同环境下优于基准方法，包括不同的控制问题，在显著减少的时间内实现接近最优的平均回报。

http://arxiv.org/abs/2405.10310v1

LoRA学习更少，遗忘更少

摘要：低秩适应（LoRA）是大型语言模型的广泛使用的参数高效的微调方法。 LoRA通过仅训练对选定权重矩阵的低秩扰动来节省内存。在这项工作中，我们比较了LoRA和完全微调在两个目标领域，编程和数学上的表现。我们考虑了指令微调（约100K提示-响应对）和继续预训练（约10B结构化token）数据方案。我们的结果显示，在大多数设置中，LoRA明显表现不佳。然而，LoRA表现出一种理想的正则化形式：它更好地维持了基础模型在目标领域之外任务的性能。我们展示了LoRA提供了比常见技术如权重衰减和dropout更强的正则化效果；它还有助于保持更多样化的生成。我们展示了完全微调学习的扰动的秩比典型LoRA配置大10-100倍，可能解释了一些报道的差距。我们最后提出了LoRA微调的最佳实践建议。

http://arxiv.org/abs/2405.09673v1

LLM和模拟作为双层优化器：推进物理科学发现的新范式

大语言模型最近因其广泛知识和先进推理能力在科学发现中引起了重视。然而，它们在有效模拟观察反馈并将其基于语言连接起来推动物理科学发现方面遇到挑战。受到人类科学家通过制定假设、进行实验和通过观察分析修正理论的启发，我们提出了科学生成智能体（SGA）。SGA是一个双层优化框架：大语言模型作为富有知识和多才多艺的思想者，提出科学假设并推理物理公式或分子结构等离散组件；同时，模拟作为实验平台，通过可微的连续部分，如物理参数，提供观察反馈并进行优化。我们进行了大量实验，展示了我们框架在构成定律发现和分子设计方面的有效性，揭示了与传统人类期望不同但经过分析仍保持连贯的新颖解决方案。

http://arxiv.org/abs/2405.09783v1

自然语言有助于弥合从Sim到Real的差距

学习图像条件的机器人策略的主要挑战是获取适合低级控制的视觉表示。由于图像空间的高维度，学习良好的视觉表示需要大量视觉数据。然而，在现实世界学习时，数据是昂贵的。Sim2Real是一种有望克服现实世界目标域数据稀缺性的范式，通过使用模拟器收集与目标任务密切相关的大量廉价数据。然而，当领域在视觉上非常不同的时候，将基于图像的策略从sim转移到real是困难的。为了弥合sim2real的视觉差距，我们建议使用图像的自然语言描述作为横跨领域的统一信号，捕捉底层任务相关的语义。我们的关键见解是，如果来自不同领域的两个图像观察被标记为相似的语言，那么策略应该为这两个图像预测相似的动作分布。我们演示了训练图像编码器来预测语言描述或sim或real图像之间的描述距离作为有用的、数据有效的预训练步骤，有助于学习一个领域不变的图像表示。然后我们可以将这个图像编码器作为IL策略的骨干，同时在大量模拟和少量真实演示中进行训练。我们的方法比先前广泛使用的sim2real方法和强大的视觉-语言预训练基线（如CLIP和R3M）的表现提高了25至40%。

http://arxiv.org/abs/2405.10020v1

HuggingFace&Github

OpenAdapt

OpenAdapt 是一个开源的 AI 优先流程自动化解决方案，它利用大型多模态模型将传统的桌面和 Web 图形用户界面连接起来，通过自动记录和分析用户操作，生成任务树并预测合成输入，从而能够重放和完成各种自动化任务，大大提高了重复性工作的效率。与传统的机器人流程自动化不同，OpenAdapt 无需手动定义提示，而是自动生成，从而降低了幻觉风险并确保任务顺利完成。

https://github.com/OpenAdaptAI/OpenAdapt

杜克大学 LLMOPs 课程

大语言模型操作（LLMOps）课程为人工智能产品创新方向的学生提供了全面的培训，希望教会学生如何使用大型语言模型开发应用程序，包括设置开发环境、与模型交互、运用检索增强生成等技术、应用DevOps原则和自动化部署，以及在不同LLM平台上实现解决方案，最终完成并展示个人项目，培养学生成为合格的LLM应用开发者。希望系统性学习的友友，可以参考这个材料进行学习。

https://github.com/alfredodeza/llmops-duke-aipi

推荐阅读

原创文章，作者：LLM Space，如若转载，请注明出处：https://www.agent-universe.cn/2024/05/15345.html