大模型日报（5月20日学术篇）

特别活动

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

论文

INDUS：适用于科学应用的有效和高效语言模型

大语言模型（LLMs）训练在一般领域语料上显示出在自然语言处理（NLP）任务中显著的结果。然而，先前的研究表明，使用面向领域的语料训练的LLMs在专门任务上表现更好。受到这个关键洞见的启发，我们开发了INDUS，一套专门针对地球科学、生物学、物理学、日暈物理学、行星科学和天体物理学领域定制的LLMs套件，并使用从不同数据来源获取的策划科学语料库进行训练。我们的模型在这些新任务以及感兴趣领域现有基准任务上均表现出胜过通用型编码器（RoBERTa）和现有领域专用编码器（SciBERT）的结果。

http://arxiv.org/abs/2405.10725v1

观察性缩放规律与语言模型性能预测

理解语言模型的性能如何随规模变化是评估和算法开发的关键。尺度定律是构建这种理解的一种方法，但需要跨越许多不同规模训练模型的要求限制了它们的使用。我们提出了一种替代的观测方法，绕过模型训练，而是从大约80个公开可用的模型中建立尺度定律。从不同模型家族构建单一尺度定律具有挑战性，因为它们的训练计算效率和能力存在很大的变化。然而，我们展示了这些变化与一个简单的泛化尺度定律一致，其中语言模型性能是一个低维能力空间的函数，而模型家族只是在将训练计算转换为能力方面的效率不同。使用这种方法，我们展示了复杂尺度现象的惊人可预测性：我们表明一些涌现现象遵循平滑的S形行为，并可以从小模型中预测；我们展示了诸如GPT-4等模型的智能体性能可以从更简单的非智能体基准精确预测；我们展示了如何预测在后训练干预（如Thought链和自一致性）的影响，随着语言模型能力的持续改善。

http://arxiv.org/abs/2405.10938v1

轻量化注意力：面向硬件的可扩展注意力机制，适用于Transformer解码阶段

基于Transformer的模型已经成为自然语言处理、自然语言生成和图像生成中最广泛使用的架构之一。当前最先进模型的规模不断增加，达到数十亿参数。这些巨大模型对内存需求高，并且即使在最先进的AI加速器（如GPU）上，也会产生明显的推理延迟。为了满足依赖于这些大型模型的应用程序对低延迟的需求，提出了许多优化方法，如键值张量缓存和FlashAttention计算。然而，这些技术不能满足推理期间不同阶段的计算性质差异。因此，我们提出了LeanAttention，一种用于解码器专用Transformer模型的标记生成阶段（解码阶段）的可伸缩自注意力计算技术。LeanAttention通过重新设计解码阶段的执行流程，实现了对长上下文长度的注意力机制进行扩展。我们发现在线softmax的结合性质可以被视为一个约简操作，从而使我们能够在这些大上下文长度上并行计算注意力。我们将平铺计算的“流式K”式约简扩展到自注意力，实现并行计算，使平均注意力执行速度比FlashAttention-2提升2.6倍，对于512k上下文长度可高达8.33倍的加速。

http://arxiv.org/abs/2405.10480v1

特征自适应和数据可扩展的上下文学习

在上下文学习（ICL）中推广了利用多个演示来促进LLM能力的范式已经成为在下游任务中刺激LLM能力的普遍做法。由于上下文长度限制，尽管有更多的训练数据，也无法进一步改进，并且ICL中直接来自LLM的通用特征对特定下游任务不具适应性。本文提出了一种特征自适应且数据可扩展的上下文学习框架（FADS-ICL），可以利用任务自适应特征来促进在下游任务上的推理，监督超出上下文样本。具体地，它首先通过带有ICL输入形式的LLM逐一提取超出上下文样本的通用特征，然后引入一个任务特定的调制器，在拟合特定下游任务后执行特征细化和预测。我们在不同数据设置（4~128 shots）和LLM规模（0.8~70B）设置下对FADS-ICL进行了广泛实验。实验结果显示，在所有设置下，FADS-ICL始终显著优于先前的最新方法，验证了FADS-ICL的有效性和优越性。例如，在1.5B和32 shots设置下，FADS-ICL可以在10个数据集上通过特征自适应实现 textbf{+14.3} 平均准确率，比普通ICL提高 textbf{+6.2} 平均准确率和优于先前最新方法，而且随着训练数据的增加性能还可以进一步提高。

http://arxiv.org/abs/2405.10738v1

语言模型可以利用跨任务上下文学习来处理数据稀缺的新任务

大语言模型（LLMs）以其在上下文学习（ICL）方面的卓越能力改变了自然语言处理。基于LLMs的自动助手越来越受欢迎；然而，使它们适应新任务仍然具有挑战性。虽然巨大的模型在零-shot表现上表现出色，但它们的计算需求限制了广泛应用，较小的语言模型在没有上下文的情况下表现不佳。本文研究了LLMs是否能够从预定义任务的标记示例中泛化到新任务。取材于生物神经元和Transformer架构的机械解释，我们探索了任务间信息共享的潜力。我们设计了一个跨任务提示设置，在三个LLM上展示，LLMs在没有来自目标任务的示例的情况下取得了显著的性能改善。跨任务提示使LLMs的性能显著提升，对LLaMA-27B为107%，对LLaMA-213B为18.6%，对GPT 3.5平均为3.2%，高于零-shot提示，并与标准上下文学习相媲美。我们证明了为任务内示例生成伪标签的有效性，分析揭示了任务间示例的效果与模型在源和目标输入token中激活相似性之间存在强相关性。这篇论文首次探索了LLMs基于不同任务示例的上下文信号解决新任务的能力。

http://arxiv.org/abs/2405.10548v1

UniCL：一个用于大型时间序列模型的通用对比学习框架

时间序列分析在各种关键应用中起着关键作用，从金融到医疗保健，涉及预测和分类等各种任务。传统的监督学习方法为处理时间序列数据的固有复杂性（如高维度和噪声）通常需为每个任务对时间序列数据标注大量标签，这在现实应用中成本高且不切实际。相比之下，预训练的基础模型通过利用无标签数据捕捉一般性时间序列模式，为特定任务进行微调提供了一种有前途的替代方法。然而，现有的预训练方法通常由于使用预定义和刚性增强操作以及领域特定数据训练而受到高偏见和低泛化问题的困扰。为了克服这些限制，本文介绍了UniCL，这是一个通用且可扩展的对比学习框架，专为在跨领域数据集上预训练时间序列基础模型而设计。通过利用频谱信息提出了统一且可训练的时间序列增强操作生成保留模式、多样化且低偏见的时间序列数据。此外，我们引入了一种可扩展的增强算法，能够处理长度不同的数据集，促进跨领域预训练。在两个基准数据集上进行的广泛实验验证了UniCL的有效性，展示了其在各个领域的时间序列分析中的高泛化能力。

http://arxiv.org/abs/2405.10597v1

HuggingFace&Github

Farfalle

Farfalle 是一个开源的 AI 驱动的搜索引擎项目，用户可以运行本地的 LLM 模型(如 llama3、gemma、mistral)或使用云端模型(如 Groq/Llama3、OpenAI/gpt4-o)来进行搜索和问答。该项目采用了 Next.js、FastAPI 等前后端技术栈，支持本地部署和云端部署，为用户提供了一个灵活的 AI 搜索解决方案。

https://github.com/rashadphz/farfalle

Verba

Verba 是一个开源的 Retrieval-Augmented Generation (RAG)应用程序，提供了一个端到端的、简单易用的界面，让用户可以轻松地探索和处理数据。它支持多种语言模型、数据类型和 RAG 功能，如混合搜索、语义缓存等。Verba 可以通过多种方式部署，包括 pip 安装、从源码构建，以及使用 Docker。它还提供可定制的前端界面。

https://github.com/weaviate/Verba

MarkLLM

MarkLLM 是一个开源的工具包，旨在促进大型语言模型 (LLMs) 中 Watermark 技术的研究和应用。它提供了一个统一可扩展的实现框架，支持来自不同家族的多种 Watermark 算法。此外，MarkLLM 还包含可视化工具，帮助用户更好地理解算法机制，以及全面的评估模块，涵盖可检测性、鲁棒性和对文本质量的影响等方面。