大模型日报（9月6日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

vLLM v0.6.0

vLLM v0.6.0版本在推理性能上实现了显著改进：在Llama 8B模型上实现了2.7倍的吞吐量提升和5倍的输出令牌时间（TPOT）缩短，在Llama 70B模型上也分别实现了1.8倍的吞吐量提升和2倍的TPOT缩短。这些改进源于以下技术优化：

性能瓶颈分析

推理过程中，CPU与GPU的协作紧密，尽管大部分计算发生在GPU上，但CPU的请求调度效率也至关重要。在之前的版本中，vLLM的性能主要受制于以下两个问题：

CPU开销过高：使用Python原生数据结构导致调度和数据准备时间过长，占用大量CPU资源。
缺乏异步处理：许多组件（如调度器和输出处理器）以同步方式执行，导致GPU等待CPU，降低了GPU利用率。

性能优化措施

为解决上述瓶颈，vLLM v0.6.0进行了多项技术优化：

API服务器与推理引擎分离：通过ZMQ套接字连接，将API服务器和推理引擎分离，避免了Python全局解释器锁（GIL）的竞争，提高了并行处理效率。
多步调度：批量调度多个步骤，减少CPU与GPU之间的等待时间，增加了GPU的使用时间，从而提升了吞吐量。
异步输出处理：通过将输出处理与GPU计算并行化，减少了GPU空闲时间，提高了整体性能。

其他优化

vLLM还通过缓存对象、非阻塞数据传输等多项微调优化进一步减少了CPU开销。例如，使用对象缓存减少了Python对象频繁分配和释放的开销，非阻塞的CPU到GPU数据传输提高了处理效率。

性能基准测试

在ShareGPT等数据集上，vLLM v0.6.0的性能表现优异，尤其在H100 GPU上，vLLM在Llama 8B和70B模型上的吞吐量均达到业界领先水平。这些优化使得vLLM在推理速度和并发处理能力上具备了更强的竞争力。

https://blog.vllm.ai/2024/09/05/perf-update.html

全球首个多语言 ColBERT：Jina ColBERT V2 和它的‘俄罗斯套娃’技术

Jina-ColBERT-v2 是一款针对多语言检索和存储效率优化的多向量检索模型，基于对 ColBERT 的改进，在 RAG 领域中表现优异。传统 ColBERT 通过为文档的每个 token 生成独立的向量提高了检索精度，但存储需求大且仅支持英文，限制了应用场景。Jina-ColBERT-v2 通过以下技术改进，解决了这些问题：

多语言支持：Jina-ColBERT-v2 支持多达 89 种语言，包括阿拉伯语、中文、俄语、编程语言等，提升了全球范围内的检索性能。其训练数据集覆盖了 4.5 亿对语义相关句子和问答对，使得模型能够在多语言和跨语言任务中表现优异。
输出维度可定制：引入了“俄罗斯套娃表征学习 (MRL)”技术，允许用户选择 128、96 和 64 维度的输出向量。尽管向量缩短了 50%，性能损失仅在 1.5% 以内，显著减少了存储需求并加速了检索计算，尤其在向量比对和距离计算中效果显著。
性能提升：与原始 ColBERT-v2 和 Jina-ColBERT-v1-en 相比，Jina-ColBERT-v2 的英语检索性能分别提升了 6.5% 和 5.4%。其在 MIRACL 基准测试中的表现显著优于传统 BM25 方法，展现了其多语言检索的优越性。

此外，Jina-ColBERT-v2 通过动态资源分配和嵌入向量的压缩，降低了云端存储和计算成本，使得在大规模文档检索和嵌入生成中具有很高的实用性。这款模型已经在 AWS、Azure 和 Hugging Face 上发布，并支持多种 API 调用方式，方便用户在多种平台下应用。

https://mp.weixin.qq.com/s/2U2dK3fppHNnE6dvET3Qhg

忙碌海狸难题突破：业余爱好者攻克40年计算机科学难题

一个困扰计算机科学家40多年的难题——忙碌海狸问题（Busy Beaver Problem）终于被业余数学爱好者们攻克。数学家陶哲轩对此表示，证明助手在数学研究中的协作作用至关重要，计算机科学家Scott Aaronson则称这是自1983年以来该领域的最大突破。

忙碌海狸问题是计算理论中的经典问题，研究的是在特定状态下，图灵机在停止前能写下最多“1”的数量。40多年来，BB(5)一直未解，即寻找一个5状态的图灵机，在它停止之前能写下的最大“1”数。通过一群爱好者的努力，使用Coq证明助手最终得出BB(5) = 47,176,870。

这一突破由20多名来自世界各地的爱好者达成，他们大多没有传统的学术背景。在使用了几十年的停机问题解决方法基础上，他们改进了技术，最终证明了第5个忙碌海狸数。尤其令人惊叹的是，团队中的大部分成员利用了Coq证明助手软件来确保证明的正确性，标志着计算辅助证明在复杂问题中的巨大潜力。

这一结果迅速在学术界引发热议，Aaronson称其为几十年来忙碌海狸函数研究的重大突破，陶哲轩则赞赏了证明助手的关键作用。这一成就不仅展示了图灵机研究的里程碑式进展，也启发了更广泛领域内关于计算理论的进一步探索。

这场为期40多年的挑战终于落幕，但新一轮挑战——BB(6)的研究或许已经开始。

https://mp.weixin.qq.com/s/nftONaTaGTbZVEjIgQy3OQ

开源大模型Reflection 70B

一家小型创业团队Hyperbolic Labs推出的新模型Reflection 70B，以其突破性的“Reflection-Tuning”训练技术震撼业界。该模型能在推理过程中自我反思、纠正错误，表现出卓越的准确率，尤其在数学基准GSM8K上得分高达99.2%，全面超越Llama 3.1、GPT-4o等主流模型。

自我纠错能力引领突破

Reflection 70B最大的创新在于其可以使用“thinking”和“reflection”标签，在推理阶段主动发现并纠正错误。这使得模型不仅在测试集上表现优异，还能处理数据集中本身错误的内容，展现出非记忆化的推理能力。

小团队大作为

该模型由小团队Agent创业公司开发，CEO Mutt Shumer是连续创业者，带领团队构建了这款超越现有闭源大模型的开源之作。尽管只有70B参数，Reflection 70B已展示出优越性能，更大的405B版本也将在不久后发布。

https://mp.weixin.qq.com/s/NpOUZXjEtZnDPmESA38lwg

AI行业迷恋Chatbot Arena，但它可能不是最佳基准测试工具

Chatbot Arena是LMSYS开发的AI模型排名平台，在AI行业内备受追捧。然而，尽管该平台广受欢迎，它可能并非评估AI模型表现的最佳工具。LMSYS由卡内基梅隆大学、加州大学伯克利分校和加州大学圣地亚哥分校的师生共同创建，最初的目标是让生成式AI模型更具可访问性。但由于对现有AI基准测试工具的不满，LMSYS开发了Chatbot Arena，一个基于人类偏好的众包评估平台，旨在评估模型在实际任务中的表现。

技术上，Chatbot Arena通过让用户同时测试两个随机选择的匿名模型，并根据用户偏好投票来决定哪一个表现更好。平台提供了100多个开放模型供测试，并收集了超过100万个问题和答案对。然而，尽管该平台提供了大量数据，其评估方法仍存在局限性和潜在偏见。例如，用户的偏好可能受到模型响应风格的影响，而不是实际的准确性或合理性。

此外，Chatbot Arena的用户群体可能并不具有代表性，大多数问题集中在技术领域，而非普通用户的需求。同时，LMSYS的透明度问题也备受质疑，尤其是在模型测试方法和数据更新方面。此外，LMSYS与多家科技公司的合作关系（如OpenAI、Google和Anthropic）也引发了人们对公平性的担忧，部分公司可能通过访问更多数据而获得不公平的优势。

虽然Chatbot Arena为AI模型提供了实时表现评估的机会，但它并不能成为衡量模型智能的最终标准，而更适合作为用户满意度的参考工具。