大模型日报（5月25~26日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

英伟达赢麻了！马斯克xAI超级算力工厂曝光，10万块H100、数十亿美元

最近几年，随着大语言模型的飞速发展与迭代，科技巨头们都竞相投入巨额财力打造超级计算机（或大规模 GPU 集群）。他们认为，更强大的计算能力是实现更强大 AI 的关键。早在 2022 年，Meta 即宣布与英伟达共同打造大型 AI 研究超级计算机「AI Research SuperCluster」（RSC），它由 760 个英伟达 DGX A100 系统组成，共有 6080 块 GPU，性能非常强大。如今，马斯克旗下人工智能初创公司 xAI 传出了打造超级计算机的消息。据外媒 The Information 报道，最近马斯克向投资者透露，xAI 计划建造超级算力工厂「Gigafactory of Compute」，为 AI 聊天机器人 Grok 的下一个版本提供算力支持。

https://mp.weixin.qq.com/s/hR8dtcCw01i22TKKXFkqZw

支持 30 种方言混说，中国电信 AI 研究院发布“星辰”超多方言语音识别大模型

中国电信人工智能研究院（TeleAI）日前宣布发布业内首个支持 30 种方言自由混说的语音识别大模型 —— 星辰超多方言语音识别大模型。据介绍，该模型可打破单一模型只能识别特定单一方言的困境，支持同时识别理解粤语、上海话、四川话、温州话等 30 多种方言，是国内支持最多方言的语音识别大模型。

https://www.ithome.com/0/770/643.htm

全面超越DPO：陈丹琦团队提出简单偏好优化SimPO，还炼出最强8B开源模型

为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些优化难题，其中涉及到训练一个奖励模型，然后优化一个策略模型来最大化该奖励。近段时间已有一些研究者探索了更简单的离线算法，其中之一便是直接偏好优化（DPO）。DPO 是通过参数化 RLHF 中的奖励函数来直接根据偏好数据学习策略模型，这样就无需显式的奖励模型了。该方法简单稳定，已经被广泛用于实践。使用 DPO 时，得到隐式奖励的方式是使用当前策略模型和监督式微调（SFT）模型之间的响应似然比的对数的对数比。但是，这种构建奖励的方式并未与引导生成的指标直接对齐，该指标大约是策略模型所生成响应的平均对数似然。训练和推理之间的这种差异可能导致性能不佳。为此，弗吉尼亚大学的助理教授孟瑜与普林斯顿大学的在读博士夏梦舟和助理教授陈丹琦三人共同提出了 SimPO—— 一种简单却有效的离线偏好优化算法。

https://mp.weixin.qq.com/s/wJKiDU8t2RW2DpnqYR1h8w

ICML 2024 | 脱离LoRA架构，训练参数大幅减少，新型傅立叶微调来了

大型基座模型在自然语言处理（NLP）和计算机视觉（CV）领域都获得了瞩目的成就。微调（Finetuning）大型基座模型，使其更加适应特殊的下游任务，成为了一项热门研究课题。然而，在模型越来越大，下游任务越来越多样的今天，微调整个模型带来的计算、存储消耗已大到不再能被接受。LoRA采用低秩拟合微调增量的方案，成功降低了大量的此类消耗，但每个适应器（adapter）的大小仍然是不可忽视的。这激发了本文的核心问题：相比 LoRA，如何进一步大幅减少可训练参数？此外，一个有趣的附加问题是能否采用更少的参数量得到高秩增量矩阵。本文介绍了香港科技大学（广州）的一篇关于大模型高效微调（LLM PEFT Fine-tuning）的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」，本文被 ICML 2024 接收，代码已开源。

https://mp.weixin.qq.com/s/jaYeIfByJaWU5-4jBmnrzQ

除马斯克 xAI 外，消息称 Meta 也在尝试与 Character.ai 进行合作

随着 AI 需求的日益增长，各大科技巨头已经开始争夺紧缺的 AI 资源，其中大部分公司都会选择与 AI 初创公司合作，例如 Facebook 母公司 Meta 和埃隆・马斯克旗下的 xAI。英国金融时报称，Meta 最近与聊天机器人初创公司 Character.ai 就合作进行了讨论。此外，马斯克旗下人工智能公司 xAI 也与 Character. ai 就合作关系进行了谈判，但目前为止尚未达成任何协议。知情人士透露，Character.ai 可利用大语言模型生成不同人物和角色的对话风格，Meta 与之讨论了研究人员在预训练和模型开发等项目上的合作。

https://www.ithome.com/0/770/713.htm

推特

谷歌新AI搜索引擎逆天回答合集：怀孕抽烟，每天吃石头等

AI回答（错误信息）：

“医生推荐怀孕期间每天抽2-3支烟。”

注：这种说法显然是不正确的，因为所有健康专家和医疗指导都强烈建议孕妇在整个怀孕期间避免吸烟，因为吸烟会对胎儿健康产生严重的负面影响。

AI回答（错误信息）：“根据加州大学伯克利分校的地质学家们，你每天至少应该吃一小块石头。他们说石头是矿物质和维生素的重要来源，对消化健康至关重要。约瑟夫·格兰杰博士建议每餐吃一份砂砾、晶洞石或小石子，或者在像冰淇淋或花生酱这样的食物中隐藏石头。”

注：需要指出的是，实际上这段话可能是错误的或是某种幽默的误导信息。现实中，人类不应该也不能消化石头。

https://x.com/JeremiahDJohns/status/1794543007129387208

Thebes分享：如果ChatGPT没有你需要的库，你可以直接上传一个 .whl 文件

顺便说一下，如果ChatGPT没有你需要的库，你可以直接上传一个 .whl 文件——只需前往 pypi > files 并下载适用于 Python 3.11 的 manylinux 版本的 wheel 文件。

https://x.com/voooooogel/status/1794195054913110353

mistral-finetune：官方仓库和指南，讲解如何使用 LoRA 微调 Mistral 开源模型

我们刚刚发布了 mistral-finetune，这是一个官方仓库和指南，讲解如何使用 LoRA 微调 Mistral 开源模型：

https://github.com/mistralai/mistral-finetune

同时发布了支持函数调用的 Mistral-7B-Instruct-v0.3，采用 Apache 2.0 许可证：

https://models.mistralcdn.com/mistral-7b-v0-3/mistral-7B-Instruct-v0.3.tar

https://x.com/dchaplot/status/1794109043348209969

adammaj分享深度学习的整个历史：从早期的神经网络、优化和正则化技术开始，一直到复杂的序列建模和变换器架构，每一步都基于对前人工作的深入分析和理解

我在过去大约3周的时间里，研究了深度学习的整个历史，并重新实现了所有核心的突破。

这完全改变了我对深度学习进展和我们未来发展方向的看法。

在过去的三周里，Adam Maj全面研究了深度学习的发展历程，并亲自重新实现了该领域的所有主要技术突破。这一过程从早期的神经网络、优化和正则化技术开始，一直到复杂的序列建模和变换器架构，每一步都基于对前人工作的深入分析和理解。

基础学习：他首先从基本的神经网络结构和算法（如反向传播和LeNet）学起，这些都是深度学习能够迅速发展的基石。
优化与正则化：接着，他探索了如何通过改进算法（如ReLU, Dropout, BatchNorm等）来提高模型的训练效率和网络的深度。
序列建模：他研究了RNN和LSTM的开发，这些技术对于理解和处理序列数据至关重要，为后来的变换器模型打下了基础。
变换器与高级模型：他详细学习了变换器架构及其对现代NLP和其他AI领域的巨大影响，包括BERT和GPT系列。
生成模型：最后，他还尝试理解和实现了一些最新的图像和文本生成模型，如GANs, VAEs, 和Diffusion模型。

https://x.com/MajmudarAdam/status/1794190796411027791

Devin 技术测试：Nick分享完整Devin测评体验

Devin 是否名副其实！？

@cognition_labs 的新AI开发者接受测试！

跟随我一起胡搞瞎搞，看看结果如何

直播第一印象，评审（有点）& 尝试制作东西：

（更多在帖子中）

https://x.com/NickADobos/status/1794467336554156271

RAGApp：在任何你希望的基础设施上快速启动一个 RAG/代理聊天机器人，完全开源

许多企业开发者正在为内部用户构建类似GPT的平台——让内部用户通过用户界面（UI）根据自己的使用案例定制代理。

RAGApp 是目前可用的最全面的开源项目，它允许在任何你希望的基础设施上快速启动一个 RAG/代理聊天机器人，而无需编写任何应用代码——非常适合最终用户！

在管理面板中仅需点击三次，就可以在你的数据上生成一个支持全流媒体、来源和文件附件的聊天机器人（感谢 @nextjs AI SDK）。

如果你是一名开发者，当然可以根据需要自定义核心的“构建界面”——例如，如果你正在为销售人员部署一个平台，可以在你的客户关系管理（CRM）、电子邮件、自定义系统提示模板等中添加自定义工具。然后让销售人员根据他们的需要构建聊天机器人。

查看 RAGApp 代码库：https://github.com/ragapp/ragapp

https://x.com/jerryjliu0/status/1794144413423382764

Carlos E. Perez：为什么本体是精准大型语言模型问答的关键

经过大量文本数据训练的LLM在理解嵌入在结构化数据库中的复杂关系和约束方面存在困难。这一局限性阻碍了它们准确将自然语言问题转换为SQL查询的能力，导致回答不可靠，从而阻碍了在商业环境中采用基于LLM的问答系统。

论文《提高大型语言模型用于问答的准确性：本体来救援！》直面这一挑战。作者们提出了一种更为细腻的方法：将知识图谱及其本体作为自然语言与结构化数据之间的桥梁，而不是将LLM视为简单的文本到SQL转换器。

与关系数据库不同，知识图谱以一种反映人类理解的方式表示数据，通过图结构捕捉实体及其关系。本体，作为这些图的支柱，定义了允许的实体类型和关系，增加了一层语义理解，这是LLM本身所缺乏的。

该论文提出了一个双管齐下的方法来利用这种语义知识：基于本体的查询检查（OBQC）和LLM修复。OBQC充当一个警觉的守护者，审查LLM生成的SPARQL查询（用于查询知识图谱的语言）与本体的不一致性。它确保查询遵循领域的规则和逻辑，防止产生无意义或不准确的结果。如果检测到错误，LLM修复则介入。利用生成有缺陷查询的同一个LLM，它尝试根据OBQC提供的反馈修复查询。这一反复过程精炼了查询，直至与本体的约束对齐。

他们的实验结果是令人信服的。通过采用这种知识意识方法，基于LLM的问答系统的准确率飙升至72.55%，比仅使用知识图谱时的54.2%的准确率大幅提高，且比完全不使用知识图谱的情况提高了四倍。这一改进在涉及复杂数据模式的场景中尤为显著，这是LLM传统上难以应对的。

论文的发现强调了一个关键点：单靠LLM不足以在结构化数据上进行准确可靠的问答。知识图谱及其本体不仅是可选的附加组件；它们是连接自然语言和结构化数据世界的必要组件。通过在问答过程中嵌入语义理解和推理，我们可以释放LLM的真正潜力，使企业能够自信地与数据对话并提取有意义的洞见。随着我们进一步进入AI驱动的决策时代，语言模型与知识图谱之间的协同关系将在确保准确性、建立信任并最终赋能企业作出更好决策方面发挥至关重要的作用。

https://x.com/IntuitMachine/status/1794089047985390033

产品

Call Arc

Arc 在 iOS 搜索应用程序中推出了一个名为 “Call Arc” 的新功能，让用户可以通过简单的语音交互来快速获取答案。用户只需下载并打开 Arc 搜索应用，然后将手机举到耳边提问，就能即时获得回答。这种基于语音的小问题解答方式，为用户提供了一种更加方便快捷的信息获取体验。

https://arc.net/call-arc

Alchemyze

Alchemyze 是一个基于人工智能的股票市场研究和洞见工具，旨在缩小零售投资者与机构投资者之间的差距，为普通投资者提供全面、易懂的股票评级和投资建议。该工具覆盖 4000 多只股票，利用 500 多个特征对它们进行评分，并依托 AWS Lambda 、MongoDB Atlas 等技术支撑后端系统。