大模型日报（4月11日资讯篇）

特别活动！

欢迎观看大模型日报，如需进入大模型日报群和空间站请直接扫码。社群内除日报外还会第一时间分享大模型活动。

欢迎大家一起交流！

推特

Karpathy：用通俗易懂的方式解释llm.c

# 用通俗易懂的方式解释 llm.c

训练大型语言模型(LLM),如 ChatGPT,涉及大量的代码和复杂性。

例如,一个典型的 LLM 训练项目可能会使用 PyTorch 深度学习库。PyTorch 之所以非常复杂,是因为它实现了一个非常通用的 Tensor 抽象(一种排列和操纵保存神经网络参数和激活的数字数组的方法),一个非常通用的用于反向传播的 Autograd 引擎(训练神经网络参数的算法),以及您可能希望在神经网络中使用的大量深度学习层。PyTorch 项目包含 11,449 个文件中的 3,327,184 行代码。

除此之外,PyTorch 是用 Python 编写的,而 Python 本身就是一种非常高级的语言。您必须运行 Python 解释器来将训练代码转换为低级计算机指令。例如,执行此转换的 cPython 项目在 4,306 个文件中包含 2,437,955 行代码。

我删除了所有这些复杂性,将 LLM 训练简化到最基本的要素,直接用非常低级的语言(C)与计算机对话,没有其他库依赖项。这下面唯一的抽象就是汇编代码本身。与上面相比,我认为人们会惊讶地发现,训练像 GPT-2 这样的 LLM 实际上只需要在一个文件中用 C 编写大约 1000 行代码。我通过直接在 C 中实现 GPT-2 的神经网络训练算法来实现这种压缩。这很困难,因为您必须详细了解训练算法,能够推导出所有层的前向和后向传递,并非常仔细地实现所有数组索引计算,因为您没有 PyTorch 张量抽象可用。因此,这是一个非常脆弱的安排,但一旦您这样做了,并通过与 PyTorch 进行检查来验证正确性,您就会得到一些非常简单、小巧且在我看来非常漂亮的东西。

好吧,为什么人们不总是这样做呢?

第一:你放弃了很大的灵活性。如果您想更改神经网络,在 PyTorch 中您可能只需更改一行代码。在 llm.c 中,更改很可能会涉及更多的代码,可能会更加困难,并且需要更多的专业知识。例如,如果它是一个新操作,您可能必须进行一些微积分计算,并为反向传播编写其前向传递和后向传递,并确保它在数学上是正确的。

第二:你至少在一开始就放弃了速度。没有完全免费的午餐——你不应该指望在只有 1,000 行的情况下获得最先进的速度。PyTorch 在后台做了大量工作,以确保神经网络非常高效。不仅所有 Tensor 操作都非常仔细地调用最有效的 CUDA 内核,而且还有例如 torch.compile,它进一步分析和优化您的神经网络以及它如何在您的计算机上最有效地运行。现在,原则上,llm.c 应该能够直接调用所有相同的内核。但这需要更多的工作和关注,就像在(1)中一样,如果你改变了神经网络的任何东西或者你运行的计算机,你可能必须调用不同的内核,使用不同的参数,并且你可能必须手动进行更多的更改。

所以 TLDR:llm.c 是训练 GPT-2 的直接实现。事实证明,这个实现出奇地简短。不支持其他神经网络,只支持 GPT-2,如果你想改变网络的任何东西,都需要专业知识。幸运的是,所有最先进的 LLM 实际上与 GPT-2 没有太大的不同,所以这并不像你想象的那样是一个强有力的约束。而且 llm.c 必须进行额外的调整和完善,但原则上我认为它应该能够(或者甚至因为我们摆脱了所有开销而超过?)几乎与 PyTorch 相匹敌,而且代码量与现在的代码量相差不大,适用于大多数现代 LLM。

而我为什么要研究它?因为它很有趣。它也很有教育意义,因为这 1,000 行非常简单的 C 代码就是所需要的全部,没有其他东西。它只是一些数字数组和一些简单的数学运算,如 + 和 *。经过更多正在进行的工作,它甚至可能被证明是实用的。

https://x.com/karpathy/status/1778153659106533806

如果语言模型可以通过搜索来更好地推理，为什么不在 Chain of Thought 期做呢？Noahdgoodman分享：数据而非架构的局限

当我第一次看到 Tree of Thoughts 时,我问自己:如果语言模型可以通过搜索来更好地推理,为什么它们在 Chain of Thought 期间不自己做呢?一些可能的答案(和一篇新论文):

1)也许搜索不能表示为单个序列?不:如果我在 python 搜索代码中插入打印语句,我会得到搜索过程的连续流。

2)也许架构无法执行搜索所需的计算?这似乎是可能的,但 ToT 无论如何都会将大多数有趣的步骤推迟到 LM。

3)各种效率论证——上下文窗口等——都有可能,但我们应该在 CoT 中看到简单的原型搜索。

4)数据问题?也许 LM 在思考时没有学会搜索,因为训练数据是人类交流,而不是人类思维。(我们写解决方案的方式与我们最初得到它们的方式不同。)

在新的工作中,我们测试了简单(但很难)的 Countdown 游戏。当只训练正确的解决方案时,LM 表现不佳;当训练序列化的”搜索流”时,LM 表现更好,可以对新问题进行搜索。所以,这一直是一个数据问题!

(警告:这也是一个效率问题。即使对于小问题,SoS 也需要大量上下文。)

额外收获!一旦你给了 LM 搜索的概念,它就可以通过 STaR 和 APA 进行自我改进,找到更有效的搜索方法并解决新问题。

第一作者 @gandhikanishk 的帖子:https://x.com/gandhikanishk/status/1777358353045622891… Arxiv:https://arxiv.org/abs/2404.03683

接下来是什么?研究迁移学习并为预训练的 LM 调整这些想法。

https://x.com/noahdgoodman/status/1777409751326081176

Karpathy分享：GPT-2 的前向传播快速的原生 CUDA 内核实现

我对 GPT-2 的前向传播进行了第一次快速的原生 CUDA 内核实现,并将所有内容推送到了 llm.c 的一个文件中,代码仍然只有大约 1000 行:

https://github.com/karpathy/llm.c/blob/master/train_gpt2.cu

在我的 Lambda 机器上的当前每次迭代时间 <3 A100 40GB PCIe,B=4,T=1024:

llm.c:111ms
PyTorch:180ms
+torch.compile:86ms
+fp32 Tensor Cores:26ms

所以还有一些差距需要缩小!快来一起 hack,让它变快:)

https://x.com/karpathy/status/1778128793166856368

Jim Fan：软件 AI 代理的护城河不是薄薄的包装层，而是底层的大型语言模型

软件 AI 代理的护城河不是薄薄的包装层(Devin,SWE-Agent),而是底层的大型语言模型(LLM)。与其对包装层进行基准测试,我认为 SWE-Bench 非常适合评估编码 LLM:固定代理层,只改变 LLM 后端。提供所有工具:对 LLM 友好的命令行、编辑器、Web 浏览器。指定最大令牌预算和互联网查询预算。GPT、Gemini、Claude、Command R、Mistral、Llama 在解决现实世界软件工程问题方面如何相互比较,具有人类级别的工具访问权限?这是一个比 HumanEval 更加现实的基准。它测试 LLM 搜索 StackOverflow、阅读文档、自我反思、自我纠正以及执行长期一致计划的能力。在 Voyager(在 Minecraft 中使用 LLM)论文中,我们进行了这样一个实验,我们固定了 Voyager 算法,将 GPT-4 后端(橙色曲线)替换为 3.5(绿色曲线)。这产生了巨大的差异。使用较差的 LLM,无论是 Devin 还是 Voyager 都无关紧要——你无论如何都无法获得良好的性能。相反,使用更强大的 LLM(着眼于 GPT-5),我们可能只需要付出一点额外的努力就能实现 L4-L5 级别的软件自动化。

https://x.com/DrJimFan/status/1778105360685080644

ChatGPT fun fact：从1到100之间选一个数，竟然更倾向于选择42

让 ChatGPT 在 1 到 100 之间选择一个数字——它会选择哪个数字?

(来自@Leniolabs_)

Pietro Schirano：有趣的是,对于人类来说,37 和 73 是最常被选择的数字。

Samoalfred：数字 37 再次出现。YouTuber Veristasium 最近调查了为什么大多数人倾向于认为 37 是随机的。

https://x.com/infobeautiful/status/1778059112250589561

DeepLearningAI新课程：为 LLM 应用预处理非结构化数据

数据预处理对于构建有效的 RAG 系统至关重要。我们的新短期课程”为 LLM 应用预处理非结构化数据”,由 @UnstructuredIO 的 @mrobinson0623 讲授,展示了 RAG 系统中重要但有时被忽视的方面:

如何从 PDF、Powerpoint 和 HTML 等不同格式中提取和规范化内容,以扩展你的 LLM 的知识
使用元数据丰富数据,以实现更强大的检索和推理
应用文档布局分析和视觉转换来处理嵌入的图像和表格

然后你将运用所有这些技能,构建一个 RAG 机器人,从包含 PDF、PowerPoint 和 Markdown 文档的语料库中提取信息。

请在此注册:https://deeplearning.ai/short-courses/preprocessing-unstructured-data-for-llm-applications

https://x.com/AndrewYNg/status/1778075380886495676

Parler-TTS:一个用于高质量、可控文本到语音(TTS)模型的推理和训练库

介绍Parler-TTS:一个用于高质量、可控文本到语音(TTS)模型的推理和训练库🗣️

为了促进开源TTS研究的发展,我们正在开源所有数据集、训练代码以及我们的第一个迭代检查点:Parler-TTS Mini v0.1。

https://x.com/sanchitgandhi99/status/1778093250324189627

Google Gemini + Vercel AI SDK聊天机器人模板：预订航班、选择座位、结账等等

新消息:Google Gemini + Vercel AI SDK聊天机器人模板

预订航班、选择座位、结账等等——所有这些都可以通过服务器驱动的交互式生成式UI组件来完成。

开源且可定制!

https://gemini.vercel.aiNext.js

Gemini 聊天机器人

这是一个使用 Next.js、Vercel AI SDK 和 Google Gemini 构建的开源 AI 聊天机器人应用模板。

它使用带有函数调用的 React 服务器组件,将文本与来自 Gemini 的生成式 UI 响应混合在一起。UI 状态通过 AI SDK 进行同步,因此模型始终了解您在浏览器中发生的有状态交互。

https://x.com/leeerob/status/1778121817959333890

网页版Captions：一键式编辑视频，直接在浏览器中完成

介绍网页版Captions。

得益于AI,视频编辑变得简单——现在可以在更大的屏幕上使用。

一键式编辑,直接在浏览器中完成。

Nikita Bier：当人们问我哪个消费者应用将成为AI浪潮的赢家时,我的答案是Captions:

他们确定了增长最快的内容类型——谈话视频,并简单地构建了生产它的最佳工具。

https://x.com/getcaptionsapp/status/1778073088023802134

ChatGPT新旧版本并排对比：turbo版本更加简洁、勤奋

最新版本的gpt-4-turbo和之前的0125-preview版本的并排比较。

新版本不仅更加简洁,直接给出了代码,而且还(理所当然地)决定添加一个标志来下载最高质量的视频。

真聪明!👨🏫

https://x.com/skirano/status/1778122305471705489

资讯

重磅！DeepMind推出具身智能“足球运动员”，过人、射门、防守样样精通，真实机器人可直接部署

足球是一项综合性非常强的运动，运动员不仅需要具备超出常人的身体素质，还必须掌握十分精湛的技术。
对于我们人类而言，要想成为一名好的足球运动员并不容易，更不用说那些“肢体不协调且动作僵硬”的机器人了。
如今，由 Google DeepMind 研发的具身智能体（agent）——一个微型人形机器人，不仅可以快速“奔跑”“过人”“进攻”，还可以阅读比赛，正确预测足球移动方向，以及阻挡对手射门等。

https://mp.weixin.qq.com/s/xMBk31b-nOabXG3fqFEtQw

刚刚，图灵奖揭晓！史上首位数学和计算机最高奖“双料王”出现了

刚刚，“计算机界最高荣誉”图灵奖揭晓——复杂性理论先驱、普林斯顿高等研究院教授艾维·维格森(Avi Wigderson)摘得。美国计算机协会（ACM）表示，表彰他对计算理论的基础性贡献，包括重塑人类对计算中随机性作用的理解，以及数十年来在理论计算机科学领域的领导地位。加上2021年获得的阿贝尔奖，维格森教授现在一举成为首个同时拿下数学和计算机最高奖的科学家。

https://mp.weixin.qq.com/s/b7BXTpXw25vRrjgYCw99EA

红杉美国最新分享：创业者须知的 3 种 PMF 框架，OpenAI 是这个时代最有趣的愿景故事之一

这是红杉美国团队近期分享给创业者的一份 PMF 思维框架。对于每一个早期阶段的初创公司而言，找到产品与市场的契合度（Product-Market Fit，PMF）是其核心任务。通过多年与尚未达到 PMF 的公司合作的经验，红杉美国认为思考和寻找这一契合度有多种方式。在其为种子阶段和前种子阶段公司举办的公司构建沉浸式体验 Arc 中，红杉会引导创始人通过以下框架，这一框架不是用来诊断是否已经实现了 PMF，而是概述了三种独特的 PMF 框架，帮助理解产品在市场中的位置并决定公司的运作方式。

https://mp.weixin.qq.com/s/neJ8iA48jw9KbuBJ85heqQ

由前 Google DeepMind 研究员推出的 AI 音乐生成器 Udio 开启免费公测

由前 Google DeepMind 研究人员创立的人工智能音乐生成器 Udio 开启免费公测，最高每月可免费生成1200首歌曲。该AI音乐生成工具能够根据用户输入的文本提示，包括音乐风格、主题、歌词等信息，快速生成包含人声的完整音轨。Udio不仅支持多种音乐风格和流派，还能够捕捉并表达音乐中的情感，创造出既逼真又具有创意的音乐作品。

https://www.udio.com/

Meta宣布全新训推一体加速器：完全集成PyTorch 2，性能3倍提升

Meta 正在不遗余力地想要在生成式 AI 领域赶上竞争对手，目标是投入数十亿美元用于 AI 研究。这些巨资一部分用于招募 AI 研究员。但更大的一部分用于开发硬件，特别是用于运行和训练 Meta AI 模型的芯片。在英特尔宣布其最新人工智能加速器硬件的第二天，Meta 便迅速公布了关于芯片研发的最新成果：下一代 MTIA（Meta Training and Inference Accelerator），其中 MTIA 是专为 Meta AI 工作负载而设计的定制芯片系列。分析认为，Meta 此举意在减少对英伟达及其他外部公司芯片的依赖。

https://mp.weixin.qq.com/s/bzL_WfpjXK1Ha5LsnmS9LQ

XAI有什么用？探索LLM时代利用可解释性的10种策略

你是否也好奇，在大模型时代，可解释性人工智能技术（XAI）有怎样的使用价值？近日，来自佐治亚大学、新泽西理工学院、弗吉尼亚大学、维克森林大学、和腾讯 AI Lab的研究者联合发布了解释性技术在大语言模型（LLM）上的可用性综述，提出了「Usable XAI」的概念，并探讨了 10 种在大模型时代提高 XAI 实际应用价值的策略。这些策略涵盖两方面：（1）如何利用 XAI 来更好地理解和优化 LLM 与 AI 系统；（2）如何利用 LLM 的独特能力进一步增强 XAI。此外，研究团队还通过具体的案例分析说明如何获取和使用大模型的解释。

https://mp.weixin.qq.com/s/V35k4UJZPtJkAHqYlZiO1A

对25,000多个原子进行纳秒级MD模拟，DeepMind开发基于ML的大规模分子模拟通用方法

分子动力学 (MD) 模拟可以深入了解复杂的过程，但准确的 MD 模拟需要昂贵的量子力学计算。对于较大的系统，使用高效但不太可靠的经验力场。机器学习力场（MLFF）提供与从头计算方法相当的精度，速度更快更高效，但难以模拟大分子中的长程相互作用。Google DeepMind、柏林工业大学（Technische Universität Berlin）和卢森堡大学（University of Luxembourg）的研究人员提出了一种通用方法 GEMS，通过对「自下而上」和「自上而下」分子片段进行训练，来构建用于大规模分子模拟的准确 MLFF。

https://mp.weixin.qq.com/s/MXp8t2YfIj8gdVc0H0eiSw

梗王”大模型，靠讲笑话登上CVPR | 中山大学

只是让大模型讲笑话，论文竟入选了顶会CVPR！这项研究正是来自中山大学HCP实验室林倞教授团队、Sea AI Lab和哈佛大学等单位，主打的就是打破常规思维思考（Think Outside the Box），探索多模态大模型的创造力。

https://mp.weixin.qq.com/s/k8iH1ZM8sUc_B8gK-MKYDw

大模型做时序预测也很强！华人团队激活LLM新能力，超越一众传统模型实现SOTA

大语言模型潜力被激发——无需训练大语言模型就能实现高精度时序预测，超越一切传统时序模型。来自蒙纳士大学、蚂蚁、IBM研究院提出了一种通用框架，结果成功激活大语言模型跨模态处理时序数据的能力。时序预测有益于城市、能源、交通、遥感等典型复杂系统的决策制定。自此，大模型有望彻底改变时序/时空数据挖掘方式。

https://mp.weixin.qq.com/s/UL_Kl0PzgfYHOnq7d3vM8Q

产品

Persana AI for Prospecting

Persana AI 是一款利用人工智能算法来简化潜在客户识别、提取客户洞察以及实现个性化推广的工具，可帮助企业提高销售效率。它能创建全面的客户档案，实现个性化沟通，并自动执行重复性任务，使销售专业人员能够专注于建立关系和推动销售，是一款适用于优化销售流程、识别高质量潜在客户并大规模提供个性化推广的强大且智能的解决方案的产品。

https://persana.ai/

Prelaunch AI Idea Validator

Prelaunch Idea Validator 可以在不到3分钟的时间内将用户的想法转化为一个产品页面，并从朋友、用户的社交网络以及2亿人的群体中获取反馈，帮助用户快速验证自己的想法。

https://prelaunch.com/features/idea.html

投融资

面壁智能完成新一轮数亿元融资，春华创投、华为哈勃领投

面壁智能近日完成了数亿元的新一轮融资，此轮融资由春华创投和华为哈勃领投，北京市人工智能产业投资基金等跟投，知乎作为战略股东继续支持。面壁智能成立于2022年8月，核心团队来源于清华大学自然语言处理与社会人文计算实验室。此次融资将主要用于人才引进、大模型底层算力与数据基础建设以及大模型的市场落地。面壁智能致力于推进大模型技术的发展和应用，特别是在提升大模型的训练效率和推理成本方面，以及推动大模型技术在端侧的落地，包括开发了适配端侧硬件的MiniCPM-2B模型，有效降低了推理成本，并保持了良好的性能。

公司官网：https://modelbest.cn/

https://mp.weixin.qq.com/s/X4g6iaBhl4w4YoxHxuSQtg

FloQast完成1亿美元E轮融资成为独角兽企业

财务运营平台FloQast成功完成了1亿美元的E轮融资，由现有投资者ICONIQ Growth领投，新投资者BDT & MSD Partners和World Innovation Lab等参与投资，使公司估值超过16亿美元，达到独角兽状态。该融资将用于增强其平台的人工智能能力，支持新技术的研发和全球扩张。FloQast成立于2013年，提供能够统一各个商业部门会计操作的软件，通过AI驱动的自动化简化了繁重的财务工作流程。目前，该平台已被2600多个会计团队使用，包括Zoom、Snowflake和洛杉矶湖人篮球队等知名客户。

公司官网：https://floqast.com/

https://siliconangle.com/2024/04/10/financial-operations-platform-floqast-raises-100m-series-e-funding-achieve-unicorn-status/

PVML完成800万美元种子轮融资发展安全AI数据访问平台

以色列初创公司PVML，由夫妇Shachar Schnapp和Rina Galperin创立，旨在通过差分隐私和AI两大支柱，民主化企业数据的安全访问。该公司最近宣布其安全AI驱动数据访问平台的普及，并成功完成了800万美元的种子轮融资。这轮融资由NFX领投，FJ Labs和Gefen Capital参投。PVML的技术能够连接多个数据源，提供访问权限，并保证隐私，即使是敏感数据也能解锁实时洞察。此外，PVML还为非技术用户提供了一个自然语言接口，使他们能够通过AI分析数据。

公司官网：https://pvml.com/

https://www.calcalistech.com/ctechnews/article/sya1csbg0

Sapien AI完成500万美元种子轮融资加速游戏化数据标注平台发展

AI公司Sapien AI近日宣布完成500万美元的种子轮融资，以加速其通过游戏化手段进行数据标注的平台发展。该轮融资由Primitive Ventures、Animoca、Artichoke Capital和Yield Guild Games等顶级投资者参与。Sapien AI旨在通过其独创的游戏化数据标注平台，提供可扩展、高质量的注释服务，以训练AI模型。公司通过区块链奖励机制激励其全球网络中的人类标注者提供准确的注释，旨在建立世界上最大的人力驱动的AI训练数据网络，服务于健康、web3、教育和领先的大型语言模型等多个行业的AI客户。

公司官网：https://www.sapien.io/

https://www.prnewswire.com/news-releases/ai-company-sapien-raises-5-million-to-gamify-data-labeling-for-ai-302112788.html

Neysa获得2000万美元融资推动企业AI技术采用

总部位于班加罗尔的初创公司Neysa最近成功获得了2000万美元的融资，由Matrix Partners India、Nexus Venture Partners和NTTVC等知名投资者参与。这笔资金将使Neysa能够加速其尖端的genAI平台和服务的采用，赋能企业利用人工智能和机器学习的力量。Neysa由Netmagic的创始人Sharad Sanghi和Anindya Das共同创立，并任命了著名的硅谷投资者B V Jagadeesh为其董事长。公司旨在通过一体化的方法和专注于行业垂直解决方案，推动生成式AI在印度及全球企业中的广泛采用。

公司官网：https://www.neysa.ai/