大模型日报（6月15~16日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

创始人复盘：AI 搜索那么卷，Devv AI 是如何做到月入 3 万美元的？

Devv AI 是一款专为程序员朋友设计的人工智能搜索引擎，可为与编程相关的查询提供快速、准确的结果。被大家称为：最懂程序员的新一代 AI 搜索引擎近期，Devv的创始人Forrest Zhang分享了自己是如何从0开始打造这款产品的经验，整体而言，这篇文章不仅是一个成功创建和发展AI产品的案例研究，也为有志于从事AI创业的朋友们提供了宝贵的经验和建议。

https://mp.weixin.qq.com/s/c91p6MvRMluFP9zFILgoUQ

现在起，真正的强者敢于直面「扣子」的「模型广场」

字节版 GPTs “扣子”上线后，五年级小学生都能创建自己的英语外教。“扣子”有一个相当大的优势，就是支持国内知名大语言模型作为底座，还免费，许多 “AI bot” 孕育而生。不过，无限续杯也有烦恼。“学霸”这么多，挑谁最合适？看跑分？不太懂，也飘渺。要不，大家现场”全开麦“ PK一下？“扣子”已经把舞台搭好。一个相当刺激的新功能“模型广场”，上线了。

https://mp.weixin.qq.com/s/H7QvvO4k-mXg0-2xWBv5Tw

星环科技孙元浩：语料已经是大模型最大的挑战

「原来以为语料已经匮乏了，大模型训练已经没有语料了，实际上不是的，数据还远远没有跑光」。作为大数据领域超过十年的创业者，「星环科技」创始人及CEO孙元浩并不认同「大模型已经将人类互联网数据穷尽」的说法。根据他的观察，如今在各行各业企业内部的数据还远远未被足够利用，人类在互联网上的存量数据远远大过目前大模型能够利用的量级。拥有了这些来自各行各业内部高质量的数据，大模型可以在如今的基础上，大大提高准确性。而关键问题就在于，怎样可以高效地开发这些数据？大模型时代，语料的开发遇到了新的挑战。孙元浩分享称，目前企业内部的数据往往多是非结构化的、海量的、不同形式的、以小文件居多的，同时标注和校正这些专业数据还有较高的门槛。这对文件系统、知识库系统、语料开发系统等都提出了新的要求。

https://mp.weixin.qq.com/s/sYFQb2ay6usvDrn-vJfpbg

AI将是数学家的得力助手，陶哲轩谈AI在证明过程中的潜力

陶哲轩是公认的数学天才，被誉为「数学神童」。他从小便展现出惊人的数学天赋，9 岁时就参加了美国数学奥林匹克，并获得了金牌。他在数论、调和分析、偏微分方程等多个数学领域做出了重要贡献，并获得了菲尔兹奖，这一奖项被视为数学界的最高荣誉，相当于数学界的诺贝尔奖。最近，陶哲轩接受了《科学美国人的采访。在采访中提出，未来数学家可以通过向类似 GPT 的 AI 解释证明，AI 会将其形式化为 Lean 证明。这种助手型 AI 不仅能生成 LaTeX 文件，还能帮助提交论文，从而大幅提高数学家的工作效率和便利性。他强调，AI 和自动化证明检查器的引入将使得数学领域的合作方式发生根本性变化。通过将证明分解成小部分并由计算机验证，数学家们可以在更大规模的项目上合作，而无需逐一验证每个人的工作。

https://mp.weixin.qq.com/s/WRR8Fv6o2_LCnWFwuR8X3Q

李飞飞最新 DataBricks 峰会演讲：数字寒武纪到来！空间智能将实现人与机器三维世界互动

李飞飞教授最为人熟知的成就之一便是 ImageNet 项目。这个包含1500万张标注图片的大规模视觉数据库，极大地推动了深度学习算法的发展。ImageNet的成功不仅使计算机能够更准确地识别和分类图像，还为AI研究提供了宝贵的数据资源，开创了计算机视觉研究的新纪元。然而，李飞飞教授的创新并未止步于此。她在空间智能领域的研究同样令人瞩目。通过结合视觉、语言和空间智能，她和她的团队开发出了一系列先进的算法，使机器人能够理解三维空间并执行复杂任务。

https://mp.weixin.qq.com/s/zs31ld6bZUzuqmz28KZLPQ

ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了

最近两天，一篇入选 ACL 2024 的论文《Can Language Models Serve as Text-Based World Simulators?》在社交媒体 X 上引发了热议，就连图灵奖得主 Yann LeCun 也参与了进来。这篇论文探讨的问题是：当前语言模型本身是否可以充当世界模拟器，并正确预测动作如何改变不同的世界状态，从而避免大量手动编码的需要呢？针对这一问题，来自亚利桑那大学、纽约大学、约翰斯・霍普金斯大学、微软研究院、艾伦人工智能研究所等机构的研究者在「基于文本的模拟器」上下文中给出了他们的答案。他们认为：语言模型并不能作为世界模拟器使用。比如，GPT-4 在模拟基于常识任务（如烧开水）的状态变化时，准确率仅为约 60%。

https://mp.weixin.qq.com/s/FBqYb_gcBr5D204mDtmCOA

俄罗斯也加入大模型竞争,发布”YaFSDP”,节省20% GPU 资源

近日，俄罗斯科技巨头Yandex的一项重大举措再次吸引了国际科技界的广泛关注——该公司宣布开源其大规模语言模型（LLM）训练工具“YaFSDP”（Yandex Fast and Scalable Deep Learning Platform）。这一举动不仅彰显了俄罗斯在人工智能领域的技术自信，也为全球AI研究者提供了一个强大的新工具，促进了技术共享与合作。

https://mp.weixin.qq.com/s/07AY2glUsnc18GbFdhYizg

英伟达开源最强通用模型Nemotron-4 340B

英伟达的通用大模型 Nemotron，开源了最新的 3400 亿参数版本。本周五，英伟达宣布推出 Nemotron-4 340B。它包含一系列开放模型，开发人员可以使用这些模型生成合成数据，用于训练大语言模型（LLM），可用于医疗健康、金融、制造、零售等所有行业的商业应用。高质量的训练数据在自定义 LLM 的响应性能、准确性和质量中起着至关重要的作用 —— 但强大的数据集经常是昂贵且难以访问的。通过独特的开放模型许可，Nemotron-4 340B 为开发人员提供了一种免费、可扩展的方式来生成合成数据，从而帮助人们构建强大的 LLM。Nemotron-4 340B 系列包括基础、Instruct 和 Reward 模型，它们形成了一个 pipeline，用于生成训练和改进 LLM 的合成数据。这些模型经过优化，可与 NVIDIA NeMo 配合使用，后者是一个用于端到端模型训练的开源框架，包括数据管理、定制和评估。它们还针对开源 NVIDIA TensorRT-LLM 库的推理进行了优化。英伟达表示，Nemotron-4 340B 现已可从 Hugging Face 下载。开发人员很快就能在 ai.nvidia.com 上访问这些模型，它们将被打包为 NVIDIA NIM 微服务，并带有可在任何地方部署的标准应用程序编程接口。

https://mp.weixin.qq.com/s/ghN4Vyr7ipNkP2Od70oAEw

探索复合材料中的原子扩散，加州大学开发神经网络动力学方法

就像随风扩散、扑面而来的花香，材料中的原子与分子也在进行着它们的「扩散」。材料中的扩散决定了沉淀、新相形成和微观结构演化的动力学，并强烈影响机械和物理性能。成分复杂的材料固有的化学复杂性，给原子扩散建模和化学有序结构的形成带来了挑战。在此，加州大学的研究人员提出了一种神经网络动力学（NNK）方法，用于预测成分复杂材料中的原子扩散，及其由此产生的微观结构演化。该框架基于高效的晶格结构和化学表征，结合人工神经网络，能够精确预测所有依赖于路径的迁移势垒和单个原子跳跃。可扩展的 NNK 框架为探索隐藏着非凡属性的广阔组合空间中的扩散相关属性提供了一条有前途的新途径。

https://mp.weixin.qq.com/s/-C1QDQ98lTq8Br4ThxsL6Q

推特

MultiOn AI 12分钟抓取在网络上最受保护的机器人防护网站之一，Urban Outfitters

justin sun：@MultiOn_AI 在12分钟内抓取了Urban Outfitters的网站 —

Div Garg：我错了。代理人会取代你的工作。

对于这次意外，我们感到抱歉

@MultiOn_AI

这是在一个48小时挑战中，在网络上最受保护的机器人防护网站之一上抓取的20页内容。

https://x.com/DivGarg9/status/1801753388537024801

通过分布式MLX，Mac AI集群快速成为常态

Stavros Kassinos：随着问题规模的增加，Mac Studio集群🚀🚀真的展现了它的优势。为了利用组合GPU，需要转换思维：明智地选择批量大小并划分数据集（块状 vs 交错）。在两个Mac Studio上训练一个大型MLP时，速度提高了2倍，且保持了相同的准确性

Ronald Mannak：现在有了分布式MLX，Mac AI集群快速成为常态，真是让我大吃一惊。

我曾在我的32GB M1 Pro MacBook Pro上训练模型。即使是简单的模型也需要很长时间。

现在只需要几台Mac就能将时间减半或更多。这对于小公司或大学来说非常理想。

如果苹果能给我们一个基于M4的新Mac Studio，那就太好了。

https://x.com/ronaldmannak/status/1801991130642542915

Willisom：如果你的LLM聊天系统可以访问不受信任的内容，不要支持从任意域渲染Markdown图像

再重申一遍：如果你的LLM聊天系统可以访问不受信任的内容（在这种情况下，GitHub Copilot Chat可以看到编辑器中文件的内容），请不要支持从任意域渲染Markdown图像，否则你会有一个数据外泄的安全漏洞。

Johann Rehberger

另一个LLM应用中的数据外泄漏洞已修复！👨🔧 这次是在GitHub Copilot VS Code扩展中。

https://x.com/simonw/status/1802133988469084369

搭载Mixtral 8x7B模型的24GB OnePlus手机运行速度达到每秒11个token

一款搭载Mixtral 8x7B模型的24GB OnePlus手机，运行速度达到每秒11个token。🤯 🤯

相比于llama.cpp和MLC-LLM，推理速度快得多。

使用交换和缓存技术来运行模型，即使它不适合可用的RAM。

📌 在苹果的快速LLM和PowerInfer-2之间，看来你口袋里的GPU（手机）将在18个月内拥有一个本地的GPT-4。🤯

LLM是一种新的内核，应该成为每个设备中的低级实用程序，可以通过空中更新。

https://x.com/rohanpaul_ai/status/1801625473597792758

OpenVLA：拥有70亿参数的开源视觉-语言-动作模型

今天非常激动地发布OpenVLA，一个拥有70亿参数的开源视觉-语言-动作模型（VLA）。

🦾 最先进的通用策略（优于Octo和RT-2-X） ⚡️ 易于在1个GPU上运行和微调，支持量化和LoRA 💻 开源的PyTorch代码库 🤗 在HuggingFace上发布的模型

https://x.com/KarlPertsch/status/1801646696897872230

产品

MARS5 TTS

MARS5 TTS 是一款开源的文本到语音转换模型，在捕捉复杂的声音韵律方面表现出色，即使是在体育解说、电影、动漫等极具挑战的场景下也能出色复制真人的语音表达。该模型由 CAMB.AI 团队开发，训练数据超过 15 万小时，参数量达到 1.2 亿，可用于 140 多种语言，并可用于商业应用，目前正在 Github 上开源。