大模型日报（8月27日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

OpenAI、Adobe 和微软支持加州强制AI内容水印法案

OpenAI、Adobe和微软三大科技公司表示支持加州即将通过的AB 3211法案，该法案要求科技公司对AI生成的内容进行标识。这项法案要求AI生成的照片、视频和音频的元数据中加入水印，并且要求大型在线平台（如Instagram或X）以普通观众能够理解的方式标识AI生成内容。

背景信息：AB 3211法案的初始版本曾被代表Adobe、微软等大型软件制造商的贸易组织反对，认为该法案“不可行”且“负担过重”。然而，在法案修改后，这些公司态度发生了转变，并表示支持。这些科技公司都是内容出处和真实性联盟（C2PA）的成员，C2PA帮助创建了广泛使用的AI内容标识标准

https://techcrunch.com/2024/08/26/openai-adobe-microsoft-support-california-bill-requiring-watermarks-on-ai-content/

KDD 2024中国队闪耀登场

KDD 2024大会在西班牙巴塞罗那隆重举行，吸引了全球顶尖学者和企业代表齐聚，展示了数据科学领域的最新技术成果。中国团队表现出色，清华大学、阿里巴巴、松鼠Ai等高校和企业的研究成果被收录，展现了中国在数据挖掘领域的领先地位。

大会涵盖了数据挖掘、知识发现、预测分析等多个领域，并深入探讨了新兴技术在教育和金融行业的应用趋势。松鼠Ai代表中国科技企业在生成式人工智能和教育科技创新领域进行了深度分享。

会议亮点包括主题演讲和圆桌讨论，专家们探讨了大语言模型（LLM）的认知能力、AI与自然环境的共生，以及AI在教育领域的应用等前沿话题。特别是中国团队在人工智能教育领域的实践和探索，得到了广泛关注和认可。

https://kdd2024.kdd.org/agenda/

https://mp.weixin.qq.com/s/gsX6eviJj5gu_6GvDyqTRA

字节成立大模型研究院

字节跳动正在秘密筹备成立大模型研究院，并大力招揽顶尖AI人才，表明大模型已成为公司的战略重点。知情人士透露，已有外部AI专家加入该研究院。此外，原序智科技创始人秦禹嘉和原零一万物核心成员黄文灏也已加入字节的大模型团队，尽管尚未明确是否隶属于新成立的研究院。

字节跳动自去年起逐步公开大模型相关进展，推出了自主研发的底层大模型「云雀」和AI对话产品「豆包」，并成立了专注AI应用的内部项目Flow。随着AI产品在国内外的不断扩展，字节跳动开始从外部引进更多人才，改变了以往主要依赖内部业务线的做法。黄文灏作为AI领域的资深专家，曾在微软亚洲研究院和智源研究院有丰富的研究和应用经验，此次加入字节进一步加强了其大模型团队的实力。

https://mp.weixin.qq.com/s/JDkpfi4axcnlpANnQjrPEg

谷歌系AI创业公司困境

这篇文章探讨了由前谷歌员工创立的AI初创公司在面对大科技公司竞争时所遇到的困境。许多谷歌系AI初创公司在成立短短几年内纷纷被收购或面临重重挑战，原因包括学术背景的创始人缺乏商业运作经验、AI开发的高昂成本以及投资者的态度转变。文章还列举了几家被认为可能成为收购目标的AI公司，分析了他们的现状和面临的挑战

https://mp.weixin.qq.com/s/-bl9BYAVYCE39kn6f3JidQ

大模型芯片轰向Hot Chips顶会

在2024年Hot Chips大会上，AI芯片成为焦点。IBM、FuriosaAI等公司展示了创新的AI芯片，特别是FuriosaAI的第二代数据中心AI芯片RNGD，专为大模型推理而设计。RNGD采用台积电5nm工艺，具有高能效、可编程性和256MB片上SRAM，性能超越了当前领先的GPU，特别是在运行大型语言模型如Llama 3.1时表现出色。IBM发布了新一代Telum II处理器，内置AI加速器Spyre，也展示了在大型机处理器上运行AI模型的能力。FuriosaAI强调其芯片在能效和成本方面的优势，称其解决了数据中心大规模AI推理的实际问题。TCP架构和张量收缩处理器（TCP）技术是RNGD的核心，提供了高效的数据重用和计算能力，使其成为替代传统GPU的有力竞争者。

https://mp.weixin.qq.com/s/qfH6XHDdvg8G7frpnk_qJg

HotChip2024-Day1:AI加速器芯片

在HotChip 2024的第一天，各大非云厂商展示了他们的AI加速器芯片。Nvidia的Blackwell以吹嘘为主，未透露微架构细节。AMD MI300X和Intel Gaudi 3进行了展示，Tenstorrent、FuriosaAI、BRCM等也带来了有趣的内容。

主要亮点：

AMD MI300X：采用Infinity Fabric Advanced Package，实现高带宽互联。支持FP8运算，提供256MB的Infinity Cache，主要面向推理和FineTune应用，对标Nvidia H100。
Intel Gaudi 3：延续脉动阵列架构，矩阵乘法引擎为256×256，增加了AGU以提升异步计算能力。引入RoCE互联，支持21个Fullmesh ScaleUP和3个ScaleOut。
SambaNova SN40L：通过扩展DDR来增加内存容量，支持多模态推理。新一代架构合并了PCU和PMU，提升Tensor处理能力，采用Mesh/Ring混合互联结构。
Furiosa：推出新概念Tensor Contraction Processor，基于爱因斯坦求和符号进行计算，PCIe卡支持48GB HBM，采用2D Mesh片上网络。
Tenstorrent：采用三块微架构设计，支持异步访问内存和多种数据访问原语，支持标准以太网互联并扩展至任意拓扑结构。
Nvidia Blackwell：虽未详细介绍微架构，但提到计算规模翻倍，并继续推广FP4格式。通过NV-HBI实现10TB/s的互联，展示了复杂的液冷系统。
IBM Telum 2：新一代大型机处理器，整合了DPU和AI加速器，提供更强的计算和数据传输能力。

整体来看，AI加速器芯片的多样化发展趋势明显，各厂商在推理、FineTune、内存扩展和互联技术方面各有突破。

https://mp.weixin.qq.com/s/gDyV0iALBp_YvwxWp-vlLw

对话 Nexa AI：两位斯坦福95后，做出比GPT-4o快4倍的小模型

Nexa AI是一家由两名斯坦福校友创立的初创公司，专注于开发高效小模型，目标是构建“端侧版Hugging Face”。公司开发的Octopus v2小模型以5亿参数实现了比GPT-4o快4倍的推理速度，同时具备与GPT-4相当的性能，函数调用准确率达98%以上。公司迅速引起AI界关注，已签约多家知名企业客户，并获得超千万美元种子轮融资。

Nexa AI的新产品Octopus v3具备多模态能力，可在各种边缘设备上高效运行，支持文本和图像输入。公司最近推出了端侧AI综合开发平台「Model Hub」，集成了自研和其他先进模型，旨在为开发者提供本地部署的灵活解决方案，打造一个完整的端侧AI生态系统。

创始人认为，小模型在速度、成本、隐私保护上具备优势，能够解决大部分实际问题。通过创新的Functional Token技术，Nexa AI解决了小模型函数调用的问题，使其性能超越了GPT-4o。在面对大厂的竞争时，Nexa AI通过技术优势和平台化战略寻求差异化，力图成为端侧AI领域的领导者。

https://mp.weixin.qq.com/s/B813_5rcvM71AMi2ryRcSw

推特

NousResearch发布DisTrO（跨互联网分布式训练）初步报告

如果你能够利用世界上所有的计算能力来训练一个共享的开源AI模型，会怎么样？

初步报告链接: https://github.com/NousResearch/DisTrO/blob/main/A_Preliminary_Report_on_DisTrO.pdf

Nous Research 自豪地发布了关于 DisTrO（跨互联网分布式训练）的初步报告。DisTrO 是一系列与架构无关、与网络无关的分布式优化器家族，能够将GPU之间的通信需求减少1000倍至10000倍，而不依赖摊销分析，并且在收敛速度上可以媲美 AdamW+All-Reduce。这使得在慢速互联网带宽和异构网络硬件上进行大型神经网络的低延迟训练成为可能。

DisTrO 可以通过减少对单一计算实体的依赖，增强LLM（大语言模型）训练的韧性和稳健性。DisTrO 向为所有参与构建LLM的人员创造一个更安全、更公平的环境迈出了重要的一步。

在不依赖单一公司管理和控制训练过程的情况下，研究人员和机构可以更自由地合作，尝试新技术、新算法和新模型。这种增强的竞争力促进了创新，推动了进步，并最终惠及整个社会。

https://x.com/NousResearch/status/1828121648383566270

Karpathy推荐Pieter Levels对话：我认为云计算和人工智能正在让这种精明的独立连续小型创业者的模式变得越来越可行

这段内容真的很有意思。我认为云计算和人工智能正在让@levelsio这种精明的独立连续小型创业者的模式变得越来越可行，使得一个人能够创办并运营多家公司，并可能达到数十亿美元的估值。

这是我与Pieter Levels（@levelsio）的对话，他是一位自学成才的开发者和企业家，设计、编程、发布并运营了超过40个创业项目，其中许多都取得了巨大的成功。在大多数情况下，他都是独自完成这一切，同时过着数字游牧生活，足迹遍布40多个国家和150多个城市。这是一场充满乐趣和启发性的对话！

完整对话已在X平台上发布，也可以在YouTube、Spotify以及其他平台观看。链接在评论区。

https://x.com/karpathy/status/1828210213620748655