大模型日报（5月30日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

大模型进入「实用」时代，亚马逊云科技已是Next Level

在云计算领域竞争最激烈的时代，亚马逊云科技曾提出，云计算的普惠是技术升级带来的。这个说法换到如今的生成式 AI 时代也是成立的。如果细数这半年来「震撼发布」、「颠覆时代」出现的频率，其实并不比往年低。每一次迭代都在抬高大模型解决问题能力的上限，也都拓宽了人们关于如何利用大模型解决现实场景问题的视野。前段时间，Claude 3 高调面世，一度打破 GPT-4 保持了许久的全球最强大模型纪录。Claude 3 的背后，站着 Anthropic 的深度合作伙伴 —— 亚马逊云科技。经过对 Amazon Bedrock 上的 Claude 3 与微软 Azure GPT4 相关测试，假定 6:1 的输入输出比，Claude 3 Sonnet 成本仅为 GPT4-Turbo 的 37%，Claude 3 Haiku 成本仅为 GPT3.5-Turbo 的 61%。成本的大幅降低，并不意味着性能方面的牺牲。由于硬件和软件的优化，Amazon Bedrock 上的 Claude 3 模型的实时交互速度显著加快。此外，通过大规模扩展以及新的自监督技术，Claude 3 上下文中复杂问题的准确性预期也提高了 2 倍，这意味着人工智能更加有用、安全和诚实。2024 年即将过半，大模型赛道越来越卷，厂商们又该凭借什么如何留住用户？亚马逊云科技的秘诀是什么？

https://mp.weixin.qq.com/s/WyNAZ3DncIs2ZbWUZXDDcQ

腾讯大模型App元宝上线

最近，腾讯一改往日的慢性子，忽然「卷」起来了：5 月 14 日，腾讯全面开源混元文生图模型；5 月 17 日，腾讯发布一站式 AI 智能体创作与分发平台「腾讯元器」；5 月 30 日，基于混元大模型的 App「腾讯元宝」正式上线，目前应用商店已经可以下载。腾讯元宝是一个基于混元大模型及搜索引擎驱动的高效信息整合工具，界面设计简洁，可以搜索实时信息，也可以对上传的多格式文档进行总结、翻译，还能语音对话练习口语。而此次腾讯元宝产品能力升级的背后，是腾讯混元底层模型的持续迭代。据介绍，自 2023 年 9 月首次亮相以来，腾讯混元大模型的参数规模已从千亿升级至万亿，预训练语料从万亿升级至 7 万亿 tokens，并率先升级为多专家模型结构（MoE），整体性能相比 Dense 版本提升超 50%。

https://mp.weixin.qq.com/s/w9jnygbIIkTa8m7CZ_bXMA

清华「天眸芯」登Nature封面：全球首款类脑互补视觉芯片

在开放世界中，智能系统不仅要处理庞大的数据量，还需要应对各种「长尾问题」，如自动驾驶中面临的突发危险、出入隧道的剧烈光线变化、夜间强闪光干扰等。在这类任务上，传统视觉感知芯片由于受到「功耗墙」和「带宽墙」的限制，往往面临失真、失效或高延迟的问题，严重影响系统的稳定性和安全性。为了克服这些挑战，清华大学精密仪器系类脑计算研究中心聚焦类脑视觉感知芯片技术，提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。5 月 30 日，该研究的论文《面向开放世界感知、具有互补通路的视觉芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）登上《自然》杂志封面。这是该团队继 2019 年 8 月的类脑计算芯片「天机芯」后，第二次登上《自然》封面，标志着国内芯片领域在类脑计算和类脑感知两个重要方向上均已取得基础性突破。

https://mp.weixin.qq.com/s/kn1UtxkdErxgy9wCYKOlzA

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

对标 OpenAI 的法国 AI 独角兽 Mistral AI有了新动作：首个代码大模型 Codestral 诞生了。作为一个专为代码生成任务设计的开放式生成 AI 模型，Codestral 通过共享指令和补全 API 端点帮助开发人员编写并与代码交互。Codestral 精通代码和英语，因而可为软件开发人员设计高级 AI 应用。Codestral 的参数规模为 22B，遵循新的 Mistral AI Non-Production License，可以用于研究和测试目的，但禁止商用。

https://mp.weixin.qq.com/s/yPLyGyXSkliV2fVz1PxUhw

普华永道成 OpenAI 最大客户与首个分销伙伴！ChatGPT 企业用户超 60 万，覆盖 93% 财富 500 强企业

周三，OpenAI 宣布管理咨询巨头普华永道（PwC）成其迄今为止最大客户，并覆盖 10 万用户。此外，普华永道还将成为 OpenAI 首个合作伙伴，以向其他企业销售 ChatGPT 企业版。

https://mp.weixin.qq.com/s/McMXsk0PL22YVOvQjwMQ6A

32专家MoE大模型免费商用！性能全面对标Llama3，单token推理消耗仅5.28%

源2.0-M32模型采用MoE架构，专家数量为32，总参数量40B，激活专家数为2，激活参数量3.7B。精度上，源2.0-M32在多个测评数据集上全面对标Llama3（70B，以下同），在MATH（数学竞赛）和ARC-C（科学推理）榜单还上超越了Llama3。

https://mp.weixin.qq.com/s/lhD061L7ixvD3CpTz15ZvQ

推特

大的要来了？OpenAI再次宣布为免费用户开放浏览、视觉、数据分析、文件上传！

所有ChatGPT免费用户现在可以使用浏览、视觉、数据分析、文件上传和GPT功能。

饮用 OpenAI：

我们向所有人免费开放了我们的新旗舰模型GPT-4o以及浏览、数据分析和记忆等功能（有使用限制）。https://openai.com/index/gpt-4o-and-more-tools-to-chatgpt-free/

https://x.com/OpenAI/status/1795900306490044479

GPT-3三周年生日，Karpathy重新训练微系列中的最小模型庆祝

今天显然是GPT-3发布四周年！ https://arxiv.org/abs/2005.14165

我今天正在重新训练微系列中的最小模型，意外地庆祝这一周年。HellaSwag 33.7（附录H）几步前几乎达到了这个目标（虽然这仅完成了45%的训练）。

我清楚地记得GPT-3论文发布的时候，因为我不得不中断工作出去散步。

我意识到这一领域的一个重要性质发生了变化。大约在2011年，AI的进展主要受限于算法。我们需要更好的想法、更好的建模和更好的方法来取得进一步的进展。如果你当时给我一台大10倍的计算机，我不确定该如何利用它。GPT-3论文表明，如果只训练一个更大的模型，它在各种实际任务上会变得更好。更好的算法成为了一个加分项，而不是AGI进展的必要条件。可能不会永远如此，但至少在目前和短期内，在非常实际的意义上是如此。今天，如果你给我一台大10倍的计算机，我知道该如何使用它，然后我会要求更多。这也是为什么NVIDIA今天是一家市值2.8万亿公司的核心原因。我不确定其他人是如何体验的，但四年前GPT-3让我深刻意识到这一点。

https://x.com/karpathy/status/1795980744436932871

震惊！LeCun竟然说出这种话，马斯克杨乐昆之战仍在继续！

要成为科学研究，一项研究必须是正确的和可重复的。

要正确和可重复，它必须在出版物中进行详细描述。

要“出版”（获得认可），出版物必须由审稿人检查其正确性。

要被重复，出版物必须在社区内广泛可用并且足够有趣。

如果你做了研究但没有发表，那就不算科学。

没有同行评审和可重复性，你的方法可能有缺陷，你自己被误导认为你做了很棒的事情。

没有人会听说过你的工作。

没有人会接手并在其基础上进一步研究。

没有人会用它来构建新技术和新产品。

你的工作将是徒劳的。

你会在痛苦和被遗忘中死去。

如果你从未发表过你的研究但以某种方式将其发展成了一种产品，你可能会死得富有。

但你仍会有些苦涩并且大多被遗忘。

二次澄清：对这条评论有太多误解了！

以下是我*不是*在说的事情：

你需要博士学位才能做科学研究。你不需要。博士学位教你如何做研究，但你可以自己学到（虽然有导师会更容易）。
你需要通过期刊或会议接受论文才能发表：你不需要。你可以直接发在 http://ArXiv.org 。许多有影响力的论文从未经过正式的同行评审过程，或者在它们变得有影响力之后才经过评审。
工程不是科学：这取决于你的方法论。我既是科学家*也是*工程师。这些活动是互补的，彼此需要。
科学需要正式的论文：不需要。一个网站上的清晰解释和公共仓库中的一段代码就可以。

我*正在*说的是，科学通过思想碰撞、验证、分析、重复和改进而进步。

如果你*不以某种方式*发表你的研究，你的研究可能不会产生任何影响。

https://x.com/ylecun/status/1795802831531733397

Yuchen再次改善Karpathy llm.c: 只需27分钟，费用不到10美元

又一天过去了，我成功地用@karpathy的llm.c在27分钟内使用8个H100 GPU训练了GPT-2（124M），费用不到10美元。

你需要做的就是调整学习率（LR）。在库中，原始的最大学习率在热身后被设置为0.0006（遵循GPT-3论文）。我决定更激进一些，将其提高到0.0018，这显著加快了收敛速度。

在FineWeb数据集上训练1个epoch后，原始学习率在HellaSwag评估中达到了29.9%的准确率。然而，通过使用更激进的学习率，我们在仅仅12000步后就达到了29.9%的准确率（减少了36%的步数），并在epoch结束时最终达到了30.9%的准确率。

如果我们计算一下，用llm.c训练GPT-2（124M）在HellaSwag上达到29.9%的准确率只用了27分钟，使用8个H100 GPU，成本仅为9.2美元。

https://x.com/Yuchenj_UW/status/1795850420503629994

超逼真文本生成效果！左边实物、右边生成结果

我们现在在@everartai上进行产品训练所获得的逼真度简直令人难以置信。

我们与纽约的时尚品牌DoubleK合作。他们惊讶地发现，现在仅通过文本就能生成这种照片。

左边是实物连衣裙，右边是生成的结果。

https://x.com/skirano/status/1795912731163271536

SEAL排行榜推出：对领先的前沿模型进行私密、专家评估

1/ 我们正在推出SEAL排行榜——对领先的前沿模型进行私密、专家评估。

我们的设计原则：

🔒 私密且不可利用。评估不会过拟合！

🎓 域专家评估

🏆 不断更新新的数据和模型

阅读更多内容 🧵

http://scale.com/leaderboard

https://x.com/alexandr_wang/status/1795857651592491281

产品

Syllaby

Syllaby 是一款集内容创意、制作、发布和分析于一体的 AI 驱动型社媒营销工具。它通过多项创新功能，如”会讲话的照片”、语音克隆、无人脸视频生成等，极大地简化了营销人员的内容创作流程。同时，它还集成了趋势分析、自动剧本生成、一键发布等功能，帮助用户提高社交内容的曝光度和转化率。

https://syllaby.io/

timeOS 2.0

timeOS 是一款由人工智能驱动的智能助理，旨在自动化用户的工作流程，提高生产力和效率。它可以在会议前提供丰富的上下文信息，让用户快速准备;会议结束后自动生成准确的会议纪要;并可以与各种工具深度集成，同步和组织用户的知识和工作。通过不断学习用户的使用习惯，timeOS 的新标签页会变得越来越智能和个性化，成为用户工作中不可或缺的中心。

https://www.timeos.ai/

投融资

精准学获阿里2亿元投资，推出基于AI的辅学机

精准学近期完成了2亿元的新一轮融资，投资方为阿里巴巴集团。这是阿里巴巴两年来首次在AI应用领域投资。精准学计划利用这笔资金研发和推广基于生成式AI技术的辅学机产品“Bong系列”，该产品将基于阿里通义千问大模型，提供个性化的学生辅导服务。

公司官网：https://www.91jzx.cn/#/home

https://new.qq.com/rain/a/20240529A077SJ00

Zendata 完成200万美元种子轮融资，解决AI和数据治理问题

Zendata 宣布获得200万美元种子轮融资，以开发其数据安全和AI治理平台。本轮融资由 PayPal Ventures、First-hand Alliance、Geek Ventures 和 Altari Ventures 领投。资金将主要用于平台开发和客户扩展，以满足全球对AI和数据治理解决方案的需求。Zendata 由资深行业专家创立，致力于帮助组织在整个数据生命周期内无缝整合数据安全、AI治理和隐私解决方案。

公司官网：https://www.zendata.dev/

https://www.prnewswire.com/news-releases/zendata-emerges-from-stealth-with-2-million-seed-funding-to-address-ai-and-data-governance-302157503.html

Faircado 完成300万欧元融资，加速AI驱动的二手购物平台发展

Faircado，AI驱动的二手购物助手，成功完成300万欧元的种子前轮融资。本轮融资由欧洲领先的气候风投World Fund领投，其他投资者包括Accel、General Catalyst、Lightspeed Venture Partners、NEA、Northzone以及Impact Shakers。资金将用于团队扩展、拓展英国和法国市场以及进一步开发其图像识别技术。Faircado提供AI浏览器扩展，帮助消费者在购物时自动找到二手替代品，推动循环经济的发展。

公司官网：https://faircado.com/

https://www.eu-startups.com/2024/05/berlin-based-faircado-closes-e3-million-to-accelerate-ai-powered-second-hand-shopping/

推荐阅读

原创文章，作者：LLM Space，如若转载，请注明出处：https://www.agent-universe.cn/2024/05/14984.html

大模型日报（5月30日资讯篇）

资讯

大模型进入「实用」时代，亚马逊云科技已是Next Level

腾讯大模型App元宝上线

清华「天眸芯」登Nature封面：全球首款类脑互补视觉芯片

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

普华永道成 OpenAI 最大客户与首个分销伙伴！ChatGPT 企业用户超 60 万，覆盖 93% 财富 500 强企业

32专家MoE大模型免费商用！性能全面对标Llama3，单token推理消耗仅5.28%

推特

大的要来了？OpenAI再次宣布为免费用户开放浏览、视觉、数据分析、文件上传！

GPT-3三周年生日，Karpathy重新训练微系列中的最小模型庆祝

震惊！LeCun竟然说出这种话，马斯克杨乐昆之战仍在继续！

Yuchen再次改善Karpathy llm.c: 只需27分钟，费用不到10美元

超逼真文本生成效果！左边实物、右边生成结果

SEAL排行榜推出：对领先的前沿模型进行私密、专家评估

产品

Syllaby

timeOS 2.0

投融资

精准学获阿里2亿元投资，推出基于AI的辅学机

Zendata 完成200万美元种子轮融资，解决AI和数据治理问题

Faircado 完成300万欧元融资，加速AI驱动的二手购物平台发展

「理论与实践」AIPM 张涛：关于Diffusion你应该了解的一切

— END —

关于作者

LLM Space

大模型日报（5月30日 资讯篇）

资讯

大模型进入「实用」时代，亚马逊云科技已是Next Level

腾讯大模型App元宝上线

清华「天眸芯」登Nature封面：全球首款类脑互补视觉芯片

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

普华永道成 OpenAI 最大客户与首个分销伙伴！ChatGPT 企业用户超 60 万，覆盖 93% 财富 500 强企业

32专家MoE大模型免费商用！性能全面对标Llama3，单token推理消耗仅5.28%

推特

大的要来了？OpenAI再次宣布为免费用户开放浏览、视觉、数据分析、文件上传！

GPT-3三周年生日，Karpathy重新训练微系列中的最小模型庆祝

震惊！LeCun竟然说出这种话，马斯克杨乐昆之战仍在继续！

Yuchen再次改善Karpathy llm.c: 只需27分钟，费用不到10美元

超逼真文本生成效果！左边实物、右边生成结果

SEAL排行榜推出：对领先的前沿模型进行私密、专家评估

产品

Syllaby

timeOS 2.0

投融资

精准学获阿里2亿元投资，推出基于AI的辅学机

Zendata 完成200万美元种子轮融资，解决AI和数据治理问题

Faircado 完成300万欧元融资，加速AI驱动的二手购物平台发展

— END —

关于作者

相关推荐

大模型日报（5月30日资讯篇）