大模型日报（5月29日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

和GPT-4这些大模型玩狼人杀，人类因太蠢被票死，真·反向图灵测试

这是一次「反向图灵测试」，几个全球最先进的大模型坐在一起，坐着火车唱着歌，但其中混进了人类，而 AI 的任务，是把这个人类揪出来。

五位扮演者各自被赋予了一个历史知名人物作为角色设定，他们需要模仿这些人物的言谈举止、语言风格、思维习惯，以及对历史、艺术和哲学的独到见解。

五位扮演角色分别为：古希腊巨哲 —— 亚里士多德（GPT4 Turbo），维也纳古典乐派代表人物 —— 莫扎特（Claude3 Opus），意大利文艺复兴时期画家 —— 列奥纳多・达・芬奇（Llama3），蒙古军事家 —— 成吉思汗（人类），埃及艳后 —— 克利奥帕特拉七世（Gemini Pro）。

https://mp.weixin.qq.com/s/deCnh6bps71WMDqOK0tslg

奥特曼挂帅新团队，OpenAI新一代大模型开训，前任高管却「投敌」了

在联合创始人、首席科学家 Ilya Sutskever 官宣离职、超级对齐团队被解散之后，OpenAI 研究的安全性一直备受质疑。

现在，OpenAI 董事会宣布成立新的安全与保障委员会。同时，OpenAI 还宣布最近开始训练其下一个前沿模型，并预计最终的系统将使 OpenAI 在通向 AGI 的道路上达到新的能力水平。

当大家在把目光聚焦到 OpenAI 新成立的安全团队时，曾经领导过 OpenAI 超级对齐团队的共同领导者 Jan Leike 宣布正式加入 OpenAI 竞争对手 Anthropic，继续从事超级对齐研究。新团队将致力于可扩展监督、从弱到强的泛化以及自动化校准的研究。

https://mp.weixin.qq.com/s/0uXgcxrSz6Mbur5WvE-Dhw

西湖大学提出AIGC检测框架，精准识别AI撰写的文稿

针对检测AI改写的片段，西湖大学发布了一种叫做”篡改文本片段检测”(PTD)的新方法，它能精确识别文本中哪些片段是由AI生成或改写的，让AI改写的文本无处遁形！

传统的AI文本检测通常只能判断整篇文章是否出自AI之手，但PTD可以更细粒度地定位到文章的特定片段。文章通过实验表明，即使AI擅长模仿人类的写作风格，经过训练的检测模型仍然能从上下文线索中识别出机器的”笔迹”。这一方法不仅在已知模型上取得了超过95%的识别准确率，在未知模型上的表现也令人惊喜。通过细致的统计和实验分析，研究者发现改写句子与原文及上下文存在显著差异，这为检测提供了重要线索。此外，该方法还能有效抵御各类对抗性攻击，为传统的AI文本检测模型保驾护航。这一研究为我们提供了透过AI改写文本的完美伪装，看清其中潜藏风险的利器。

https://mp.weixin.qq.com/s/25bq-E-2iqx–6x64A2EoA

填补AlphaFold3空白，字节跳动提出物理引导的方法让蛋白质动起来

来自字节跳动 ByteDance Research 的研究人员提出了一种物理信息引导的蛋白质构象生成扩散模型 CONFDIFF，通过模型来预测中间时刻的力场与能量来引导模型生成高质量构象。

该模型充分利用了物理知识来引导模型与真实世界对齐，同时又规避了实时的力场和能量的计算，相比传统方法有巨大的加速。多项实验表明，力场和能量能够有效引导模型采样低能量的构象，进而产生更加多样化的样本，这些样本分布上也更符合真实的玻尔兹曼分布。

https://mp.weixin.qq.com/s/1fXf__Q2mvUya7r4jPZhYw

Karpathy新教程爆火，网友抢着送他H100：从头复现GPT-2训练

大神Karpathy已经不满足于用C语言造Llama了！他给自己的最新挑战：复现OpenAI经典成果，从基础版GPT-2开始。挑战成功本身并不意外，但是只花费20美元、90分钟完成训练，Loss和评测还超越原版，就！有！点！过！分！了！。不仅如此，他把复现过程写成了完整教程，果不其然再次火爆。

https://mp.weixin.qq.com/s/y3tYldBX9DML4f5XT6EPMw

用GPT-3.5生成数据集！北大天工等团队图像编辑新SOTA，可精准模拟物理世界场景

来自北京大学、Tiamat AI、天工AI、Mila实验室提出了EditWorld，他们引入了一种新的编辑任务，即世界指令（world-instructed）图像编辑，它定义和分类基于各种世界场景的指令。在一组预训练模型，比如GPT-3.5、Video-LLava 和 SDXL的支持下，建立了一个带有世界指令的多模态数据集。在该数据集训练了一个基于扩散的图像编辑模型EditWorld，结果在其新任务的表现明显优于现有的编辑方法，实现SOTA。

https://mp.weixin.qq.com/s/tFx-o7m4GgN0tiGDuSkddA

推特

Gemini 各个版本上线Imsys org排行榜：Gemini 1.5 Pro/Advanced排名第二，接近GPT-4o

重大新闻——Gemini 1.5 Flash、Pro和Advanced的结果出炉了！🔥

Gemini 1.5 Pro/Advanced排名第二，接近GPT-4o
Gemini 1.5 Flash排名第九，表现优于Llama-3-70b，几乎达到GPT-4-0125 (!)

Pro比四月份的版本显著增强。Flash的成本、能力和无与伦比的上下文长度使其成为市场的游戏规则改变者！

热烈祝贺@GoogleDeepMind 的精彩Gemini发布！迫不及待想看看Gemini将解锁哪些新应用！

更多分析请见下文👇

https://x.com/lmsysorg/status/1795512202465845686

RoboCasa：一个大规模的日常任务模拟框架，使用生成式AI工具创建各种各样的物体、场景和任务

很高兴宣布RoboCasa，一个大规模的日常任务模拟框架！我们使用生成式AI工具创建各种各样的物体、场景和任务。模拟在我们训练通用机器人的数据金字塔中发挥着关键作用。

开源地址：http://robocasa.ai

Jim Fan评论：我们为我们的机器人找到了一个舒适的家——在比特世界中！RoboCasa：一个机器人手臂、机器狗和人形机器人可以在程序生成的模拟环境中安全训练日常任务的地方。

这是一项开源项目，请查看Yuke的帖子了解更多信息！

https://x.com/DrJimFan/status/1795482053053669687

Karpathy：在90分钟内用$20复现llm.c中的GPT-2 (124M)

GPT-2 (124M) 是OpenAI在2019年发布的GPT-2系列中最小的模型，如今实际上相当容易获得，即使对于GPU资源不足的情况也是如此。例如，使用llm.c，你现在可以在一个8X A100 80GB SXM节点上在90分钟内复现该模型（约60% MFU）。由于运行费用约为每小时$14，因此总费用约为$20。我也认为124M模型非常适合作为一个快速训练的挑战。所以这里是启动命令：

以下是训练90分钟后在FineWeb数据集的10B个token上的输出：

在大约7周的时间里，从一个C/CUDA的从头开始的仓库工作到达这个“端到端”训练运行的检查点，感觉真的很好。昨晚我还复现了350M模型，但在同一个节点上花了14小时，因此约为$200。根据一些简单计算，目前完整的“GPT-2” (1558M) 将需要大约一周时间和约$2.5K。但我宁愿找到一些方法来获得更多的GPU : )。但我们会先花一些时间进一步改进llm.c的核心。350M运行的情况如下，在30B个token上训练：

我已经写好了完整的指南和详细说明，介绍了如何从头开始在你自己的GPU上复现这个运行，详情请见：https://github.com/karpathy/llm.c/discussions/481

https://x.com/karpathy/status/1795484547267834137

Yuchen Jin用llm.c复现：在8个H100 GPU上仅用了43分钟就训练了GPT-2（124M）

我使用@karpathy 的 llm.c，在8个H100 GPU上仅用了43分钟就训练了GPT-2（124M）。

这比在8个A100 GPU上所需的90分钟快了2.1倍。目前，租用一个H100 GPU的成本大约是每小时$2.50（一年期承诺），这将GPT-2（124M）的训练成本降低到$14.33。

https://x.com/Yuchenj_UW/status/1795554739633221804

TowardsAI分享《构建用于生产的LLM》：集合了一打专家（毕业生和行业）和1.5年的工作，这就是你得到的成果

我非常激动地宣布，我们（@towards_AI）终于发布了我们的第一本书：《构建用于生产的LLM》。

集合了一打专家（毕业生和行业）和1.5年的工作，这就是你得到的成果……

“……到目前为止，关于构建LLM应用程序的最全面的教材，帮助学习者理解从基础到构建LLM应用程序的简单到高级构建块的一切[…]——所有AI工程师工具包中的重要主题。”——@jerryjliu0，@llama_index的CEO。

我放弃AI博士学位的原因之一是为了构建实际解决方案，帮助现实世界中的他人并改善现有的事物。虽然我热爱学术界，但当我第一次踏入创业世界时，我感到自己几乎重新变得一无所知。我需要了解AI在现实世界中的应用问题，并为此构建解决方案。不仅仅是研究，而是实际的模型、实际的产品和实际的人在使用它们。但事实是：理解这些挑战只是第一步。至于“如何”解决这些问题，你需要深入代码、架构、模型、API、部署、试验和错误，以及复杂且多样的框架——在创业公司中，你没有时间重新发明轮子！所以我们将我们所做的一切工作和使用的一切工具汇集在这本470页的书中，全部关于LLM以及如何使用它们。现在，这意味着与@llama_index、@LangChainAI、@activeloopai等惊人的工具合作，但我们相信，即使随着LLM的改进，这本书仍然教授一些长期相关的概念，比如减少幻觉、如何使用它们、一些酷的理论和技巧等。

这本书唯一需要的技能是一些Python（或编程）知识。

我很想听听你对这本书的看法：https://amzn.to/4bqYU9b

《构建用于生产的LLM：通过提示、微调和RAG增强LLM的能力和可靠性》现已在亚马逊上架：https://amzn.to/4bqYU9b

我们在Goodreads上也有同名书籍。如果你想免费支持我们，请在那里留下评论。:)

https://x.com/Whats_AI/status/1795467279661985853

Abacus Embeddings：简单的定位嵌入调整，使LLMs能够进行加法、乘法、排序等操作

介绍 🧮Abacus Embeddings，这是一种简单的定位嵌入调整，使LLMs能够进行加法、乘法、排序等操作。我们的Abacus Embeddings仅在20位数的加法上训练，但可以几乎完美地推广到100+位数。

Transformer在对齐数字方面通常表现不佳，也就是说，它们无法识别“3487”中的“8”与“1923”中的“2”对齐。为了解决这个问题，我们在标准嵌入之外，添加了一个对应于每个数字位值的特殊嵌入，这非常简单！我们还尝试了权重共享递归（也称为循环Transformer或深度思考）来提高领域外加法的性能。

Abacus Embeddings还可以处理中等规模的乘法。不同的架构（如循环Transformer）可能更适合各种排序问题。此外，Abacus Embeddings仅应用于数字，可以轻松与标准LLM嵌入（如RoPE或FIRE）结合，从而可能提高它们的数学能力。

我们在附录中提供了更多详细信息，并开源了所有数据集和代码，因此你也可以训练循环Transformer。这些模型的训练速度非常快，许多实验仅使用单个A4000 GPU在一天内完成。

https://x.com/SeanMcleish/status/1795481814553018542

产品

VIVA

VIVA是一个AI驱动的创意视觉设计平台，由Gong Zijian团队开发。它旨在通过强大的AI技术，让视频创作变得更加简单高效。VIVA提供4K视频生成、智能提示优化、可定制的运动和尺寸等功能，并特别针对垂直视频进行了优化。目前VIVA正在提供免费试用，欢迎创意人和艺术家加入，共同探索AI赋能视觉创作的新可能。该团队未来还计划拓展到3D等领域，持续推动视频创作技术的进步。

https://vivago.ai/

Frontly

Frontly 是一个 AI 驱动的无代码应用构建平台，可以帮助用户快速生成和定制自己的应用程序。它提供拖拽式界面、内置 AI 生成功能，支持与 Supabase、Google Sheets 等服务集成，并拥有活跃的社区支持。Frontly 主要面向无代码开发者、个人及小型团队，旨在降低应用构建的门槛，让更多人都能开发出自己所需的定制应用程序。

https://frontly.ai/

Tykr Mobile App

Tykr移动应用程序( iOS 和 Android )是一款帮助初学者和专业投资者自主管理投资的工具。它由人工智能驱动，为用户提供清晰和有信心的投资体验。该应用程序包含40，000多只股票、1，500多只ETF和1，500多种加密货币，并提供了watchlist、组合跟踪器、交易日志等功能。此外，它还集成了Duolingo风格的教育模块，帮助投资者快速掌握相关知识。

https://tykr.com/

投融资

“颜创AI”完成数千万pre-A轮融资

5月28日消息，近日，成都颜创时代科技有限公司旗下产品“颜创AI”完成数千万pre-A轮融资，本轮投资机由AlphaX Partners Fund I, L.P.领投，SEVEN FUND（TRIPLE SEVEN FUND, INC. THE）跟投，此次融资将主要用于研发和市场推广。据介绍，颜创AI是基于人脸识别和大数据模型算法，研发AI人工智能形象分析检测工具。

公司官网：https://www.ycsd.work/

https://www.itjuzi.com/investevent/14663092

Rain AI 完成810万美元的A轮延展融资

总部位于加利福尼亚州旧金山的人工智能芯片初创公司Rain AI 完成了810万美元的A轮延展融资。这轮投资由 Epic Venture Partners 领投。Rain AI 创造了能源高效的人工智能硬件，采用内存计算技术，使先进的人工智能模型能够在各种设备上本地运行。该公司现正与主要的超级扩展公司和半导体公司进行许可其知识产权的谈判，并计划于2025年推出其首款芯片以供客户使用。该公司的用例将涵盖多个行业，包括无人机、VR眼镜、智能手机、机器人、可穿戴设备等。

公司官网：https://rain.ai/

https://www.finsmes.com/2024/05/rain-ai-raises-8-1m-in-series-a-extension.html

Inspeq 测试服务获得110万美元投资以扩展国际业务

爱尔兰全栈AI运营平台Inspeq已获得110万美元的投资，用于其生成式AI维护。该平台帮助开发人员进行Gen AI开发，从测试和评估到监控、性能和保护B2B和企业AI应用程序。Inspeq AI计划利用新资金扩大其应用AI、数据科学和全栈开发团队，并将业务扩展至爱尔兰、伦敦和印度。由专业AI投资公司Sure Valley Ventures领投，Delta Partners参与。其他支持者包括创始人人才加速器、Plug and Play，以及一些领先的天使投资者。公司创始人Apoorva Kumar表示：“最近生产级Gen AI应用出现问题的案例凸显了企业在扩展Gen AI方面面临的挑战。通过使用Inspeq AI作为运营层，企业可以克服这些瓶颈，确保信任、安全和道德标准。”

公司官网：https://inspeq.ai/

https://tech.eu/2024/05/28/llm-testing-service-inspeq-raises-1-1m-to-expand-internationally/

推荐阅读

原创文章，作者：LLM Space，如若转载，请注明出处：https://www.agent-universe.cn/2024/05/15015.html

大模型日报（5月29日资讯篇）

资讯

和GPT-4这些大模型玩狼人杀，人类因太蠢被票死，真·反向图灵测试

奥特曼挂帅新团队，OpenAI新一代大模型开训，前任高管却「投敌」了

西湖大学提出AIGC检测框架，精准识别AI撰写的文稿

填补AlphaFold3空白，字节跳动提出物理引导的方法让蛋白质动起来

Karpathy新教程爆火，网友抢着送他H100：从头复现GPT-2训练

用GPT-3.5生成数据集！北大天工等团队图像编辑新SOTA，可精准模拟物理世界场景

推特

Gemini 各个版本上线Imsys org排行榜：Gemini 1.5 Pro/Advanced排名第二，接近GPT-4o

RoboCasa：一个大规模的日常任务模拟框架，使用生成式AI工具创建各种各样的物体、场景和任务

Karpathy：在90分钟内用$20复现llm.c中的GPT-2 (124M)

Yuchen Jin用llm.c复现：在8个H100 GPU上仅用了43分钟就训练了GPT-2（124M）

TowardsAI分享《构建用于生产的LLM》：集合了一打专家（毕业生和行业）和1.5年的工作，这就是你得到的成果

Abacus Embeddings：简单的定位嵌入调整，使LLMs能够进行加法、乘法、排序等操作

产品

VIVA

Frontly

Tykr Mobile App

投融资

“颜创AI”完成数千万pre-A轮融资

Rain AI 完成810万美元的A轮延展融资

Inspeq 测试服务获得110万美元投资以扩展国际业务

「理论与实践」AIPM 张涛：关于Diffusion你应该了解的一切

— END —

关于作者

LLM Space

大模型日报（5月29日 资讯篇）

资讯

和GPT-4这些大模型玩狼人杀，人类因太蠢被票死，真·反向图灵测试

奥特曼挂帅新团队，OpenAI新一代大模型开训，前任高管却「投敌」了

西湖大学提出AIGC检测框架，精准识别AI撰写的文稿

填补AlphaFold3空白，字节跳动提出物理引导的方法让蛋白质动起来

Karpathy新教程爆火，网友抢着送他H100：从头复现GPT-2训练

用GPT-3.5生成数据集！北大天工等团队图像编辑新SOTA，可精准模拟物理世界场景

推特

Gemini 各个版本上线Imsys org排行榜：Gemini 1.5 Pro/Advanced排名第二，接近GPT-4o

RoboCasa：一个大规模的日常任务模拟框架，使用生成式AI工具创建各种各样的物体、场景和任务

Karpathy：在90分钟内用$20复现llm.c中的GPT-2 (124M)

Yuchen Jin用llm.c复现：在8个H100 GPU上仅用了43分钟就训练了GPT-2（124M）

TowardsAI分享《构建用于生产的LLM》：集合了一打专家（毕业生和行业）和1.5年的工作，这就是你得到的成果

Abacus Embeddings：简单的定位嵌入调整，使LLMs能够进行加法、乘法、排序等操作

产品

VIVA

Frontly

Tykr Mobile App

投融资

“颜创AI”完成数千万pre-A轮融资

Rain AI 完成810万美元的A轮延展融资

Inspeq 测试服务获得110万美元投资以扩展国际业务

— END —

关于作者

相关推荐

大模型日报（5月29日资讯篇）