大模型日报（5月28日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

登Nature子刊，中科院计算所团队开发CarbonDesign，进行准确且稳健的蛋白质序列设计

蛋白质是生物体内执行生物功能的基础元件，在催化、免疫和信号传递等生物过程中起着重要作用。一般认为，蛋白质序列设计是蛋白质结构预测的逆问题。具体地，是指从给定的蛋白质三维结构出发，设计出能够折叠成为目标蛋白结构、具有目标蛋白功能的序列。它是从头蛋白质设计的关键一步，一旦主链结构被生成，为其设计最佳序列就变得至关重要。蛋白质序列设计在药物设计、酶工程等领域具有重要应用。由于可能的蛋白质序列和结构比宇宙中的粒子数量还要多，当前实现准确且稳健的蛋白质序列设计，仍然是一个挑战。中国科学院计算技术研究所张海仓、卜东波带领的蛋白质设计团队开发了蛋白质序列设计新方法 CarbonDesign。CabonDesign 是蛋白质序列设计版的 AlphaFold，它从用于蛋白质结构预测的 AlphaFold 模型中汲取灵感，并专门针对蛋白质序列设计进行了算法改进。该工具能够准确且稳健的设计蛋白质序列，可以被广泛应用于不同蛋白质设计场景，并且可以预测蛋白质突变的功能影响。

https://mp.weixin.qq.com/s/CbVpS3OyNDXeyyxzOYBE0g

清华接手，YOLOv10问世：性能大幅提升，登上GitHub热榜

目标检测系统的标杆 YOLO系列，再次获得了重磅升级。自今年 2 月 YOLOv9 发布之后， YOLO（You Only Look Once）系列的接力棒传到了清华大学研究人员的手上。上周末，YOLOv10 推出的消息引发了 AI 界的关注。它被认为是计算机视觉领域的突破性框架，以实时的端到端目标检测能力而闻名，通过提供结合效率和准确性的强大解决方案，延续了 YOLO 系列的传统。

https://mp.weixin.qq.com/s/3mQQbD1GJ8JBCMOXWDWJYA

AI智能体的炒作与现实：GPT-4都撑不起，现实任务成功率不到15%

随着大语言模型的不断进化与自我革新，性能、准确度、稳定性都有了大幅的提升，这已经被各个基准问题集验证过了。但是，对于现有版本的 LLM 来说，它们的综合能力似乎并不能完全支撑得起 AI 智能体。多模态、多任务、多领域俨然已成为 AI 智能体在公共传媒空间内的必须要求，但是在具体的功能实践中所展现的真实效果却差强人意，这似乎也再次提醒各个 AI 智能体初创公司以及大型科技巨头认清现实：脚踏实地一点，先别把摊子铺得太大，从 AI 增强功能开始做起。近日，一篇就 AI 智能体在宣传和真实表现上的差距而撰写的博客中，强调了一个观点：「AI 智能体在宣传上是个巨人，而现实却很不妙。」不可否认的是，自主 AI 智能体能够执行复杂任务的前景已经引起极大的兴奋。通过与外部工具和功能的交互，LLMs 可以在没有人为干预的情况下完成多步骤的工作流程。但现实证明，这比预期的要更具挑战性。WebArena排行榜（一个真实可复现的网络环境，用于评估实用智能体的性能）对 LLM 智能体在现实任务中的表现进行了基准测试，结果显示即使是表现最好的模型，成功率也只有 35.8%。

https://mp.weixin.qq.com/s/E-DSvvaLkoFBRc5pDIjhog

清华、华为等提出iVideoGPT：专攻交互式世界模型

近年来，生成模型取得了显著进展，其中视频生成正在成为一个新的前沿领域。这些生成视频模型的一个重要应用是，在多样化的互联网规模数据上以无监督方式学习，用于构建预测世界模型。这些世界模型有望积累关于世界如何运作的常识性知识，从而能够基于智能体的行为预测潜在的未来结果。通过利用这些世界模型，采用基于强化学习的智能体可以在世界模型中进行想象、推理和规划，从而在现实世界中通过少量试验就能更安全、更有效地获得新技能。尽管生成模型和世界模型有着基本的联系，但用于视频生成的生成模型和用于智能体学习的世界模型的发展之间仍然存在显著的差距。主要挑战之一是如何在交互性和可扩展性之间取得最佳平衡。在基于模型的强化学习领域，世界模型主要使用循环网络架构。这种设计允许在每一步中基于动作传递观察或潜在状态，从而促进交互行为学习。然而，这些模型大多专注于游戏或模拟环境，数据简单，并且对大规模复杂的 in-the-wild 数据进行建模的能力有限。相比之下，互联网规模的视频生成模型可以合成逼真的长视频，这些视频可以通过文本描述或未来动作序列进行控制。虽然这样的模型允许高层次的、长期的规划，但它们的轨迹级交互性并没有为智能体提供足够的粒度来有效地学习精确的行为作为基本技能。来自清华大学、华为诺亚方舟实验室、天津大学的研究者提出了 iVideoGPT（Interactive VideoGPT），这是一个可扩展的自回归 Transformer 框架，它将多模态信号（视觉观察、动作和奖励）集成到一系列 token 中，通过预测下一个 Token 使智能体能够进行交互体验。

https://mp.weixin.qq.com/s/yJdy4NRhMf360Bq3WqRYCQ

适应多形态多任务，最强开源机器人学习系统「八爪鱼」诞生

在机器人学习方面，一种常用方法是收集针对特定机器人和任务的数据集，然后用其来训练策略。但是，如果使用这种方法来从头开始学习，每一个任务都需要收集足够数据，并且所得策略的泛化能力通常也不佳。原理上讲，从其它机器人和任务收集的经验能提供可能的解决方案，能让模型看到多种多样的机器人控制问题，而这些问题也许能提升机器人在下游任务上的泛化能力和性能。但是，即便现在已经出现了能处理多种自然语言和计算机视觉任务的通用模型，构建「通用机器人模型」依然困难重重。要为机器人训练一个统一的控制策略非常困难，其中涉及诸多难点，包括操作不同的机器人机体、传感器配置、动作空间、任务规范、环境和计算预算。为了实现这一目标，已经出现了一些「机器人基础模型」相关研究成果；它们的做法是直接将机器人观察映射成动作，然后通过零样本或少样本方式泛化至新领域或新机器人。这些模型通常被称为「通才机器人策略（generalist robot policy）」，简称 GRP，这强调了机器人跨多种任务、环境和机器人系统执行低阶视觉运动控制的能力。举些例子：GNM（General Navigation Model，通用导航模型）适用于多种不同的机器人导航场景，RoboCat 可针对任务目标操作不同的机器人机体，RT-X 能通过语言操控五种不同的机器人机体。尽管这些模型确实是重要进展，但它们也存在多方面的局限：它们的输入观察通常是预定义的且通常很有限（比如单相机输入视频流）；它们难以有效地微调至新领域；这些模型中最大型的版本都没有提供人们使用（这一点很重要）。近日，加州大学伯克利分校、斯坦福大学、卡内基梅隆大学和谷歌 DeepMind 的 18 位研究者组成的 Octo Model Team 发布了他们的开创性研究成果：Octo 模型。该项目有效地克服了上述局限。

https://mp.weixin.qq.com/s/HPTfOlw25F5JcvlY-Vy9Tw

推特

Tantacrul谈Meta新通知：故意避免明确说明其真实目的，并且故意将”反对”的选项放在不显眼的位置

这是对Tantacrul在Twitter上对Meta新通知的一系列评论的翻译和概括。Tantacrul指出，Meta设计的通知意在最小化用户反对使用其内容来训练AI模型的可能性。通知的设计符合法律要求，但故意避免明确说明其真实目的，如”我们打算使用您的内容来训练我们的AI模型”，并且故意将”反对”的选项放在不显眼的位置。此外，当用户尝试反对时，Meta会通过多个步骤来增加操作的复杂性，比如通过电子邮件发送一个只有一小时有效期的代码。Tantacrul还提到了系统的不完善，例如他的一个朋友在反对过程中遇到错误，而Reddit上的讨论也证实了这一点。

https://x.com/Tantacrul/status/1794863603964891567

逆图灵测试：AI NPC尝试弄清楚它们中谁是人类，因为人类太蠢正确率3/4

逆图灵测试：AI NPC尝试弄清楚它们中谁是人类

亚里士多德是GPT4

莫扎特是Claude 3 Opus

达芬奇是Llama 3

克利奥帕特拉是Gemini Pro

最有趣的部分？

四个模型中有三个猜对了……因为人类的回答太蠢了 😂😂😂

https://x.com/AISafetyMemes/status/1795309403824165184

马斯克、乐昆推特撕逼：“如果你能忍受一个这样的老板！”

Elon Musk：如果你相信我们理解宇宙的使命，这需要最严格地追求真理，不考虑受欢迎程度或政治正确性，请加入xAI。

引用Igor Babuschkin

如果你想成为我们构建AGI并理解宇宙的旅程的一部分，请在 https://x.ai/careers 申请 🛰️

Yann LeCun回复：

如果你能忍受一个这样的老板，请加入xAI：

声称你正在研究的事情明年就会解决（无压力）。
声称你正在研究的事情将杀死所有人，并且必须被停止或暂停（耶，六个月的假期！）。
声称要“最严格地追求真理”，但自己在社交平台上散布疯狂的阴谋论。

Yann LeCun: “我是科学家，不是商人或产品人。”

Elon Musk: “你在过去五年里做过什么‘科学’？”

Yann LeCun: “自2022年1月以来，发表了超过80篇技术论文。你呢？”

Elon Musk: “那没什么，你变得软弱了。试着更努力些！”

https://x.com/ylecun/status/1795034443809165464

根据产品需求文档自动生成Figma设计，GPT-4o驱动

正在发生的未来。

由GPT-4o驱动的自动化技术，根据产品需求文档生成Figma设计。

@figma

https://x.com/yancymin/status/1795308932216525229

Tom Yeh分享：手工制作的向量数据库

手工制作的向量数据库 ✍️

向量数据库正在革新我们搜索和分析复杂数据的方式。它们已成为检索增强生成（#RAG）的支柱。

向量数据库是如何工作的？

[1] 给定

↳ 一个数据集，包含三个句子，每个句子有3个词（或标记）

↳ 实际应用中，一个数据集可能包含数百万或数十亿个句子。标记的最大数量可能是数万（例如，32,768 mistral-7b）。

处理“how are you”

[2] 🟨 词嵌入

↳ 对每个词，从一个包含22个向量的表中查找相应的词嵌入向量，其中22是词汇量大小。

↳ 实际应用中，词汇量可达数万。词嵌入的维度在数千之间（例如，1024, 4096）

[3] 🟩 编码

↳ 将词嵌入序列输入编码器，得到每个词的特征向量序列。

↳ 这里，编码器是一个简单的单层感知器（线性层 + ReLU）

↳ 实际应用中，编码器是变压器或其许多变体之一。

[4] 🟩 均值池化

↳ 使用“均值池化”合并特征向量序列成一个单一向量，即跨列求平均。

↳ 结果是一个单一向量。我们通常称其为“文本嵌入”或“句子嵌入”。

↳ 还可以使用其他池化技术，如CLS。但均值池化是最常见的。

[5] 🟦 索引

↳ 通过投影矩阵减少文本嵌入向量的维度。减少率为50%（4->2）。

↳ 实际应用中，这个投影矩阵的值更加随机。

↳ 其目的类似于哈希，即获得短的表示以实现更快的比较和检索。

↳ 得到的降维索引向量保存在向量存储中。

[6] 处理“who are you”

↳ 重复 [2]-[5]

[7] 处理“who am I”

↳ 重复 [2]-[5]

现在我们已经在向量数据库中索引了我们的数据集。

[8] 🟥 查询：“am I you”

↳ 重复 [2]-[5]

↳ 结果是一个2维查询向量。

[9] 🟥 点乘

↳ 对查询向量和数据库向量进行点乘。它们都是2维的。

↳ 其目的是使用点乘来估计相似度。

↳ 通过转置查询向量，此步骤变成了矩阵乘法。

[10] 🟥 最近邻

↳ 通过线性扫描找到最大的点乘。

↳ 点乘最高的句子是“who am I”

↳ 实际应用中，因为扫描数十亿个向量很慢，我们使用近似最近邻（ANN）算法，如层次可导航小世界（HNSW）。

https://x.com/ProfTomYeh/status/1795076707386360227

产品

IKI.AI

IkI.ai 是一个智能知识管理平台，通过语言模型技术提供强大的知识获取、分析和创作能力。它支持多种格式的知识输入，内置丰富的内部知识库和网络搜索能力，让用户能够便捷地整理、查找和利用自己的专业知识。平台还支持知识的协作共享，帮助用户建立专业社交网络。

https://iki.ai/

Jector.ai

Jector AI是一款专为电子商务图像创作优化的AI工具。它提供了基于节点的创建流程，帮助用户轻松生成自定义产品背景，并通过”变化”、”删除对象”等功能完成背景细节的调整。该工具还支持产品合成、后期处理和图像放大，让用户能够制作出专业品质的产品照片。此外，Jector AI还提供了收藏和下载功能，用户可以保存和下载无限生成的图像。

https://jector.ai/

投融资

「爱设计&AiPPT.cn」完成数千万元B1轮融资

AIGC科技企业「爱设计」宣布完成B1轮融资。本轮融资由A股上市公司视觉中国领投，星连资本和36氪跟投，这是「爱设计」在短短 4 年内获得的第四轮融资，此前，「爱设计」曾先后获得来自心元资本，微梦传媒，视觉中国，信天创投，策源创投，亚杰基金及知名战投方投资。本轮融资将用于人工智能技术，内容版权创作者体系和国内外用户增长等方面。

公司官网：https://qiye.isheji.com/

https://36kr.com/p/2794101990048901

ThinkLabs AI种子轮融资500万美元

ThinkLabs AI, 总部位于纽约的初创公司，专注于通过智能自动化和人工智能改进电网规划，已在种子轮融资中筹集了500万美元。此轮融资由Powerhouse Ventures和Active Impact Investments共同领投，Blackhorn Ventures、Amplify Capital、Mercuria Energy和一家美国国家能源公司参与。ThinkLabs AI由Josh Wong创立和领导，是一家专业的人工智能开发和部署公司，开发旗舰产品ThinkLabs Copilot。这款AI驱动的数字助手旨在帮助控制室操作员更有效地管理复杂的现代电网。ThinkLabs Copilot利用受物理和工程控制的真实世界现象建模的AI数字孪生体。公司的使命是为全球能源可持续性赋予关键行业和基础设施以值得信赖的AI。

公司官网：https://www.thinklabs.ai/

https://www.thesaasnews.com/news/thinklabs-ai-raises-5-million-in-seed-round

3Cross ai宣布获得115,000美元谷歌资助并在ZkSync上进行预售发布

3Cross.ai是一家创新的AI驱动项目，位于ZkSync链上，非常高兴地宣布通过Web3创业公司获得了谷歌115,000美元的资助。这笔巨额资金凸显了3Cross.ai成为去中心化空间中首要AI项目的承诺，利用ZkSync的先进功能来彻底改变各个行业。在人工智能和区块链技术融合的时代，3Cross.ai旨在通过将尖端AI解决方案与可扩展且安全的ZkSync Layer 2网络相结合来引领变革。这种整合承诺提高效率，降低成本，并为去中心化应用程序（dApps）开启新的可能性。

公司官网：https://3cross.ai/