大模型日报（8月13日资讯篇）

特别活动！

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

Transformer作者创业公司Sakana AI推出AI Scientist

Sakana AI 推出的 AI Scientist 系统能够自动化地进行科学研究，包括构思实验、编写代码、运行实验、总结结果以及撰写和审阅论文。该系统在多个机器学习子领域展现了多功能性，每篇论文的成本仅为 15 美元左右，且能够超越顶级会议的接受标准。

https://mp.weixin.qq.com/s/vdvlGkPmbEUmNVBmoRcuRQ

Genie！能模拟人类工程师思考和行动

Cosine 推出的 AI 编程助手 Genie，在第三方基准测试中超越了 Cognition 的 Devin 和其他竞争对手，得分达到 30%。Genie 能够自主完成多种编程任务，包括代码调试、功能开发、代码重构和测试，它模仿人类软件工程师的思维和行为，支持多种编程语言。Genie 通过 OpenAI 的 GPT-4o 长输出上下文模型进行训练和微调，使用了大量高质量的数据集。Cosine 计划通过两种定价模式推出 Genie，一种面向个人和小团队，另一种面向企业级用户。Genie 的推出预示着软件开发团队可以更有效地分配工程资源，专注于更具战略性的任务。Cosine 已经筹集了 250 万美元的种子资金，并计划将人类推理应用于更多复杂问题的解决，从软件工程开始。

https://venturebeat.com/programming-development/move-over-devin-cosines-genie-takes-the-ai-coding-crown/

7B模型挑战Transformer，长序列处理再升级

Falcon Mamba 7B 是一款开源的状态空间语言模型，旨在处理任意长度的文本序列。它摒弃了传统的注意力机制，采用了 RNN 和 CNN 的特点，通过选择性传播信息提高了效率。该模型能在不增加内存需求的情况下处理无限长序列，且生成每个 token 的时间接近恒定。Falcon Mamba 在性能上超越了同规模的 Transformer 模型，包括 Llama-3.1 (8B)、Mistral (7B) 和 Falcon-2 (11B)。它支持多种 Hugging Face API，并提供了指令调优版本，通过额外 50 亿个 token 的微调提升了准确性。

https://mp.weixin.qq.com/s/DOeZASQCGeemywrgvqU4Sg

论文荣登计算机体系结构顶会ISCA，芯片架构成为边缘AI最佳并行计算选择

文章主要介绍了边缘 AI 服务器市场的增长趋势，以及可重构计算架构 CGRA 在该市场中的应用。特别是芯动力公司提出的可重造并行处理器（RPP）架构，它在性能和能效上优于传统的 GPGPU、FPGA 和 NPU，尤其适合于边缘 AI 计算。RPP 架构的 R8 芯片在实验中展现了优异的性能，能效比英伟达的 Jetson Nano 和 Jetson Xavier AGX 高出多倍。此外，RPP 架构的论文已被国际顶级计算机体系结构会议 ISCA 收录，获得了学术界和产业界的认可。随着边缘 AI 技术的不断发展，RPP 处理器有望成为边缘 AI 服务器和 AI PC 的理想选择。

https://mp.weixin.qq.com/s/Mw8UV-_zJ_WTYPpNy2XxZg

MIT研究揭示AI训练数据来源受限的趋势

AI 系统的高性能依赖于充足、高质量的训练数据，但最近 MIT 等机构的研究发现，曾经免费提供的数据在多个方面变得难以获取。随着 GenAI 产品的研究和开发变得广泛，训练数据的抓取许可问题受到了更多关注。研究人员发现，C4、RefineWeb、Dolma 等开源数据集所爬取的网站正在加快收紧许可协议。这种趋势不仅影响商用 AI 模型的训练，也对学术界和非营利机构的研究造成了障碍。该研究由 MIT Media Lab、Wellesley 学院和 AI 初创公司 Raive 等机构的 4 位团队主管进行。论文地址和数据分析过程已公开。研究结果显示，AI 数据共享空间的限制正在激增，许可的不对称性和不一致性日益明显，网络爬取的公开训练语料中的内容特征存在差异，且网络数据与对话式 AI 的常见用例不匹配。研究方法包括对网站的服务条款和机器人排除协议进行了分析。论文共调查了 3 个数据集的网站来源，并对随机采样的域名进行了人工标注。研究结果预测了数据限制的持续增加，指出不同组织的 AI agent 在许可程度上存在差异，且 robots.txt 和服务条款常常存在矛盾。此外，网页数据与 AI 模型的实际用途不匹配。研究讨论了 AI 公司绕过 robots.txt 抓取数据的问题，并强调了需要一个更灵活的协议来反映网站所有者的意愿。

https://mp.weixin.qq.com/s/MypgPc4lWW7UHh2oCQmGBQ

LLM端侧部署新范式T-MAC开源

由微软亚洲研究院、中国科学技术大学和中国科学院大学的研究人员共同开发了 T-MAC，这是一种创新的基于查找表（LUT）的计算方法，专为在 CPU 上高效执行低比特大型语言模型（LLMs）推理而设计。T-MAC 无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。与依赖专用加速器（如 NPU 和 GPU）的大模型部署不同，T-MAC 可以仅利用 CPU 部署 LLMs，推理速度甚至能够超过同一片上的专用加速器。实验结果显示，在 Surface AI PC 上，3B BitNet-b1.58 模型的生成速率可达每秒 48 个 token，2bit 7B llama 模型的生成速率可达每秒 30 个 token，4bit 7B llama 模型的生成速率可达每秒 20 个 token，这些性能甚至超越了 NPU。在 Raspberry Pi 5 上，T-MAC 针对 3B BitNet-b1.58 也能达到每秒 11 个 token 的生成速率。T-MAC 的计算性能会随着比特数的降低而线性提高，这一点在基于反量化去实现的 GPU 和 NPU 中是难以观察到的。T-MAC 的关键创新在于采用基于查找表（LUT）的计算范式，而非传统的乘累加（MAC）计算范式，这样可以消除反量化操作，并且减少了乘法和加法操作的数量。T-MAC 还具有显著的功耗优势，降低了能耗，并为其它应用留下了计算资源。研究人员还深入探究了基于查找表的计算数据流，设计了高效的数据结构和计算流程，包括将 LUT 存入片上内存，改变矩阵 axis 计算顺序，为查表单独设计最优矩阵分块方式，以及对 Intel/ARM CPU 的针对性优化。

https://mp.weixin.qq.com/s/9gPydt8Suuhc-zS-FvqdaA

推特

Jason Wei：我的竞争优势在于我愿意坐下来彻底调试并完全理解代码

一位年轻的OpenAI工程师的鼓舞人心的话：“我为什么到目前为止表现得不错？我不认为自己比别人更聪明或更有经验。但我的竞争优势在于我愿意坐下来彻底调试并完全理解代码。我愿意熬夜完成工作，无论花多长时间。因为我愿意这样做，所以我不怕任何基础设施，我知道我可以构建任何东西。”

https://x.com/_jasonwei/status/1823067805748728051

Perplexity宣布和Polymarket合作：在Perplexity搜索时，你会看到新闻摘要与实时概率预测相结合

我们很高兴宣布与@Polymarket的合作。现在，当你在Perplexity上搜索事件时，你会看到新闻摘要与实时概率预测相结合，例如选举结果、市场趋势等。

https://x.com/perplexity_ai/status/1823029449534615705

ElevenStudios 分享 AI配音服务Demo：已经与世界上一些顶级创作者合作上线

推出ElevenStudios——我们全方位管理的AI配音服务。

我们已经与世界上一些顶级创作者合作上线：

@ColinandSamir @Youshaei @Dope_As_Usual @Drewbinsky @AliAbdaal @HarryStebbings

https://x.com/elevenlabsio/status/1823069272228450507

Falcom Mamba：7B开放获取模型，注意力自由，无论上下文大小只需要恒定时间生成令牌

Falcon Mamba🪿🐍新的7B开放获取模型，来自TII⚡️

-注意力自由->可以缩放任意序列长度

-恒定的时间来生成一个新的令牌，无论上下文大小!

-强大的指标vs类似规模的模型

https://x.com/osanseviero/status/1823000588029743324

产品

Jupitrr

Jupitrr 是一款基于人工智能的视频制作工具，能够自动生成 B-roll 视觉素材，帮助内容创作者在短时间内完成视频编辑，节省大量时间和精力。用户只需上传音频或视频，系统便会自动生成相关的视觉素材和转录文本，操作简单高效。

https://jupitrr.com/

FlowPrompter

FlowPrompter 是一款隐形提词器软件，帮助用户在镜头前更好地表达自己。它支持快速设置和大纲切换，具有隐形界面，适合直播、演讲和视频录制等场合。用户可以免费试用，未来可能推出订阅和终身计划。

https://flowprompter.app/

投融资

资本|Balderton募资13亿美元引领欧洲创投潮流

Balderton Capital成功募集13亿美元用于早期阶段和增长阶段投资基金，显示欧洲创投市场正在复苏。此次募资吸引了80%的现有有限合伙人及美国机构的支持。尽管欧洲创投在过去10至15年中表现优于美国，Balderton因其专注于欧洲市场而错失硅谷AI初创公司的投资机会，如OpenAI。Balderton强调其策略集中于以AI技术解决具体问题的公司，并已投资于Wayve等公司。尽管如此，一些业内人士呼吁欧洲投资者更大胆地支持基础技术投资，以免落后于美国。

公司官网：https://www.balderton.com/