大模型日报（6月28日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

击败Gemini-1.5-Pro、GPT-4V，从容大模型多模态能力跻身全球前三

近日，云从科技从容大模型在综合评测权威平台 OpenCompass 的多模态评测领域中取得重大进展。最新评测结果显示，云从科技的从容大模型在该体系中的平均得分为 65.5，这一成绩使得从容大模型跻身全球前三，超越了谷歌的 Gemini-1.5-Pro 和 GPT-4v，仅次于 GPT-4o（69.9）和 Claude3.5-Sonnet（67.9）。而在国内市场，从容大模型的成绩也超过了 InternVL-Chat（61.7）和 GLM-4V（60.8），排名首位。

https://mp.weixin.qq.com/s/IvOo_1NjO2eEFAFLlirj1Q

谷歌「诚意之作」，开源9B、27B版Gemma2，主打高效、经济！

AI赛道上，科技巨头们激烈角逐。前脚有GPT-4o问世，后脚就出现了Claude 3.5 Sonnet。如此激烈的争斗中，谷歌虽然发力较晚，但在短时间内就能有显著的能力跟进，可见其技术发展与创新的潜力。除了Gemini模型外，Gemma这一系列轻量级的SOTA开放模型似乎与我们距离更近。它基于Gemini模型相同的研究和技术构建，旨在让每个人都拥有构建AI的工具。谷歌持续扩展Gemma家族，包括CodeGemma、RecurrentGemma和PaliGemma——每个模型都为不同的AI任务提供独特的能力，并且可以通过与Hugging Face、NVIDIA和Ollama等合作伙伴轻松访问。

https://mp.weixin.qq.com/s/0Iy3gOlWRLKRCMnrXQavaA

Bengio团队提出多模态新基准，直指Claude 3.5和GPT-4o弱点

想要达成通用人工智能 AGI 的终极目标，首先要达成的是模型要能完成人类所能轻松做到的任务。为了做到这一点，大模型开发的关键指导之一便是如何让机器像人类一样思考和推理。诸如注意力机制和思维链（Chain-of-Thought）等技术正是由此产生的灵感。然而，可能很多人并没有意识到，很多对人类来说很简单的认知任务也往往伴随着非常复杂的推理过程。来自图灵奖得主 Yoshua Bengio 的团队提出了全新的视觉问答任务：视觉字幕恢复（Visual Caption Restoration，VCR）。让我们借由这个任务对视觉语言模型的推理能力一探究竟：当前的视觉语言模型距离人类的认知水平还有多长的路要走？

https://mp.weixin.qq.com/s/Zy-kM3bvN-1oHondw1VLzw

双向赋能：AI与数据库的修行之道

在这个数据为王的时代，数据是人工智能的三大支柱之一，其重要性不言而喻。最近，OpenAI 收购了数据库初创公司 Rockset，迅速引起了业内外的广泛关注。OpenAI 早已在算法和计算能力方面遥遥领先，通过这次战略性的收购，OpenAI 将在其产品中融合 Rockset 的先进数据索引和查询技术，帮助 OpenAI 将数据转化为 “可操作智能”。现代数据库与人工智能（AI）的融合，正如同一场席卷全球的技术革命，深刻地重塑着技术与产业的格局。一方面，数据库技术的技术迭代需要更好地支持人工智能应用工作负责，比如向量数据库，也就是 DB for AI；另一方面人工智能技术也更好地让数据库运维更方便，实现自动化和智能化，也就是 AI for DB。在这一个变革过程中，数据库产业正面临诸多挑战，比如海量数据高性能和大并发、大量数据库实例智能优化、保障数据安全防篡改的防护等。面对这种情况，企业如何通过技术创新和生态协同应对挑战并抓住其中的机遇呢？作为数据库领域的领头羊，东方国信、PingCAP、云和恩墨通过自身的技术与产品实践给出了他们的答案，同时他们与英特尔的协同创新，也让我们看到了数据库生态的蓬勃生机。

https://mp.weixin.qq.com/s/FpAf13KTjZmcOLI9bcAsiQ

300多篇相关研究，复旦、南洋理工最新多模态图像编辑综述论文

本文提出了解决一般性编辑任务的统一框架！近期，复旦大学 FVL 实验室和南洋理工大学的研究人员对于多模态引导的基于文生图大模型的图像编辑算法进行了总结和回顾。综述涵盖 300 多篇相关研究，调研的最新模型截止至今年 6 月！该综述拓展了关于控制条件（自然语言，图像，用户接口）和编辑任务的讨论（物体 / 属性操作、空间变换、inpainting、风格转换、图像翻译，主体 / 属性客制化），以从更新颖和更一般性的角度全面的探讨编辑方法。此外，该综述提出的统一框架将编辑过程表示为不同算法族的组合，并通过全面的定性和定量实验来说明各种组合的特性以及适应场景。该框架提供了友好的设计空间以满足用户不同的需求，并为研究者们提供了一定的参考以开发新的算法。