大模型日报（11月12日学术篇）

LLM Space • 2024-11-12 20:27 • 产品 • 102 views

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

学术分析报告：ResearchFlow — 奇绩F23校友的开发的深度研究产品，PC端进入RFlow的分析报告，可直接点击节点右侧的小数字展开节点，登录后可在节点上直接“询问AI”，进一步探索深度信息

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

信号

MMoE: Enhancing Multimodal Models with Mixtures of Multimodal Interaction Experts

这篇文章提出了一种增强多模态模型的新方法，称为多模态专家混合（MMoE），旨在通过训练不同类型的专家模型来处理各种多模态交互（如讽刺和幽默），这些交互包含多模态冗余、单模态独特性以及模态融合带来的协同效应。在讽刺检测（MUStARD）和幽默检测（URFUNNY）任务上，MMoE实现了新的最佳效果，并展示出适用于多种模型类型的提升潜力。

https://x.com/pliang279/status/1856046089184461010

ResearchFlow:https://rflow.ai/flow/3839b694-aa61-41ef-9a74-326aedb355f0

Why think step by step? Reasoning emerges from the locality of experience

这篇文章探讨了大语言模型中的链式推理（chain-of-thought reasoning）如何在训练数据具备局部统计结构时提升推理效果。作者提出，当训练数据包含相互强烈影响的局部变量簇时，通过推理中间步骤可以更准确地推断未见过的变量关系。理论证明和实验结果表明，使用局部结构化的观测数据并逐步进行推理，比直接训练所有变量的数据效率更高，揭示了逐步推理有效性的统计根源。

https://x.com/IntuitMachine/status/1855951681214640281

ResearchFlow:https://rflow.ai/flow/775ede65-2f61-4acb-b127-5c7b1940e2b3

Dreaming Out Loud: A Self-Synthesis Approach For Training Vision-Language Models With Developmentally Plausible Data

这篇文章提出了一种从人类认知发展中获得灵感的“自我生成”训练方法，用于在有限数据条件下训练多模态模型。方法分为四个阶段：第一阶段从小语料库中训练基础语言能力，第二阶段将语言与视觉环境关联，通过视觉编码器生成图像描述，第三阶段生成未标注图像的描述并用合成文本继续训练语言能力，第四阶段训练模型在视觉问答和推理等任务中发展高级认知技能。该方法证明了在合理数据量下训练多模态模型的可行性。

https://x.com/bkhmsi/status/1855940304236392512

ResearchFlow:https://rflow.ai/flow/f1b0065a-8e54-444f-92c3-6177773972d6

HuggingFace&Github

AI Code Review Mentor

CR-Mentor 是一个基于知识库和大语言模型（LLM）的智能代码审查助手。它不仅支持所有编程语言的代码审查，还可以根据知识库中积累的最佳实践定制审查标准和重点领域。通过不断积累知识库和对 LLM 的深度学习，CR-Mentor 可以有效地提高团队的代码质量，显著降低审查时间和错误率（约 50%）。