大模型日报（11月18日学术篇）

LLM Space • 2024-11-18 20:19 • 产品 • 107 views

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

学术分析报告：ResearchFlow — 奇绩F23校友的开发的深度研究产品，PC端进入RFlow的分析报告，可直接点击节点右侧的小数字展开节点，登录后可在节点上直接“询问AI”，进一步探索深度信息

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

信号

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

这篇文章提出了“语义中心假说”，探讨了现代语言模型如何通过学习跨不同语言和模态的共享表示空间来处理多样化的输入。研究表明，模型在中间层对不同语言中语义等价的输入具有相似的表示，并且这种空间可以通过模型的主要预训练语言进行解释。此外，文章还发现在一种数据类型中对共享表示空间的干预会可预测地影响其他数据类型的模型输出，表明共享表示空间在模型处理输入时被积极利用。

https://arxiv.org/pdf/2411.04986

ResearchFlow:https://rflow.ai/flow/9b9511ec-a624-4dc1-b0de-dcd5ae16e26e

LLaMA-Mesh: Unifying 3D Mesh Generation with Language Models

这篇文章探讨了如何扩展大型语言模型（LLMs）的能力，使其能够从文本预训练扩展到生成3D网格模型。文章提出了两个主要优势：一是利用LLMs从文本源（如3D教程）中嵌入的空间知识；二是实现对话式的3D生成和网格理解。面临的主要挑战是将3D网格数据有效地标记化为LLMs可以无缝处理的离散标记。为了解决这个问题，文章介绍了LLaMA-Mesh，这是一种新颖的方法，它将3D网格的顶点坐标和面定义表示为纯文本，允许直接与LLMs集成而无需扩展词汇表。文章构建了一个监督式微调（SFT）数据集，使预训练的LLMs能够：（1）从文本提示生成3D网格；（2）按需产生交错的文本和3D网格输出；（3）理解和解释3D网格。这项工作首次证明了LLMs可以通过微调来获取复杂的空间知识，以文本格式进行3D网格生成，有效地统一了3D和文本模态。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。