我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

学术分析报告：ResearchFlow — 奇绩F23校友的开发的深度研究产品，PC端进入RFlow的分析报告，可直接点击节点右侧的小数字展开节点，登录后可在节点上直接“询问AI”，进一步探索深度信息

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

信号

SVDQunat: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models

SVDQuant是一种新颖的方法，旨在通过将扩散模型的权重和激活量化为4位来提高其效率。这种激进的量化通常会导致由于权重和激活对异常值的敏感性而显著降低质量。为了解决这个问题，SVDQuant引入了一个低秩组件，吸收这些异常值，而不是像传统方法那样重新分配它们。该过程涉及将异常值从激活迁移到权重，然后应用奇异值分解（SVD）来有效管理这些权重。通过创建一个以更高精度（16位）运行的低秩分支，SVDQuant允许仅将残差量化为4位，从而最小化异常值的影响，并在推理过程中保持模型性能。

https://arxiv.org/abs/2411.05007

ResearchFlow:https:https://rflow.ai/flow/b376a677-8293-4e38-9ff5-5156a9acf642（PC端食用更佳）

FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI

FrontierMath是一项新推出的基准，旨在评估人工智能在高级数学推理方面的能力。该基准包含数百个原创且极具挑战性的数学问题，这些问题由专家数学家设计和审核，涵盖现代数学的多个主要分支，如数论、实分析、代数几何和范畴理论。解决这些问题通常需要研究者花费数小时甚至数天的时间。FrontierMath使用新颖且未发表的问题，并通过自动验证来确保评估的可靠性，同时最小化数据污染的风险。目前，最先进的人工智能模型在这些问题上的解决率不足2%，显示出AI能力与人类数学家之间存在显著差距。随着人工智能系统向专家级数学能力的发展，FrontierMath为量化其进步提供了一个严格的测试平台。

https://arxiv.org/abs/2411.04872

ResearchFlow:https://rflow.ai/flow/c26029b3-bb4b-4b55-8770-86d492b54d27（PC端食用更佳）

Mixture-of-Transformers: A Sparse and Scalable Architecture for Multi-Modal Foundation Models

Mixture-of-Transformers (MoT) 是一种新型的稀疏多模态变换器架构，旨在高效处理文本、图像和语音等多种数据模态。该论文提出MoT以解决大型语言模型（LLMs）在训练过程中面临的计算资源和数据集规模挑战。MoT通过按模态解耦非嵌入参数（如前馈网络、注意力矩阵和层归一化），实现了模态特定的处理，同时在全输入序列上进行全局自注意力计算。评估结果显示，在Chameleon 7B设置下，MoT仅使用55.8%的计算量（FLOPs）就能匹配密集基线的性能；当扩展到语音时，MoT以37.2%的FLOPs达到与密集基线相当的语音性能。此外，在不同目标训练文本和图像的Transfusion设置中，7B MoT模型在图像模态性能上与密集基线相当，而760M MoT模型在关键图像生成指标上超越了1.4B的密集基线。这些结果表明，MoT在计算效率和时间上具有显著优势。

https://arxiv.org/abs/2411.05007

ResearchFlow:https://rflow.ai/flow/67afbf08-78ff-493e-bf92-955854b8421d（PC端食用更佳）

HuggingFace&Github

CogVideo

CogVideoX 是一个由清影团队开发的开源视频生成模型，能够根据文本提示生成视频，并支持图像到视频和视频续作等功能。该项目提供多个版本的模型（如CogVideoX-2B和CogVideoX-5B），并配有详细的使用指南和示例代码，方便开发者上手。其技术栈基于Transformer的大规模预训练模型，使用3D Causal VAE进行视频重建，并支持多种推理精度（如FP16、BF16和INT8），可根据硬件环境选择。