大模型日报（6月5日学术篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

学习

一文教你看懂GPT-4o背后的语音技术

GPT-4o 是一种先进的语音处理技术，它通过深度学习和自然语言处理技术，实现了对语音数据的高效理解和生成。技术架构中包含了输入输出层、编码器、多头注意力机制和解码器，这些组件共同作用，使得 GPT-4o 能够处理复杂的语音信号，并准确地生成自然语言响应。多头注意力机制尤其突出，它能够捕捉长距离依赖关系，提升模型处理语音的能力。此外，GPT-4o 通过大规模数据集的预训练和特定任务的微调，进一步提升了性能。然而，该技术也面临着语音伪造、模型解释性和数据偏见等挑战。未来的发展将侧重于提高模型的准确性和鲁棒性，并确保在伦理和法律框架内的应用。

https://mp.weixin.qq.com/s/RKSrystS53HN4C0POr6PYQ

在大模型应用中，如何提升RAG（检索增强生成）的能力？

RAG（检索增强生成）技术通过结合大型语言模型（LLM）与外部知识库，提升了生成答案的准确性和信息的可靠性。在检索阶段，RAG 面临质量低、覆盖不足、情境调节困难、内容划分和排名难题。解决方案包括使用密集检索器模型（如 DPR、ANCE）提高召回率和相关性，采用多向量表示和近似最近邻搜索优化检索速度，以及通过模块化架构和自我监督目标的预训练语言模型强化情境化处理。生成阶段则解决了幻觉问题、可解释性不足、推理速度慢、个性化难题和质量评估难题。技术细节涉及训练信号直接最小化幻觉文本的产生、使用交叉注意力转换器层提高情感实体分析能力、优化标记化和编码过程以及引入 LLM 文本完成 Pydantic 程序和 Output Parsing 技术以提高输出的准确性和可解释性。此外，RAPTOR 模型通过递归抽象处理和树状检索结构，有效地整合和检索信息，提升了问答任务的性能。在安全性方面，Llama Guard 通过检查输入和输出内容，确保 LLM 的使用安全。总之，RAG 技术通过不断优化检索和生成过程，提高了 LLM 在信息检索和问答领域的应用效率和准确性。

https://www.zhihu.com/question/643138720/answer/3495870046?utm_psn=1780914184403427329

用最酷的LR，训最猛的模型

文章探讨了机器学习中的学习率策略，指出传统的 cosine decay 在续训时不够灵活。提出了 WSD 策略，即在训练后期快速衰减学习率，以及 Cooldown 策略，这些方法在小模型上显示出与 cosine decay 相当或更好的收敛效果。WSD 和 Cooldown 策略的关键在于调整学习率大小、衰减周期和衰减函数。此外，文章还介绍了 SWA 和 SFO 等替代方法，它们通过权重平均或优化器改进，实现了在固定学习率下的高效模型训练。这些新策略虽然在小模型上得到了验证，但其在大模型稳定收敛和 Scaling Law 有效性方面的表现还需进一步实验证明。

https://mp.weixin.qq.com/s/2bNYBaJOLxuBaomv0Iu3gQ

eBay 多模态与 GNN 商品嵌入技术：提升推荐系统效能与用户体验

eBay 推荐系统通过多模态学习技术融合文本、图像和属性数据，结合图神经网络（GNN）捕捉商品间的复杂关系，实现商品嵌入。多模态融合使得商品表示更加全面，而 GNN 通过学习商品图中的节点和边缘关系，提升了嵌入的精确度。技术细节上，eBay 采用了自注意力机制来处理文本数据，卷积神经网络（CNN）处理图像，以及图卷积网络（GCN）处理商品间的关系。这些方法的结合，不仅提高了推荐系统的准确性，还增强了系统对大规模数据的处理能力，最终提升了用户体验。实验验证了该技术在提升推荐效能方面的有效性。

https://mp.weixin.qq.com/s/x6qmjEoBs7g_uG05Y9B0mA

智算中心加码，国产算力提速

文章详细探讨了在政策支持下，国产算力及智算中心的发展机遇。文章指出，自2023年以来，国家和地方政府加速推进智算中心建设，特别是在北京、广东等地提出了2025年智算建设目标，并强调了国产化的重要性。通过多种政策支持，如成都、贵州、甘肃等地发放算力券来促进地方算力资源的使用。文章还提到，服务器的核心部件国产化进程逐步完善，特别是在CPU和AI加速芯片领域，尽管与全球领先水平仍有差距，但在贸易摩擦的影响下，国产替代的需求迫切性提升，国产算力有望迎来快速发展的窗口期。政府和运营商的共同推动将进一步加快国产AI芯片的应用和迭代，帮助国产产品从“能用”走向“好用”。

https://mp.weixin.qq.com/s/sfRIUaMY0iua0ediPzUppQ

英伟达Computex演讲启示

文章详细介绍了2024年6月Computex展会上英伟达CEO黄仁勋的主题演讲，探讨了英伟达在AI发展中的关键技术贡献。文章强调，英伟达通过CUDA和Alexnet奠定了AI计算的基础，并通过收购Mellanox和发展NVLink及InfiniBand技术，解决了算力和传输瓶颈。黄仁勋指出，算力成本的显著下降和高速互联技术的进步，使得处理海量数据成为可能。此外，英伟达推出的AI模型推理服务NVIDIA NIM和最新的Ethernet技术，将进一步推动AI在各行业的应用。AI机器人领域的技术进展也被强调，预计未来全球工业数字化市场规模将达50万亿美元。

相关链接：https://www.nextplatform.com/2024/06/02/nvidia-unfolds-gpu-interconnect-roadmaps-out-to-2027/

https://mp.weixin.qq.com/s/yvPiLD7Z5XSSdo_DZu57zA

HuggingFace&Github

MegaParse

MegaParse 是一个功能强大、通用的文档解析器，能够轻松处理各种类型的文档，包括文本、PDF、Powerpoint、Word 等。它专注于在解析过程中不丢失任何信息，并采用了快速高效的设计，同时支持广泛的文件格式。MegaParse 是一个开源免费的工具，可选择性地集成 LlamaParse 以获得更好的解析结果。

https://github.com/QuivrHQ/MegaParse

Open-Lyrics

Open-Lyrics 是一个基于 Python 的库，它使用 faster-whisper 进行语音转录，并利用 LLM 模型(如 OpenAI-GPT 和 Anthropic-Claude)将转录结果翻译和润色为 .lrc 格式的多语言字幕。它具有预处理音频、上下文感知翻译、支持自定义 API 端点和路由模型等功能，可以帮助用户快速生成高质量的语音字幕，适用于各种音频和视频内容。