大模型日报（7月23日学术篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

学习

INP 洞见，AI 时代 Data Infra 的必争之地——湖仓架构

数据湖仓架构在 AI 时代的应用揭示了数据基础设施的演进。湖仓架构作为新兴数据管理解决方案，通过整合数据湖和数据仓库的功能，实现了对大规模数据的高效存储和处理。技术细节上，湖仓架构支持对象存储和分布式文件系统，采用如 Iceberg、Delta Lake 和 Hudi 等表格式管理结构化数据，同时通过元数据层进行数据目录、血缘和安全性管理。计算层的优化使得在数据湖中直接进行高效的数据分析和查询成为可能。此外，湖仓架构还考虑了数据的时间旅行特性，以及对非结构化数据的管理和索引。随着 AI 技术的不断发展，湖仓架构在数据治理、安全性和成本控制方面面临着挑战，但同时也提供了巨大的发展空间和商业价值。未来，湖仓架构将继续在数据驱动决策的场景中发挥核心作用，成为企业数据基础设施建设的必争之地。

https://mp.weixin.qq.com/s/3duLLkgLNOWFbwFDYaMiaw

LLM模型的Vocab size对模型性能的影响

LLM 模型的词汇表大小对其性能产生深远影响。较大的词汇表能够更准确地理解和生成文本，但同时增加了计算复杂度和内存需求，可能导致训练时间延长和过拟合风险增加。子词标记化方法如 BPE 和 WordPiece 通过将单词划分为更小的单元，有效地平衡了词汇覆盖范围与计算效率，减少了未知词汇对模型性能的负面影响。实验结果显示，词汇表规模为 32000 时取得最佳性能。此外，分词方法的选择对模型的泛化能力和学习效率至关重要。例如，TokenMonster 词表在多个指标上表现出色，而 consistent 模式能够在保持模型性能的同时提高字词比。AI21 的侏罗纪模型通过使用大词汇表，显示了更高的计算效率和较低的延迟。最终，选择合适的词汇表大小和分词方法对于提升 LLM 模型的整体性能至关重要。

https://zhuanlan.zhihu.com/p/674138116?utm_psn=1780146747681484800

解读「快意」大模型关键技术，揭秘实践中的挑战与创新

快手大模型「快意」175B 模型在 2024 年 2 月底发布，在内部评测集上显著超过 GPT-3.5，并接近 GPT-4/4o 最新版本水平。该模型的成功得益于快手在训练 / 推理框架、数据、算法、评测等环节的投入和创新。其中，Temporal Scaling Law 使得在大模型上直接进行高效的超参搜索成为可能；MiLe Loss 优化了预训练损失函数；Scaffold-BPE 改进了词表学习方法；SFT 负反馈机制提升了大模型生成优质回复的概率；词汇单元并行解码策略提高了解码速度约 30%；Reward Model MoE 优化了对齐阶段的全流程；迭代式 RLHF+RLAIF 提高了策略探索和学习效率；MoE 路由错误自适应检测与 Loss 优化提升了 MoE 结构的性能。在实践中，「快意」大模型通过 AI 小快等应用展现了其在多模态内容理解、情感陪伴、长轮次对话和多种工具能力方面的优势和业务收益。快手公司也在持续推动「快意」大模型的技术和应用创新，以实现更广泛的商业化应用。

https://mp.weixin.qq.com/s/gkBUFOt1UthFLIKEB-jEoA

深度解读英伟达首席科学家Bill Dally对AI集群技术未来发展的观点

Bill Dally在Hoti 2023年的主旨演讲中深入探讨了AI集群技术未来的发展方向，特别强调了硬件系统、互联技术、和网络拓扑结构的重要性。他着重讨论了流控技术和拥塞避免策略，如虚拟通道流控等，以及这些技术对于提高AI计算效率和硬件优化的核心作用。演讲中，Dally提出AI硬件设计中的创新点，包括低精度运算的重要性和复杂模型对超高计算力的需求。他还展示了NVIDIA如何通过先进的GPU设计和网络结构来应对这些技术挑战，进一步推动AI集群技术的发展。

https://zhuanlan.zhihu.com/p/659310845?utm_psn=1798723227658358784

使用 Brev.dev 和 NVIDIA NGC 目录实现一键部署 GPU 优化 AI 软件解决方案

本文介绍了如何通过 Brev.dev 平台和 NVIDIA NGC 目录实现一键部署 GPU 优化的 AI 软件解决方案。Brev.dev 提供了自动化部署服务，简化了复杂的配置过程，使得开发者可以快速地在云环境中启动和运行 AI 应用程序。NVIDIA NGC 目录则提供了大量的预训练模型和优化的软件开发工具包，这些资源都经过针对 NVIDIA GPU 的优化，确保了 AI 应用的高性能运行。通过这种集成，开发者无需深入了解底层的硬件细节，就能轻松地利用 GPU 加速技术，提升 AI 应用的计算效率和性能。

https://zhuanlan.zhihu.com/p/710191314?utm_psn=1798724061938999296

打造高性能大模型推理平台之Prefill、Decode分离系列（一）：微软新作SplitWise，通过将PD分离提高GPU的利用率

微软的 SplitWise 架构通过将大模型推理中的 Prefill 和 Decode 阶段分离，有效提升了 GPU 利用率和推理效率。Prefill 阶段计算密集，可充分利用 GPU 算力；Decode 阶段内存密集，受限于内存带宽。通过分离，SplitWise 实现了资源的精细化管理和调度，提高了吞吐量，降低了延迟和成本。实验证明，该架构在不同 GPU 硬件上都能达到更优的性能，尤其是在 Decode 阶段可以使用性能较弱、成本较低的设备。关键的技术细节包括：采用层次性的 KV-cache 传输优化减少了性能开销，以及通过两级调度器（CLS 和 MLS）实现了高效的资源池管理。这些创新措施不仅提升了大模型推理平台的性能，也为云服务商提供了成本效益更高的解决方案。

https://zhuanlan.zhihu.com/p/701772045

从通用机器人之路报告看人形机器人实现AGI面临的四大问题及对策浅析

人形机器人实现通用人工智能（AGI）面临数据稀缺性、硬件成本高昂、AI 算法泛化能力不足以及安全性和伦理问题等四大挑战。针对数据稀缺性，提出利用远程操作、增强现实数据、模拟和视频学习等创新方法收集数据，鼓励数据共享和开放，采用数据增强技术。硬件成本问题可通过政府和私人资助、开源研发、新材料和制造技术的应用、标准化设计和市场推广等手段解决。AI 算法的泛化能力提升需依赖多模态学习、持续学习机制和跨领域专家合作。安全性和伦理问题需通过严格的安全标准、高可靠性系统、网络安全防护、隐私保护政策和明确责任归属等措施来解决。这些对策有助于推动人形机器人技术的发展和应用。