大模型日报（7月22日学术篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

学习

图解大模型计算加速系列：分离式推理架构2，模糊分离与合并边界的chunked-prefills

文章详细解释了在大模型推理过程中如何通过分离式架构实现计算加速。具体来说，将模型分为多个 chunks 进行处理，在这个基础上，进一步提出了模糊分离与合并边界的概念。模糊分离是指在 chunks 间设置一段重叠区域，以便在推理时能够更好地处理跨 chunk 的依赖关系。合并边界则是指在 chunks 的输出结果中，对于重叠区域的处理结果进行合理的整合，以确保整体的推理准确性。这种方法被称为 chunked-prefills，它通过在模型的某些层之间插入特殊的操作来实现，这些操作能够在不同的 chunks 之间进行状态的传递和整合。通过这种方式，大模型的推理速度得到了显著提升，同时保持了模型精度。

https://mp.weixin.qq.com/s/_nm2Fwz2FlkcLuXnWDB9PA

大语言模型在推荐系统中的探索与应用

王奕超老师的分享揭示了大语言模型在推荐系统中的应用前景。通过 KAR 项目，利用大语言模型的丰富知识和逻辑推理能力，对推荐系统的用户偏好和物品特征进行深入分析，提升了推荐的准确性和个性化。KAR 方案通过指令模板和多专家网络，有效地将大语言模型的知识适配为推荐系统可用的向量表示，解决了传统模型的幻觉问题，并在华为的多个场景中得到了实际应用。另一项技术创新，Uni-CTR 项目，通过构建基于自然语言描述的提示词模板，实现了跨域推荐，并在 Amazon Review DataSet 上验证了其有效性。这两个项目都在技术细节上做了深入的探索，如采用 Leader 网络提取场景特有信息，以及通过门控网络融合大语言模型的通用表征与场景特有的新输出。文章最后提出，推荐系统将逐渐从封闭向开放发展，技术层面将从判别式模型向生成式模型转变，流程上则将实现端到端的推荐结果生成，以应对未来的挑战和机遇。

https://mp.weixin.qq.com/s/nEhynptVyx8aV8onCwozAA

DataOps+大模型促进数据工程创新

文章由杨明皓撰写，探讨了 DataOps 与大模型结合在数据工程创新中的应用。DataOps 的核心在于实现数据研发流程的敏捷化和自动化，通过标准化的数据工作流编排、开发、测试、部署和回归流程，提高数据处理的效率。在此基础上，引入大模型技术如 GPT4，可以进一步辅助代码生成、解释和审查，优化数据开发的智能化程度。

文章特别强调了 Text2SQL 技术在数据工程中的重要性，这是一种将自然语言问题转换为 SQL 查询语句的技术。在大模型的推动下，Text2SQL 的准确率得到显著提升，但仍然面临着复杂查询和大规模 schema 处理的挑战。为解决这些问题，作者提出了一系列实践方法，如构建元数据语义图谱、优化 Prompt 模板设计等，以提升 schema-linking 的准确性和 SQL 生成的鲁棒性。

此外，文章还讨论了数据治理的重要性，它不仅支持 Text2SQL 任务的有效执行，还对整个数据生态系统的健康运行至关重要。通过数据标准化工具和血缘图谱的构建，提升了数据的可管理性和可追溯性。最后，作者通过问答环节，回应了业务实际应用、数据质量控制、Prompt 设计等方面的疑问，展现了海南数造科技在数据工程创新领域的深入思考与实践。

https://mp.weixin.qq.com/s/2RF3s6NZL2af9zZhxxLSzA

带你尽快进入NPU开发前沿系列文章一周攻克TPU v1 VHDL、Verilog代码

文章作者提出了一个学习计划，旨在帮助读者在一周内掌握 NPU（神经处理器）的基础知识，并能够编写和理解 TPU v1 的 VHDL 和 Verilog 代码。作者首先介绍了 NPU 的基本概念和重要性，然后详细规划了每天的学习任务，包括了解 NPU 的基础架构、学习 VHDL 和 Verilog 的基础知识、实践编写代码，以及最终完成一个简单的 NPU 模型的设计。作者强调了学习资源的选择和学习方法的重要性，并提供了一些实用的学习资源和工具链接。通过这样的学习计划，读者可以在短时间内有效地提升自己在 NPU 开发领域的技能和知识水平。

https://zhuanlan.zhihu.com/p/709716927?utm_psn=1798424695428751361

盘点六轴机器人末端布局

六轴机器人末端布局对于其性能至关重要，直接影响工作效率和操作安全。良好的布局设计需优化工作空间、负载能力和灵活性。直角布局简单易行，但工作空间有限；三角布局提供更大空间和负载平衡，但设计复杂；并线布局虽工作空间最大，但负载能力较弱。设计时还应考虑环境适应性和用户需求，以确保机器人在不同场景下的优异表现。通过精确的技术细节设计，可实现机器人性能的最大化，满足现代工业生产的高效、安全和精准要求。

https://zhuanlan.zhihu.com/p/709796766?utm_psn=1798423029648351233

CPU性能分析与优化 (五)

本文详细介绍了 CPU 性能分析与优化的 TMA（Top-Down Analysis）方法，包括对 Intel、AMD 和 ARM 处理器的硬件性能监控功能的介绍。TMA 方法通过分析四个主要的性能瓶颈桶（Front End Bound、Back End Bound、Retiring、Bad Speculation），逐步深入识别性能问题。文章首先介绍了 Intel TMA 的使用，包括如何通过perf工具和toplev脚本收集和分析性能数据，以及如何解读这些数据来定位性能瓶颈，例如通过分析 L3 缓存未命中率来优化内存访问。接着，文章探讨了 AMD 和 ARM 处理器的 TMA 应用，以及它们在性能分析中的差异。

文章继续讨论了分支记录机制，包括 LBR（Last Branch Record）和 BRBE（Branch Record Buffer Extended）等技术，这些技术可以帮助重建程序的执行路径，分析分支预测的准确性，以及收集调用堆栈信息。此外，文章还介绍了基于硬件的采样功能，如 Intel 的 PEBS（Precise Event Based Sampling）和 AMD 的 IBS（Instruction Based Sampling），以及如何利用这些技术来精确地定位性能事件，优化内存访问，以及分析并发问题。

最后，文章总结了如何利用硬件性能监控功能来提高编程和编译器优化的效率，以及如何通过性能分析来支持硬件投资决策。

https://zhuanlan.zhihu.com/p/709733156?utm_psn=1798425976121716736

生成式AI推动下的数据中心与AI芯片市场预测与分析

生成式 AI 技术的兴起催生了数据中心与 AI 芯片市场的快速发展。预计 2023 年至 2027 年，AI 加速器市场将从 300 亿美元迅速扩张至超过 4000 亿美元。AMD 首席执行官 Lisa Su 预测 2023 年市场规模为 450 亿美元，2027 年将达到 4000 亿美元。这一预测考虑了 AMD 推出的 “Antares” Instinct MI300 系列 GPU 的影响。

富国银行的分析显示，2023 年数据中心 GPU 销售额达到 373 亿美元，预计 2024 年将增长至 487 亿美元。到 2027 年，预计销售额将达到 953 亿美元，同时预测数据中心 GPU 出货量将从 2023 年的 549 万台增长至 1351 万台。英伟达目前在 2023 年的收入市场份额高达 98%，尽管预计到 2027 年将下降至 87%。

Gartner 预测 AI 半导体市场将持续增长，2023 年 AI 服务器的销售额为 140 亿美元，2024 年预计将增长 50% 至 210 亿美元。IDC 的数据显示，AI 部分在全球半导体市场中的规模预计将以高速增长，从 2022 年的 421 亿美元增长至 2023 年的 691 亿美元，并预测到 2027 年将达到 1933 亿美元。数据中心和 AI 系统的 AI 芯片内容总收入将以 28.9% 的年复合增长率增长。

到 2027 年，预计数据中心的电力消耗至少将翻倍，而数据中心的资本支出将达到 1.1 万亿美元，AI 服务器收入预计将达到 491 亿美元。这一增长将对互联网和软件巨头的商业模式产生深远影响，使之转向资本密集型模式。