新书上架：《AI处理器硬件架构设计》

Drlee0705

【编辑推荐】
《AI处理器硬件架构设计》融合了一线自研高性能处理器资深工程师多年工作经验，从人工智能处理器的架构设计出发，对比各种不同架构的人工智能处理器的优缺点，详细介绍各个组件的架构和微架构设计，循序渐进、由浅入深，图文结合。用户可根据本书的介绍，从0到1完成人工智能处理器的设计、验证工作。

【内容简介】
《AI处理器硬件架构设计》基于当前工业界主流的设计规格，详细介绍了AI处理器硬件架构及微架构的设计原理，并配有对应的工程经验总结与产品实例分析。本书主要内容包括：业界主流AI处理器架构及基础背景知识（第1章）；AI处理器指令集设计与硬件架构总体设计（第2、3章）；核心计算单元，即向量处理单元、矩阵处理单元、标量处理单元的微架构设计实现（第4~6章）；数据搬运单元与存储系统设计（第7、8章）；AI处理器设计实例剖析（第9章）。
　　《AI处理器硬件架构设计》可作为从事AI处理器相关研发工作的专业人员的参考书，也可用作高等院校计算机、集成电路相关专业研究生、高年级本科生的教材和参考书，还可供对AI处理器设计感兴趣的读者自学。

【作者简介】
任子木
处理器架构高级工程师
主导多款高性能推理/训练处理器和数字信号处理器架构与核心模块设计。谙熟业界主流高性能处理器指令集架构，带领团队设计的芯片广泛应用于相机、无人机和服务器中。在计算机体系结构、图像处理等方向有丰富的实践经验。申请国内外发明专利五十余项。

李东声
处理器架构师
专注于ARM/RISC-V架构高性能处理器设计、性能分析优化、架构演进探索与关键技术研究。参与和主导多项高性能CPU与AI处理器IP架构/微架构以及SoC设计，商用产品涉及服务器、移动终端、边缘计算等多个领域。授权国内外发明专利十余项。

【精彩书评】
推荐语（按姓氏拼音排序）
艾克 ImaginationTechnologies中国区技术专家
1956年，约翰·麦卡锡在达特茅斯会议上正式提出人工智能的概念，然而直到2023年，ChatGPT掀起了全球AI大模型浪潮，才把人工智能推到了风口浪尖。而作为实现人工智能必不可少的算力基础——人工智能芯片，是人工智能技术得以实现的关键。人工智能芯片先驱英伟达公司认为，2025年将是AI智能体发展历程中的关键节点。人工智能芯片设计无疑会成为未来一段时间芯片设计界的重中之重。我有幸拜读过这本书作者之前编写的关于高性能处理器设计的书，对这本书作者在处理器架构设计上的专注精神十分佩服。这本书全面介绍了人工智能处理器硬件架构及微架构，并配有对应的工程经验总结与产品实例分析，值得产业相关人员、高校集成电路等专业学生深入学习与借鉴。

邓宇 飞腾信息技术有限公司高性能研发总监
作为一名正在学习AI硬件知识的传统CPU架构师，这本书来得正是时候。与其他简单介绍各种GPU和NPU的资料不同，这本书真正深入到了AI处理器内部，先后介绍了指令集设计、架构设计、向量处理单元、矩阵处理单元、标量处理单元、数据搬运单元和存储系统设计等内容，最后以一个实例帮助读者融会贯通前面所学知识。读完这本书之后，读者能够真正理解AI处理器的底层工作逻辑，将会获益良多。

冯幼林 Zscaler, Inc.资深架构师
作为一名传统高性能多核处理器操作系统及高速外设驱动程序的开发者，我渴望获得一本能助我跨界进入AI处理器软件开发领域的参考书。这本书正好满足了我的这个需求，它深入地介绍了现代AI处理器设计的方方面面，覆盖指令集、各种微架构、数据的存储及搬移等内容。尽管这本书偏重于硬件设计，但仍然是软件开发者用来学习AI处理器及系统设计的必备手册。AI处理器硬件架构设计

华惟哲 Microsoft AI资深专家
过去几年，大语言模型的进步为人工智能的应用开启了新篇章。这些年获得的丰硕成果除了得益于Transformer架构、自回归模型和海量高质量数据的支持以外，还离不开AI硬件性能的飞跃，后者为复杂模型的训练与应用提供了关键支撑。这本书围绕AI发展的核心，从主流模型需求出发，系统讲解了AI硬件的架构、指令集和微架构设计。同时，书中还分析了设计理念和方法论，帮助读者了解AI硬件的全貌。这本书适合所有对AI硬件设计感兴趣的读者阅读。我还想将这本书推荐给算法研究人员，通过阅读这本书来了解硬件基础，可以为优化算法提供新的思路。

黄音 ImaginationTechnologies中国区高级经理
算力作为推动人工智能蓬勃发展的“三驾马车”之一，肩负着基石的重任。算力芯片无疑是人工智能得以引领科技巨浪的关键要素。这本书结合当前人工智能发展趋势，从人工智能发展源头开始，抓住其发展脉络和应用场景，深入介绍处理器设计模块及架构选型。这本书作者作为具有丰富处理器设计经验的实操者，给读者带来的不只是一本工具书，更多的是多年形成的设计理念和思考方法。这本书值得反复研读。

李伟 全球TOP5半导体公司中国区SoC/IP首席架构师
这本书是一本深入探讨AI处理器的图书，它针对新型计算需求以及传统通用处理器的局限性，从处理器的硬件架构到微架构设计，介绍了AI处理器的指令集设计、核心计算单元、数据搬运单元与存储系统设计等多个方面，并分享了丰富的工程经验及提供了实例分析。这本书涵盖了AI处理器主要的设计原理和实现方法，对于想了解最新的计算需求和AI处理器设计的学生与专业人员来说，都是一本难得的专业领域书籍。


刘宏伟 中国科学院计算技术研究所副研究员
这本书全面地介绍了AI处理器的硬件架构设计，包括多种核心计算单元的微架构实现。通过这本书，读者可以较为全面地了解AI处理器架构。在这本书中，从指令集设计到存储系统实现，每个环节都有相应的解析和实例说明。此外，这本书还很注重实用性和工程可实现性，这对于正在或即将从事AI处理器设计的人来说，是一笔宝贵的资源。总之，这本书是一本非常优秀的专业参考书，无论是对AI硬件架构感兴趣的学者，还是从事AI处理器设计的工程技术人员，都可以从中获得必要的知识支持和一定的技术启发。

毛伟 西安电子科技大学菁英教授，中国计算机学会集成电路设计专业委员会执行委员
AI技术发展迅猛，迫切需要高性能AI专用处理器。这本书涵盖AI处理器硬件架构设计的方方面面，从理论基础到微架构实现，再到实例分析。这本书的独特之处在于结合丰富的工程经验，深入剖析各种数据处理单元微架构及相应数据流设计，为读者提供前沿且实用的解决方案。无论是AI处理器研发人员、科研人员，还是高等院校相关专业的师生，这本书都是不可或缺的重要参考书。

邵巍 ARM中国区服务器与生态系统前市场总监，阿里平头哥前高级产品经理，AI芯片创新公司产品总监，极客时间“说透芯片”课程主讲人
这本书是一本关于芯片设计的AI处理器工程实践图书。
这本书把计算机体系结构中的核心概念，从芯片设计的角度，围绕AI处理器这个主题，一一呈现出来。从理论到实践，这本书展现了如何从头设计一个AI处理器核心。
我最喜欢这本书的一点是，作者不仅列出了AI处理器设计中的不同选择，还从芯片设计的角度，根据流水线执行效率、后端布局的难易度等工程维度来评价不同选择的优劣，可见作者具有丰富的工程设计经验。
这本书既有高层次的架构分析，又有细粒度的向量处理单元、矩阵处理单元和标量处理单元的微架构设计。另外，这本书还提供了一个真实AI处理器的实例，该实例也是一个完整的AI处理器设计教程。这本书工程细节非常多，即使只是为了学习集成电路设计，也值得一读。

唐欣 蚂蚁集团芯片架构负责人，自研芯片首席架构师
在这个百年不遇的大变局时代，AI技术和算力已经成为彰显科技实力的重要指标，AI芯片作为AI技术的基础底座，日益成为芯片研发领域的焦点。
芯片设计具有传统、小众、封闭等特点，近十年才开始出现，因此市面上缺少由具有丰富研发经验的工程师所撰写的相关图书。近日有幸阅读了这本书，深感其逻辑清晰、内容深入、见解独到，且全书处处体现出作者丰富的工程经验，阅读此书对我理解AI芯片的架构和设计有极大的帮助。
从某种意义上来说，芯片设计是一门取舍的艺术。无论是面向大规模云计算领域的GPU/AI加速卡，还是用于端侧的NPU IP，本质上都是算力(性能)、成本(面积和功耗)、通用性(可编程能力)之间的平衡。这本书从AI算法和目前通用的算力芯片GPU架构分析入手，然后介绍自定义指令集定义和AI处理器功能组件划分，接着深入到AI芯片通用的标量、向量、张量(矩阵)单元设计，最后介绍当前AI芯片设计的痛点，即落后于算力单元的存储单元的设计，处处体现出作者丰富的工程经验。更加难得的是，这本书还提供了一个完整的AI处理器设计实例，该实例可以为广大读者学习AI处理器设计提供一个完整的设计教程。
总而言之，这本书是一本关于AI处理器硬件架构设计的专业之作。它提供了丰富且具有明显可实现性的实践案例，让我对AI处理器的硬件架构和设计有了更深入的了解。无论是从事AI芯片研发的专业人员，还是有志于进入AI芯片研发领域的学生，以及对AI芯片设计感兴趣的相关人士，都能从这本书中有所收获。感谢作者无私分享了自己丰富的工程经验，希望芯片设计行业内有更多的专业人士以开源的精神分享自己的工程经验和见解。

吴冶 南京英麒智能科技有限公司CEO
非常高兴看到这本书的出版！这本书内容系统、全面，涵盖了AI处理器从理论基础到硬件实现的方方面面，既有严谨的理论讲解，又融入了丰富的实践案例。无论是目前从事AI处理器设计的工程师，还是未来想要致力于这一领域的学生，都能从这本书中汲取经验与获得灵感。这本书的问世，无疑会成为AI硬件设计领域的一大助力。这本书值得每一位对AI硬件设计感兴趣的读者深入阅读。

徐盛 奥比中光科技集团股份有限公司首席架构师
这本书的两位作者都是拥有丰富处理器设计经验的行业资深专家。阅读这本书时，很多地方都会让我感觉在研读项目中的架构设计文档。这本书详细阐述了如何设计AI处理器的各个模块，以及如何将这些模块高效集成，构建出一个完整的AI处理器，使其各模块协同高效运行。这本书既有深入的理论分析，又提供了丰富的实际案例，非常适合芯片设计行业的从业者学习和参考。

张一航Zoox, Inc.工程经理
作为人工智能领域从业者，非常高兴看到这本书出版。随着人工智能应用场景的极大丰富，任务的日益多元化，以及在不同环境中对算力和能效比需求的指数级增加，适应人工智能运算需求的专用处理器的设计及其实现将对人工智能技术及产业的发展起到举足轻重的作用。这本书从AI处理器的运算任务出发，自上而下，从宏观和微观的角度完整且扼要地介绍了AI处理器的设计方法。这本书从工程样例入手，理论介绍深入浅出，是一本不可多得的系统性介绍AI芯片设计理论与方法的参考书。阅读这本书大有裨益。

赵文哲 西安交通大学人工智能学院副教授
这本书从AI技术发展的前沿切入，系统探讨了人工智能如何驱动计算机体系结构的优化与重塑。在人工智能时代，面对大规模并行运算的需求，计算体系结构需要在设计上进行深度调整，以提升计算能力。这本书详细解析了流水线并行、计算阵列、并行调度等关键技术，这些技术在提升AI模型计算效率方面发挥了至关重要的作用。这本书全方位展示了计算机体系结构是如何在智能化时代转型升级，通过技术创新来满足人工智能日益增长的算力需求的。这本书内容翔实、结构清晰，为对该领域感兴趣且希望深入了解的读者提供了极大的帮助。

【目录】
推荐语
前言
第1章 AI处理器概述
1.1神经网络基础
1.1.1卷积神经网络简介
1.1.2残差神经网络简介
1.1.3Transformer网络简介
1.2应用场景及其硬件需求介绍
1.2.1图像识别场景简介
1.2.2自动驾驶场景简介
1.2.3自然语言生成场景简介
1.3硬件加速平台介绍
1.3.1GPU简介
1.3.2DSA简介
第2章 AI处理器指令集设计
2.1标量指令集设计
2.2向量指令集设计
2.2.1寄存器设计
2.2.2算术逻辑类指令设计
2.2.3规约类指令设计
2.2.4重排列类指令设计
2.2.5数制转换类指令设计
2.2.6访存类指令设计
2.3矩阵运算指令设计
2.4DMA描述符设计
第3章AI处理器架构设计
3.1AI处理器架构概述
3.1.1VLIW+SIMD架构设计
3.1.2超标量+SIMD架构设计
3.1.3SIMT架构设计
3.2向量运算和矩阵运算的融合层级
3.2.1寄存器级融合
3.2.2存储器级融合
3.3向量处理单元架构选型
3.3.1Memory直连型向量处理单元设计
3.3.2基于VRF的向量处理单元设计
3.4标量流水线和向量矩阵流水线的位置关系
3.4.1并行流水线结构设计
3.4.2串行流水线结构设计
3.5AI处理器整体架构设计
第4章 向量处理单元设计
4.1向量处理单元整体架构设计
4.2向量指令发射设计
4.2.1顺序发射设计
4.2.2乱序发射设计
4.3浮点运算单元设计
4.3.1IEEE 754协议介绍
4.3.2浮点加法器设计
4.3.3浮点乘法器设计
4.3.4浮点除法器设计
4.3.5浮点运算的融合
4.4跨通道跨切片处理单元设计
4.4.1规约类指令的硬件实现
4.4.2压缩类指令的硬件实现
4.4.3排序类指令的硬件实现
4.5超越函数类指令的硬件实现
4.5.1CORDIC算法介绍
4.5.2分段线性逼近实现
4.5.3分段查表结合多项式运算实现
第5章 矩阵处理单元设计
5.1矩阵乘法的硬件映射
5.2数据流设计
5.2.1输出固定数据流设计
5.2.2权重固定数据流设计
5.2.3输入固定数据流设计
5.3脉动阵列的结构及计算流程
5.4脉动阵列的优化
5.4.1列间广播设计
5.4.2行间累加融合设计
5.5定点MAC单元设计
5.5.1定点乘法器设计
5.5.2定点MAC单元微架构设计
5.6浮点MAC单元设计
第6章 标量处理单元设计
6.1前端设计
6.1.1指令提取单元设计
6.1.2分支预测单元设计
6.1.3指令译码单元与指令发射单元设计
6.2执行单元设计
6.2.1执行单元流水线设计
6.2.2典型功能单元的微架构实现
6.3访存单元设计
6.3.1数据缓存子系统概述
6.3.2访存单元微架构设计
第7章 数据搬运单元设计
7.1数据搬运单元整体架构设计
7.2多维传输任务的解析
7.2.1多维传输介绍
7.2.2不同维度传输的归一化设计
7.3AXI总线接口设计
7.4在线填充引擎设计
7.5在线排序引擎设计
7.6在线转置引擎设计
第8章 存储系统设计
8.1AI处理器中的存储器设计
8.2存储器中Bank的划分方式
8.2.1Bank间地址交织方式
8.2.2Bank划分粒度介绍
8.3向量存储器设计
8.4GatherScatter引擎设计
8.5存储系统的物理实现
第9章 AI处理器设计实例
9.1HiPU硬件架构和指令集综述
9.1.1核心组件设计
9.1.2存储层次结构设计
9.1.3指令集设计
9.2HiPU微架构与流水线设计
9.3HiPU数据平面与计算阵列设计
参考文献

【前言/序言】
人工智能技术正在深刻改变着我们的学习、工作和生活。从计算机视觉到自然语言处理，从自动驾驶到智能机器人，AI应用的蓬勃发展对计算平台提出了新的挑战。这些挑战主要表现在以下两个方面：1）计算需求的爆炸性增长，深度学习模型规模持续扩大，训练数据量急剧增加，实时推理应用对延迟提出更高要求，边缘计算场景对能效比的要求提升；2）新兴应用带来的特殊需求，包括大规模矩阵运算加速、灵活的数据精度支持、复杂的数据重用模式，以及特定算子的硬件映射优化。
随着人工智能技术的快速发展和广泛应用，传统通用处理器架构在处理AI工作负载时的局限性日益凸显，其瓶颈主要表现在：存储墙问题日益严重、对AI特征计算支持不足、控制逻辑开销过大，以及数据搬运效率低下。为了更好地支持大规模参数和复杂计算结构的机器学习模型的高效执行，专门面向人工智能领域的处理器架构设计成为近几年计算机体系结构领域最活跃的研究方向之一。面对传统处理器在AI领域应用的瓶颈，设计专用的AI处理器架构已是大势所趋。由此，作者团队撰写了本书，对AI处理器硬件架构设计进行了全方位的系统阐述。
本书所呈现的内容基于工业界当下实际的产品和应用技术，在不侵犯商用知识产权的前提下，尽力为读者呈现“是什么（What）”“为什么这样设计（Why）”，以及“如何设计，如何分析（How）”。在本书的写作过程中，作者相对弱化了对计算机体系结构基础知识的阐述，将更多的篇幅有针对性地聚焦于处理器架构/微架构设计的内容，最大限度地为读者呈现硬件架构/微架构的全貌，以及如何设计一款AI处理器。
无论是产品还是工程经验，都会存在自身的局限性。每个成熟的商业公司都有其特有研发体系，工程师也往往在体系之内选择自己认为适宜的方式去做设计以及思考，这本身就带有一定的惯性和片面性。因此，作者通过一家之言抛砖引玉，希望能够引发读者对设计的思考；或者，根据作者的视角和工程经验，启发读者的思路。如果本书能够帮助读者解决实际的工程问题，或者帮助读者弥合了课堂与工业界的差距，那么作者将甚感荣幸。
《AI处理器硬件架构设计》分为9章，各章内容如下。
第1章为基础知识概述，简要介绍了神经网络和硬件加速平台的相关基础知识，便于读者理解后续内容。
第2章和第3章从宏观角度分别介绍了AI处理器指令集与硬件架构的设计。其中第2章为读者介绍了一套通用的AI处理器指令集的详细规格，包括标量指令、向量指令、矩阵运算指令等。第3章为架构设计总述，介绍了当前典型的AI处理器架构实现（包括VLIW/超标量+SIMD和SIMT），计算核心向量运算单元、矩阵处理单元，以及标量处理单元三者的架构设计、流水线分配，以及运算融合。
AI处理器硬件架构设计第4章介绍了向量处理单元的详细微架构设计，涉及从整体微架构到各个功能单元的设计，包括浮点运算单元、各种向量类指令和超越函数类指令的硬件实现。
第5章介绍了矩阵处理单元的详细微架构设计，重点阐述了数据流设计、脉动阵列的设计和优化，以及乘累加单元的硬件实现。
第6章介绍了标量处理单元的详细微架构设计，对应于标量指令的生命周期，基于AI处理器与通用CPU在应用场景与设计考量上的差异，根据流水线设计的次序，依次讲解了指令提取单元、分支预测单元、指令译码单元与指令发射单元、执行单元，以及访存单元的微架构设计。
第7章介绍了数据搬运单元的设计，包括数据传输和在线处理，以及总线接口单元设计。
第8章介绍了AI处理器中存储系统的设计，包括存储器中Bank的划分、Gather/Scatter引擎的设计，以及进行相应的物理实现时需要关注的问题。
第9章对西安交通大学人工智能与机器人研究所研发的HiPU微架构进行了深度剖析，包括从指令集设计到硬件架构的实现。通过对流水线和各功能单元微架构的介绍，读者可对第2~8章中介绍的内容进行相互印证并将所学知识融会贯通。
感谢西安交通大学赵文哲副教授和大洋彼岸的同学Howard Wong在本书策划与编写过程中提供的指导及帮助；感谢机械工业出版社编辑李培培一如既往的关照和支持。
天下事，在局外呐喊议论，总是无益。必须躬身入局，挺膺负责，方有成事之可冀。最后以此句话与各位业界同仁共勉。

李东声

zlhrsy

没提供下载链接？

sjx20032004

好，很好，非常好

liuruyan

怎么下载？

Taylor0808

好东西呀

yuncmt

卖书的

wmyuestc

好东东

ldd-1987

感谢分享！