电子产品世界

7月18日，第五届RISC-V中国峰会在上海进入分论坛环节。作为未来电子产业最庞大的应用范畴之一，人工智能是不可回避的话题。人工智能的飞速发展，正以年均超过100%的算力需求增长驱动底层架构的革新，“开放、灵活、可定制”的RISC-V已成为构建自主AI算力基石的战略支点。人工智能分论坛邀请各方企业探讨RISC-V架构如何利用其开源、开放、可扩展的特性，实现AI计算架构的革新，以及RISC-V架构在AI软硬件的最新进展和应用落地情况。 

RISC-V生态已经存在好几种Matrix架构，阿里巴巴达摩院技术专家、RISC-V国际基金会AME TG主席赵思齐在分论坛上详细介绍了RISC-V面向AI应用的高扩展性矩阵扩展的最近进展，同时分享了关于AME本身及AME内部正在发生的一些事情，带给现场观众一些更详细、更具体的对于未来“AME会是什么”的一个想像。 

AME扩展的指令作为CPU指令流的一部分，赵思齐首先澄清一点，AME扩展不是加速器，或者它主要设计目的不是加速器。我们并不排除AME可以被用在加速器上，但是它的目标仍然是为了加速、并且在CPU上面程序的矩阵运算。AME扩展是为矩阵运算提供额外的架构状态，即软件可见的矩阵寄存器，同时AME扩展提供新增的矩阵和向量运算指令。为什么除了矩阵指令外还需要向量指令？赵思齐介绍，在AI时代，RISC-V生态围绕AI做了很多的工作，来自于A的需求使得AME 要引入很多至少是必要的向量运算指令。

       AME扩展以AI应用为主要目标，兼顾HPC和嵌入式应用场景。这对AME的扩展性提出了不少的要求。AME为RISC-V架构引入了新的架构状态，使得AME是最少受到限制的一种Matrix扩展，因此对AME的期望在极端情况下可以有极高的期望，它可以有极致的吞吐、极致的能效、极致的扩展性和软件支持度，它也应该有非常软件的应用程序支持。关于“应用程序支持”，Matrix软件栈的总体支持RISC-V基金会内部已经把这个工作提到相当的高度，所以我们在未来可以对于这方面的工作有一定的期待。 

AME扩展到底应该有什么样的特点才能达到我们对它的美好愿景呢？首先赵思齐强调，以AI为重点的全新设计，为矩阵运算量身定制全新的架构定义针对AI应用重点设计。其次，灵活的集成方式让SoC平台可以自由选择CPU核与AME单元的比例，自由定制算力。然后是，更灵活的实现，更少的对微架构设计的修改，更多可能的实现方式。AME这个单元本身的算力、本身的特性，也能够依据各家SoC厂商、依据自己的应用场景需进行定制，AME本身也是具有更灵活实现的架构。最后就是更高的极致性能，提供独立的运算单元，更多的架构创新，比如更加放的内存模型。AME因为是重新开发的、从头开始的，极致情况下AME应该可以再到与投入硬件资源成比例的算力。架构层次因为AME是全新开始的设计，在架构层面上AME也能够容纳更多ISA层面的创新指令。 

作为AME TG的主席，赵思齐还分享了AME TG的工作讨论点，他介绍，工作组当前的议题和任务包括了矩阵tile状态设计讨论，Point-wise/Element-wise操作相关的定义讨论，以及Relaxed内存模型。他还透露这个工作组现在努力的在为明年大概3月左右推出一个指令在努力。

    矩阵讨论关注的焦点首先是它的类型需要什么？到底是只有一种Tile通用的、对称的Tile，还是需要将某些Tile独立出来专门用于累加计算？这是一个问题。第二个问题是Tile的形状到底是什么形状的？如果是各种形状，每边的长度应该怎么设计？还有一个问题就是Tile到底要多少？这些我们正在进行组里分析，提取出一些能够对这些架构参数进行约束的条件，以期望能够将最终候选的组合缩小到一个或者几个，以便于最后AME到底能够成立成什么样子。

    Point-wise的设计也有三个点：（1）Point-wise/Element-wise操作类型。（2）如何利用架构状态表示向量。（3）与Vector扩展如何配合？

    这些也是非常密集的对AI模型、AI模型里面的算子进行大量的分析和提取工作，能够最终获得一些对架构设计的约束条件、最终达到问题的解决。

关键词： RISC-V 中国峰会 玄铁 RISC-V AME 矩阵扩展

加入微信
获取电子行业最新资讯
搜索微信公众号：EEPW
或用微信扫描左侧二维码