人工智能的应用正在迅速成为我们高度互联的世界的关键。根据 MarketsandMarkets 的数据,人工智能芯片组市场预计到 2026 年将增长到 578 亿美元,自 2020 年起的复合年增长率为 40.1%。最近,对大型语言模型 AI(如 OpenAI 的 ChatGPT)的需求猛增,引发了对用于推理的优化边缘 AI 硬件的竞赛。关键的开发挑战包括平衡功耗和性能、处理有限的内存和处理资源、处理数据安全和隐私问题、管理连接和通信协议、以及优化在低功耗设备上部署的算法。
为了找到最适合其应用的每瓦最佳性能,人们正在尝试不同的架构。在低端,通常使用CPU和GPU,而在高端,正在使用诸如Google TPU之类的自定义设计。这些体系结构自然会推动芯片尺寸增大,可能导致时序收敛出现问题以及潜在的大规模流量拥塞和功耗问题。在这种背景下,针对机器学习的片上网络变得越来越重要,因为架构师们试图在最大化性能和功耗的同时利用机器学习(ML)算法的空间分布特性。
Arteris 多年来一直与使用 ML 技术的客户合作,支持近乎实时的边缘推理。面向大型系统的 FlexNoC XL 选项使开发人员能够创建灵活的网络架构(逻辑和物理),同时保留自动生成的优势、支持全局异步和本地同步设计技术以解决时序收敛问题,以及保持所有连接到内存控制器的高利用率来解决对带宽的考量。
优势
可扩展性
使用高效的不同于黑匣子编译器方法,创建高度可扩展的环形、网状和环形拓扑结构,SoC 架构师可以根据需求编辑生成的拓扑结构,并优化每个单独的网络路由。
带宽
使用HBM2和多通道内存支持,多播/广播写入,VC-Link™虚拟频道以及源同步通信技术,增加片上和片间带宽。
低功耗
更少的门电路和连接线使消耗的功耗更少,将通信路径分成更小的段可以实现仅为活动的段供电,同时简单的内部协议可以实现极致的时钟门控。
合作伙伴
Arteris和Sifive已合作,加速了用于消费电子和工业应用的边缘 AI SoCs的开发。这一合作将SiFive的多核RISC-V处理器IP与Arteris的Ncore高速缓存一致性互连IP相结合,提供高性能和功耗效率,同时减少项目进度和集成成本。该合作实现了Sifive 22G1 X280客户参考平台的开发,其中AMD Virtex Ultrascale+ FPGA VCU118评估套件上包含了的Sifive X280处理器IP和Arteris Ncore 高速缓存一致性互连IP 。
Semidynamics是完全可自定义的RISC-V处理器IP的提供商,专门开发针对机器学习和AI应用程序,具有矢量单元,标量单元和Gazzillion的高带宽,高性能核。我们的协作增强了处理器IP与System IP的灵活性和高度可配置的互操作性,旨在以加速人工智能,机器学习和高性能计算(HPC)应用程序提供集成和优化的解决方案。
- Technical Papers
- Presentations
- The Role of Networks-on-Chips Enabling AI/ML Silicon and Systems | AI Everywhere 2023
- Customers
- SiMa.ai case study – Push-Button Ease of Arteris FlexNoC Freed Up the Team to Focus on Designing The World’s First Machine Learning SoC
- Sondrel case study – Shortening Leading-Edge ADAS Design Cycles With FlexNoC To Deliver Customer Success
- Press Releases
- Rebellions Selects Arteris for Its Next-Generation Neural Processing Unit Aimed at Generative AI | Apr 09, 2024
- Semidynamics and Arteris Partner To Accelerate AI RISC-V System-on-Chip Development | Nov 02, 2023
- Arteris Interconnect IP Deployed in NeuReality Inference Server for Generative AI and Large Language Model Applications | Oct 10, 2023
- Tenstorrent Selects Arteris IP for AI High-Performance Computing and Datacenter RISC-V Chiplets | May 02, 2023
- Arteris IP Licensed by Axelera AI to Accelerate Computer Vision at the Edge | Apr 26, 2023
- Arteris and SiFive Partner to Accelerate RISC-V SoC Design of Edge AI Applications | Feb 27, 2023