AI:钱在哪里?

人工智能(AI)曾经是技术的弃儿，但它已经走过了漫长的道路。现在，人们对提供高性能视觉识别、匹配或超越人类技能的产品和技术的兴趣和投资激增。同样，语音和音频识别正变得越来越普遍，我们甚至开始看到更专业的应用，例如在半导体布局中寻找优化的物理设计选项。我们被各种各样的可能性淹没了，但往往不太清楚的是，钱到底花到哪里去了。什么是抱负，什么是炒作，什么是现实?

资料来源:麦肯锡公司，与Arteris IP市场细分覆盖

有多种方法可以划分这个问题，比如按应用程序或实现选择进行划分。在Arteris IP，我们有一个独特的观点，因为我们的互连技术被用于许多定制的AI设计，正如我们将看到的，这些设计可能会主导这个领域。将这一观点与麦肯锡最近的分析相结合，可以提供一些有趣的、在某些情况下还令人惊讶的见解。

麦肯锡(McKinsey)的一项惊人预测显示，从2017年到2025年，半导体市场的增长将由AI半导体主导复合年增长率比所有其他半导体类型的总和高5倍．无论你如何看待人工智能在我们未来的角色，不参与这一领域都是一种艰难的推销。Tractica的一项调查进一步按实现平台细分了这种增长:CPU与GPU、FPGA和ASIC。2019年，基于cpu的平台的起价约为30亿美元，到2025年将增长到120亿美元左右。基于gpu的系统将在2019年开始接近60亿美元，并在2025年增长到200亿美元左右。FPGA的贡献很小，到2025年可能只有10亿美元左右。但ASIC市场将从2019年的约20亿美元增长到2025年的约300亿美元。到2022年左右，人工智能的ASIC实现的美元数量甚至将超过基于gpu的人工智能．

来源:Tractica，与Arteris IP覆盖

实现失败不应该太令人惊讶。基于cpu的平台可以很好地用于低成本、低性能的应用程序——比如智能微波——在这些应用程序中，系统设计者不希望处理非标准处理。gpu使人工智能革命成为现实，并将继续在相对高性能的数据中心培训中发挥重要作用，在这些培训中，功耗和成本都不是问题，在机器人和增强现实耳机等新兴应用的原型中也是如此。但是，对于任何寻求电池供电的高性能和低成本的量，或者在成本不受关注的大型数据中心中寻求差异化性能和能力的人来说，ASIC是(而且一直是)最佳解决方案。

普遍的观点认为，数据中心人工智能主要是训练机器学习，使用大型训练集来识别模式，而边缘人工智能主要是推理，在目标应用程序中使用这些训练过的网络。实际情况更为复杂。如果你分解数据中心和边缘的培训和推理，数据中心的培训肯定是一个很大的市场，根据麦肯锡的数据，在2017年到2025年之间，培训市场从10亿美元增长到50亿美元，但只有少数几家非常大的公司主导。边缘培训是一个非常小(但不是零)的市场，到2025年可能会达到1亿美元左右，以支持在超出通信范围的情况下在汽车中进行语音培训。

当然，边缘推理是一个拥有众多参与者的大市场，从基本为零增长到2025年的50亿美元左右;这是我们通常期待的大部分行动。真正令人惊讶的是数据中心中的推理， 2017年已达到约50亿美元，预计到2025年将增长至约100亿美元;这个市场也有很多参与者。这背后的原因是什么?我们倾向于考虑较新的应用，如公共监控和面部识别，但最常见的应用是在金融行业。事实上，信用卡公司是最早将机器学习用于商业用途的机构之一。有没有在你刚买了一大笔东西后收到信用卡公司的垃圾邮件，给你提供更高的信用额度?或者在你刚买了一双昂贵的运动鞋和5美元的汽油后，他们是否关掉了你的信用卡?这要感谢人工智能。数据中心的这种推理很可能是人工智能的主要驱动因素。

现在让我们看看芯片架构。在边缘，我们看到每个应用程序只调优到几个用例，通常具有严格的延迟需求，并且SoC架构严格优化以执行这些用例。这需要自定义处理元素(通常有很多类型，每种元素都有很多)，以及高度自定义的片上数据流。随着这些芯片中处理元素的数量和类型不断增长，对AI核心内缓存一致性的需求也在增加，以连接它们(基于ip的Arteris实现为此目的使用Ncore互连)。加速器核心与SoC设计的其余部分之间的紧密集成需求也在增加。这类设计的硬件架构可能会变得复杂，但通过将这些棘手的AI算法中的更多复杂性交给硬件，可以极大地简化软件。由于汽车已经成为创新和证明新技术最重要的人工智能边缘设备，因此我们看到人工智能需求通常与功能安全结合在一起也就不足为奇了。事实上，我们不仅在汽车、卡车和其他交通工具上看到这一点，而且越来越多地在机器人和无人机上看到这一点。

数据中心中的实现需求非常不同，训练和推断之间也有一些不同。数据中心服务提供商希望通过多通道的神经网络引擎实现高吞吐量，而不希望将应用程序调优到特定的作业。他们想要超高性能的通用AI解决方案，使用一组通用硬件，因此越来越倾向于使用同质处理元素的空间分布式网格架构，组织在规则拓扑中，如网格、环和环面。

我们倾向于看到用于训练的同构网格方法，支持前面提到的通用风格。在数据中心推断中，我们更常看到具有战术嵌入式缓存内存的异构网格，这再次支持我们认为更有针对性的应用程序。

此外，在架构方面，片外/芯片存储器的带宽仍然是一个很大的限制因素。由于这个原因，我们看到HBM2很快就被采用了，尽管GDDR6也得到了很多关注;如果它能满足你的需要，它会比HBM2便宜得多。逻辑设计本身在这些网格架构中是巨大的，推动并超越了完整的十字线尺寸。这使得人们对芯片或芯片之间的开放通信接口(如CCIX、OPENCAPI和GEN-Z)越来越感兴趣。

我的外卖。

• 定制人工智能将主导所有其他平台，不仅在边缘领域，而且在数据中心。
• 毫无疑问，推理将成为人工智能领域最大的贡献者，但更令人惊讶的是，基于数据中心的推理将比边缘推理产生更多的收入。
• 边缘架构将要求在紧密集成的SoC设计中与AI保持缓存一致性，而云架构将更加依赖于空间分布式配置。
• 此外，在云中，内存带宽正在推动更多地采用HBM2和GDDR6，这也不奇怪，但空间分布式结构的巨大规模也将推动多芯片架构的发展。

总结:人工智能很大，但没有所谓的“标准人工智能芯片”。最佳的芯片架构根据必须执行的功能类型、必须执行的位置以及在多少时间和功率预算内执行而有所不同。