Akamai AI推理可降低60%推理时延，李昇：高度分布式架构带来的优势

5月12日消息，近几年，在连续完成收购Linode等后，Akamai已经成功转型为一家云服务（公有云）、安全服务和CDN服务三位一体的全球最分布式的计算平台。

截至目前，Akamai在全球130个国家拥有1200多个运营商网络、有超过4000个边缘节点、26个核心云计算节点和10个分布式节点。

随着生成式AI应用数量的爆发式增长，近期，Akamai也推出了AI推理解决方案，旨在加速人工智能推理工作负载，优化效率和成本。

Akamai副总裁暨大中华区总经理李昇表示：“随着AI应用被广泛使用，未来在推理方面的计算需求可能是训练方面需求的十倍、甚至更多，同时，大量推理需求将在边缘发生，这些AI推理需求当中更需要分布式的、低延时的、灵活部署的基础架构。Akamai高度分布的架构设计极具优势，在这一波新的浪潮当中更加适应，也更能够帮助客户快速地在就近于他们用户的地方部署生成式AI模型。”

Akamai副总裁暨大中华区总经理 李昇

Akamai亚太区云计算专家团队负责人李文涛介绍：“Akamai AI推理服务帮助企业提供了高达3倍的推理吞吐能力，降低了高达60%的推理时延，并且相比于同等的传统云计算厂商的基础设施可以帮助客户降低使用成本高达86%之多。”

Akamai亚太区云计算专家团队负责人 李文涛

据介绍，Akamai AI推理解决方案包括四个部分：

一、经典的计算产品线，包括CPU的虚机、GPU的虚机、专属芯片的VPU虚拟机，从不同的层面、不同的维度，帮助客户提供了AI推理的选择。与英伟达、支持英伟达AI的生态系统合作，包括提供对TensorRT这样推理运行环境的支持，以及对丰富的AI模型的支持。

二、数据管理，AI无论是训练还是推理都离不开实时的数据处理能力。Akamai和业界领先的分布式数据平台VastData合作，结合自身全球分布式的边缘云平台帮助企业的AI模型利用实时的数据去加速AI推理服务。包括实时优化AI模型，RAG（Retrieval-Augmented Generation）技术都需要AI模型可以实时获取到相关推理数据，Akamai和VastData的合作帮助客户可以大大提升其交付低时延AI的能力，并且能够提升优化模型的效率。

三、容器化服务。Akamai的LKE企业版，采用托管式的K8s服务，可帮助客户运行在容器化的环境来支持其推理服务。

四、边缘云计算和网络能力。由于Akamai的云平台和骨干网是集成的，所以可以大大降低面向最终用户推理的时延、数据传输时延、提高吞吐效率，并且Akamai在边缘云计算还有一个合作伙伴Fermyon，它提供了WebAssembly（WASM）的支持，这样可以帮助客户在边缘构建无服务器应用来支持其AI推理。

李文涛强调：“因为Akamai边缘的时延基本上是处于互联网的最后一跳，也就是说Akamai离最终用户只有一个网络跳，只有10毫秒到数10毫秒的时延，Akamai可以很好的帮助AI企业解决‘最后一公里”时延的问题’。”

此外，李昇还透露，除了帮助用户在边缘侧快速部署AI模型之外，Akamai也在持续研发和提升这些AI模型的安全能力。Akamai在今年5月的“RSA Conference”上正式发布了Akamai基于AI的防火墙，帮助用户保护其AI模型、防止其AI模型遭到恶意的攻击，包括资源消耗型的攻击、以及恶意的Token注入攻击等。

李昇总结道：“Akamai在中国的业务主要是帮助中国企业‘出海’。在助力客户有效执行和部署他们的AI战略方面，Akamai将在帮助用户有效地部署AI模型的同时确保模型的安全性。”