为什么手机里的AI有时候回复快得像闪电,有时候却要经历漫长的加载等待?答案往往藏在距离上。当你问一个问题,这个请求可能要穿越半个地球,跑到某个大型数据中心里处理完再传回来。一来一回,时间就过去了。
Akamai大中华区副总裁 张轲
最近,Akamai和英伟达宣布了一项合作,要把AI推理从遥远的数据中心搬到离你只有“一跳”,即只隔一个网络节点的地方。Akamai大中华区副总裁张轲透露,Akamai正将其全球分布的边缘网络转型为全球最大的分布式AI推理平台。他们的目标是让AI算力像水电一样拧开开关就有,而且就在家门口。
从中央工厂到社区便利店,算力正在搬家
Akamai亚太区云计算架构师总监 李文涛
AI模型训练好比让学生上课学习,推理则好比让学生考试答题。训练一次耗时耗力,但答题则是日常高频操作。英伟达CEO黄仁勋预测,未来AI推理的规模将达到训练负载的数十亿倍。这么多考试,如果都挤在几个固定的考场,肯定会堵车。Akamai亚太区云计算架构师总监李文涛打了个比方,传统的中心云是AI的中央工厂,擅长大规模训练和海量数据存储;而AI推理更像零售网点,需要开在用户家门口。Akamai要做的是AI的物流网和全球神经网络,负责把算力精准投递到最后一公里。
张轲补充说,从CDN分发到AI推理,Akamai积累了三项可复用的核心能力。一是全球规模的分布式架构,其平台已覆盖130多个国家、4400多个边缘节点的平台。二是智能调度算法,过去调度内容是让网页最快送达用户,现在调度算力是让推理请求最快找到合适的GPU。三是安全与合规的基因,这在新场景下同样重要。
Akamai推出了名为AI网格(AI Grid)的全新分布式推理架构。李文涛解释说,它能在毫秒级延迟内,把每一个AI请求路由到最合适的算力节点。
这套系统有三个核心功能:智能路由能够感知不同的AI工作负载,根据模型类型、延迟目标和成本需求,自动选择最优的算力层级;分布式计算构建了从边缘到核心的多级算力架构,针对不同的推理模型特征进行定制化设计;性能与可靠性则基于英伟达RTX GPU,这些显卡在AI推理、训练、渲染和视频处理领域都经过严格的基准测试。
张轲强调,AI推理场景和训练场景的分布很不一样。训练需求主要集中在中美等科技研发能力强的国家,推理需求则遍布全球各个角落。不同国家的数字经济转型阶段不同,产生的应用场景也不同。电商发达的国家需要推荐引擎和虚拟购物,金融科技发达的地区需要智能风控和投顾服务。中国企业出海到不同区域,也会带来多样化的AI推理需求。
算力落地之后,安全必须跟上
Akamai大中华区售前技术经理 马俊
AI的发展也带来了新的安全挑战。攻击者同样在利用AI技术以超乎想象的速度发起攻击。Akamai大中华区售前技术经理马俊介绍了公司在安全方面的布局。Akamai的策略是用AI驱动安全产品的进化,实现更快、更自动化、更自适应的防护。
AI防火墙是专门为保护AI基础设施而生的产品。它可以作为AI应用的栅栏,有效保护AI的输入和输出。在输入侧,它能检测提示词注入、越狱攻击和针对模型的投毒行为。在输出侧,它能识别个人隐私泄露和模型产生的AI幻觉(Hallucination)。马俊特别提到,很多针对AI的攻击,本质上仍然是传统的注入类、引用类或代码级别的攻击。这些都在Akamai传统安全防护体系的覆盖范围之内,其WAF、爬虫管理、API安全等产品都在持续用AI技术增强。
MCP模型上下文协议,是当前AI领域面临的新挑战。随着AI应用的普及,大量新的AI相关影子基础设施开始出现。很多企业自己都不知道内部部署了多少MCP服务器,Akamai的API安全产品则能自动从企业流量中实时发现隐藏的MCP服务器,提供集中且不断更新的AI相关API清单。这样一来,安全团队就能彻底掌握企业内AI模型访问的具体位置。WAF中也增加了针对MCP的防护能力,可以精准控制AI应用部署期间暴露的攻击面。
在零信任和微分段方面,Akamai Guardicore与英伟达BlueField DPU实现了深度整合。传统基于代理的安全方案在某些环境中很难安装,比如运维技术设备和工业物联网硬件。张轲解释说,这种合作架构把零信任从传统的IT拓展到了OT和ICS硬件级别。即使上层运维主机被攻陷,底层的DPU仍然能够执行安全策略,提供跨系统、网络和应用程序的深度可见性。
张轲提到,Akamai在中国市场有一个独特的优势,那就是服务本地化。在Akamai大中华区全部员工中,有70%从事售后服务相关岗位。团队稳定性很高,很多行业专家在各自领域深耕多年,积累了宝贵的行业知识。这些专业知识(Know-how)在与出海客户沟通时非常被认可,因为客户想解决的是具体业务问题,而不是探讨某个安全技术的优劣。
目前,Akamai推理云已经在全球多个行业落地,李文涛列举了多个典型应用场景。例如,电商推荐引擎利用AI智能体实现个性化产品推荐;8K视频工作流支持超高清画质、多语种自动翻译和字幕添加;实时视频智能可以实时捕捉多机位画面中的最佳视角。而在自动驾驶汽车领域,算力资源能够帮助进行异常检测、预训练、重训练和PII(个人可识别信息)去标识化处理。
不同地区的应用重点有所不同,张轲观察到中国企业出海目前以娱乐行业为主,包括视频、流媒体、游戏,以及AI SaaS服务平台。这些企业利用Akamai推理云降低用户时延,实现实时翻译、实时加字幕、实时视频内容处理。在日本,制造业场景更多,比如智能汽车和机器人,偏向物理AI的使用场景。在东南亚和南亚,B2B企业服务的场景占比更高。
智能驾驶、机器人技术等与物理世界互动的场景,对AI推理的时延、可靠性和安全性要求最高,恰好是Akamai最具优势的领域。张轲对未来物理AI的期望很高,他认为未来会有非常大的增长潜力。他提到,Akamai大中华区是公司除北美以外最大的区域,拥有200多人的团队。过去十几年,他们积累了大量的成功案例和本地合作伙伴。未来,他们会继续为中国企业出海提供从云计算、分发到安全的一站式服务。而这次与英伟达的合作,正是他们在AI时代的重要布局。