乘方科技开源全球首个AI推理“CDN”——GPUFabric，赋能全球分

11月17日，全球算力运营商乘方科技有限公司宣布:其倾力孵化的核心技术项目GPUFabric向全球开源。开源的GPUFabric成为全球首个“AI原生”的分布式推理交付网络 (AI Inference Delivery Network)，其设计理念如同“AI推理的CDN”，旨在通过智能路由和P2P技术，以Rust驱动高性能、安全、分布式的AI推理交付，将AI模型推理能力安全、高效、低延迟地交付给全球用户，为其开创的“算力银行”宏伟蓝图和“人人储算、人人享算”的下一代AI基础设施提供坚实的技术底座。

利用开源GPUFabric可把分散在世界各地、藏在内网的AI算力轻而易举地安全地连接起来，组成一个高性能的全球“AI服务网络”。它使算力提供者能够轻松地向全球分享算力并提供服务，并把AI模型和数据始终留在自己的电脑上，既安全又私密。而对 AI使用者，则无论身在何处，都能享受到离自己最近的、超低延迟的AI推理服务。GPUFabric提供的技术“粘合剂”，使得乘方科技的“算纽算联储”平台能将全球加入网络的、无论是大型数据中心还是个人贡献者的GPU资源连接起来，形成一个统一的算力池。这不仅为AI开发者提供了更低成本、更低延迟的MaaS (模型即服务) 选择，也为算力所有者提供了“人人储算，人人享算”的途径，最终实现算力资产的数字化流动与全球市场化运作。这无疑领衔了算力分享与AI服务网络的革命进程。

随着大型语言模型和生成式AI应用的爆炸性增长，AI推理的需求正从集中的大型数据中心向边缘和用户侧快速下沉。然而，随之而来的是高昂的延迟、复杂的数据隐私挑战以及难以管理的分布式算力资源。传统的CDN专为静态内容设计，无法满足AI推理这种高动态、高安全、低延迟的计算需求。GPUFabric的诞生正是为了解决这一痛点。它是一个高性能的分布式AI推理网络，允许AI模型实例安全地部署在企业私有基础设施、边缘节点甚至个人设备上。通过其智能路由核心(服务器调度)和轻量级客户端Agent，GPUFabric能够解决以下问题:

一、智能路由请求:像CDN一样，自动将用户的AI推理请求转发到地理上最近、负载最低的可用模型实例。

二、保障模型隐私:模型和推理数据始终保留在算力提供者自己的基础设施中，通过TLS 1.3端到端加密传输，确保数据和模型资产的绝对安全。

三、实现NAT穿透:使处于内网或防火墙后的AI服务无需公网IP即可安全地对外提供服务。

以开源技术奠基“算力银行”宏伟愿景。GPUFabric的开源是乘方科技“算力银行”战略的关键一步。“我们坚信，AI的未来是分布式的，算力平权是实现这一未来的前提，”乘方科技创始人兼CEO姚俊梅博士表示，“要构建一个全球联通、全链贯通的‘算力银行’，让全球分散的GPU资源实现价值最大化，我们就必须有一套统一、高效、安全的‘算力结构网’。GPUFabric就是这套结构网的开源实现。”

Rust与XDP驱动的极致性能与安全。为满足企业级AI推理的严苛要求，GPUFabric在技术选型上毫不妥协:

Rust语言核心:项目基于Rust语言和Tokio异步运行时构建，确保了内存安全、高并发和接近“零成本抽象”的极致性能，实现亚毫秒级的请求路由。

XDP内核级防护:在Linux环境下，GPUFabric利用XDP 技术，在网络驱动程序级别实现内核级包过滤和API密钥验证，能以超低延迟抵御DDoS攻击，远在请求到达用户空间应用之前。

多层缓存与认证:系统结合PostgreSQL数据库、Redis缓存和API Key验证，构建了高效且安全的多层认证体系。

异步消息队列:通过集成Apache Kafka，系统可以异步处理客户端心跳和请求跟踪，提高了高并发场景下的系统鲁棒性。

路线图:迈向P2P混合架构。GPUFabric的未来发展蓝图同样雄心勃勃。项目路线图显示，团队正在从纯粹的客户端--服务器模型转向更高效的P2P混合架构。通过集成libp2p库，利用STUN/TURN/ICE协议实现NAT穿透和自动中继，GPUFabric将能够:在用户和AI 推理节点之间建立P2P直接连接，进一步消除中转延迟。大幅降低中心服务器的带宽成本。构建一个更具弹性、可扩展性更强、真正去中心化的分布式AI计算生态。

共建下一代AI基础设施。乘方科技此次将GPUFabric开源，不仅是技术自信的体现，更是对其“连接全球GPU资源，共建下一代 AI基础设施”理念的践行。可以预见:全球的开发者、AI研究者、算力提供商以及对分布式系统感兴趣的技术爱好者将加入 GPUFabric社区，共同贡献代码、完善文档、探索应用场景。

作为全球算力运营商，乘方科技首创了融合“智能算力调度租赁”、“算力资产证券化 ”及“算力交易”三大功能的“算纽算联储 (GPU Nexus)”新模式。