AI芯片，需求如何？

如果您希望可以时常见面，欢迎标星收藏哦~

2023 年，迈克·亨利 担任AI 推理公司 Groq 的临时首席产品官，这一职位使他与许多数据中心管理员和经理保持密切联系。在这六个月中，他注意到不断变化的格局发生了变化，而主导云服务提供商的领域一直是亚马逊网络服务(AWS)、微软 Azure 和谷歌云平台。

虽然这些超大规模企业继续占据人工智能领域的大量空间，但亨利看到越来越多的 GPU 云提供商涌入市场，建立了配备数千个Nvidia 芯片的数据中心，这些芯片正在推动推理和其他人工智能工作负载所需的计算。

“我意识到，现在大多数人工智能基础设施都是在三大传统云提供商之外构建的，”亨利告诉The Next Platform。“我生活在一个超级扩张者总是获胜的世界里，我看到了这一巨大的变化和巨大的机遇。”

Heny 和自动驾驶汽车公司 Swift Navigation 的联合创始人兼首席执行官 Tim Harris 于 2023 年底利用这个机会创立了 Parasail。Parasail 本周凭借 1000 万美元的种子资金和旨在将企业与推理工作负载与可用 GPU 计算能力连接起来的网络脱颖而出。该公司的行为有点像一家电力公司，将需要电力的人与拥有电力的人联系起来。

Parasail 首席执行官亨利表示:“客户希望大规模部署 AI 模型，并且希望保持非常简单。他们几乎跟不上新的开源模型发布，更不用说考虑他们使用哪一家 GPU 云提供商了。‘我在什么硬件上运行它？我该如何设置它？’诸如此类。他们想要简单和规模。……我们有点唤起了原始内容交付网络的想法，说‘我有这个东西，我想在全球范围内运行，我不想考虑它。’你想把它放在一个盒子里，让它运行。”

人工智能和自动化背景

亨利和哈里斯都有创办和创建公司的经验。亨利于 2012 年创立了人工智能平台公司 Mythic，该公司筹集了 1.65 亿美元并开发人工智能加速硬件，包括模拟矩阵处理器和用于节能推理的 Key Cards。他于 2023 年跳槽到 Groq，在那里待了六个月，然后与他人共同创办了 Parasail。哈里斯于 2013 年与他人共同创办了 Swift，该公司为自动驾驶汽车开发精确导航软件。

Parasail 正在利用 AI 推理提供商、提供按需 GPU 访问的云公司的增长，其中包括上个月上市的CoreWeave和Lambda Labs等知名公司。Parasail 与这些推理供应商建立了合作伙伴关系，创建了一个聚合的、无合同的 GPU 容量，Harris 宣称其容量超过了 Oracle 云基础设施。这家总部位于旧金山的公司使用其 AI 部署网络将企业与 GPU 提供商和编排引擎连接起来，以确保工作负载能够获得所需的计算能力。

成本降低是 Parasail 的一个主要优势，该公司声称从 OpenAI 或 Anthropic 转移过来的公司可以节省 15 到 30 倍的成本，与其他开源提供商相比，成本优势是 2 到 5 倍。GPU 的设置只需几个小时即可完成，几分钟内即可进行推理。目前，Parasail 提供 Nvidia H200、H100 和 A100 GPU 以及 RTX4090 显卡，价格从每小时 65 美分到 3.25 美元不等。

构建部署网络

Henry 表示，组建一个部署网络来做到这一点绝非易事。每个 GPU 云的构建方式都不同，包括处理计算、存储和网络的方式，并且配置、计费和设置可以是自动、半自动或手动的。Kubernetes和容器可以解决其中许多挑战，但有些 GPU 云有 Kubernetes，而有些没有，而且有 Kubernetes 的 GPU 云在设置和质量上也有所不同。

关键的挑战是 Kubernetes 本质上不跨越集群、区域、数据中心或提供商。

“我们必须解决这个问题才能实现我们的战略，”亨利解释道。“我们可以构建跨多个提供商的 Kubernetes 集群，基本上可以覆盖全球。控制平面可以在某个高度可靠的地方运行，然后全球所有的 GPU 云都成为工作节点。这非常具有挑战性，因为它需要庞大而复杂的开源软件生态系统，并让它做一些它原本不打算做的事情。”

通过这样做，Parasail 在全球范围内实现了编排和容器化，超越了以前的做法。

“想象一下整个供应商都倒闭了，”亨利说。“对于一个运行良好的 Kubernetes 控制平面来说，这只是一些需要更换的工作节点倒闭了。这也绕过了不同设置的所有挑战。GPU 供应商运行的是什么并不重要；我们基本上绕过了它。如果我们将它与自动购买结合起来，你可以想象一个非常有弹性、可扩展且高效的即时 GPU 集群。”

编排是一项挑战

匹配和优化工作负载是哈里斯所说的“排列问题”。亨利说，人工智能有数千种模型、数百种变压器架构和数十种 GPU。再加上新的人工智能 ASIC、数十种组合 GPU 来处理更大负载的方法、三种流行的推理堆栈以及无数的设置和性能优化，挑战就更大了。

“我们的答案是将模型、人工智能和人类结合起来，”亨利说。“建模永远不会完美，甚至不会擅长，因为这既是一个巨大的维度模糊问题，也是因为事物在迅速发展。人工智能可以介入并通过捕捉异常、监控日志和快速构建异常处理来提供很大帮助。但这总是需要人类参与，因为异常实在是太多了。有了这个，我们能够用一个相对精简的工程团队实现大规模。”

该公司于 1 月份开始进行封闭式秘密测试，需求不断增长，Parasail 的年度经常性收入 已超过七位数。其技术现已普遍可用，客户包括人工智能芯片制造商 SambaNova、人工智能生产平台制造商 Oumi、对话式人工智能公司 Rasa 和 Elicit，后者的人工智能助手可自动执行研究任务。

展望未来，这家初创公司计划迅速扩充其 12 名员工的名单，尤其是工程岗位。亨利和哈里斯在提供 GPU 方面也保留了选择余地。目前，Nvidia GPU 占据主导地位，但哈里斯认为市场会发生变化。他们从打造 Parasail 中获得的洞察力也凸显了市场中存在的“奇怪悖论”。

“硬件似乎很稀缺，”哈里斯解释道。“人们买不到足够的 GPU，但它们都有大量的可用容量。数据中心有大量的 GPU 可用容量，但他们买不到足够的。这怎么可能是真的？这实际上归结为这样一个事实:它没有得到很好的优化和利用，也没有很好地与客户联系在一起，所以他们只能部署他们的模型。”

他补充道:“需求是存在的。目前对下一代人工智能应用的需求几乎是无限的，它们将取代互联网 1.0 和 2.0 应用。但关键在于如何让这些应用大规模运行并提高利用率。这就是我们所做的。我们的推理平台让客户能够非常轻松地大规模部署人工智能，然后网络部分就是我们如何优化并充分发挥其性能。”

半导体精品公众号推荐

专注半导体领域更多原创内容

关注全球半导体产业动向与趋势

今天是《半导体行业观察》为您分享的第4085期内容，欢迎关注。

『半导体第一垂直媒体』

实时 专业 原创 深度

公众号ID:icbank

喜欢我们的内容就点“在看”分享给小伙伴哦