云平台运营商Together AI Inc.近日宣布完成8亿美元新一轮融资，该公司专注于为运行开源AI模型提供优化的云平台服务。

在今日发布的融资公告中，Together AI表示本轮C轮融资由Aramco Ventures领投，英伟达、Vista Equity Partners、General Catalyst及多家机构投资者跟投。融资完成后，Together AI估值达83亿美元。

Together AI平台的核心产品之一是无服务器推理服务，开发者可通过该服务直接运行开源AI模型，无需自行配置显卡和网络设备。该公司宣称其无服务器环境的性能约为同类最快方案的两倍。

此外，该公司还提供另外三种推理服务。其中两种基于专用基础设施，相较无服务器方案提供更高的可靠性保障与定制化选项。第三种服务名为批量推理（Batch Inference），以低成本为优先考量，而非追求速度，可为无需即时响应用户请求的模型提供最高50%的价格优惠。

在底层技术架构上，Together AI平台由英伟达芯片驱动，并搭载一套名为ATLAS的自研软件引擎，采用一种称为"推测解码"（speculative decoding）的机器学习技术来加速用户工作负载。

推测解码技术允许工程师将AI模型与一个更轻量的第二神经网络结合使用。当用户输入提示词时，轻量算法会快速生成草稿回复，主模型随后对其进行校验、修正，再将最终回复返回给用户。这一流程比单独由主模型生成输出要快得多。

通常情况下，负责生成草稿回复的轻量算法采用固定配置，而固定配置的模型往往会随时间推移出现精度下降的问题。Together AI表示，其ATLAS技术通过自动适应用户需求变化来解决这一问题，并声称该软件可将部分推理工作负载的速度提升400%。

用户还可以借助Together AI平台对开源模型进行微调，平台提供可接入多达数千张显卡的训练集群。开发者可选择使用操作相对简便的Kubernetes，或功能更强、定制化程度更高的Slurm工具来管理集群。

AI训练项目面临的主要挑战之一在于显卡可能出现技术故障，芯片故障有时会在训练流程中引入错误。Together AI的训练集群内置了能够自动检测并修复技术故障的软件系统。

Together AI今日披露，其年度预订额在第二季度已突破11.5亿美元。目前，该平台已被数千家机构采用，用户包括LG旗下AI研究实验室、Cohere Inc.以及Mozilla基金会。

Together AI计划将本轮融资所得资金用于购置更多基础设施，力争在未来五年内将公有云容量扩大50倍，同时进一步强化其训练与推理功能。

Q&A

Q1：Together AI的无服务器推理服务有什么优势？

A：Together AI的无服务器推理服务允许开发者直接运行开源AI模型，无需自行配置显卡和网络设备，极大降低了使用门槛。该公司宣称其无服务器环境的性能约为同类最快方案的两倍，能有效提升开发效率。

Q2：ATLAS引擎中的推测解码技术是如何工作的？

A：推测解码技术将主AI模型与一个更轻量的神经网络结合使用。用户输入提示词后，轻量算法先快速生成草稿回复，主模型再进行校验和修正后返回最终结果。相比主模型单独生成输出，这一流程速度更快。Together AI的ATLAS引擎还能自动适应用户需求变化，避免轻量模型因固定配置导致精度下降，可将部分推理工作负载速度提升400%。

Q3：Together AI平台如何处理AI训练中的显卡故障问题？

A：AI训练项目中，显卡故障是常见挑战，芯片故障可能在训练流程中引入错误，影响模型质量。Together AI的训练集群内置了自动检测与修复系统，能够实时发现并处理技术故障，减少人工干预，从而保障训练流程的稳定性和可靠性。