从原型到生产：Weights & Biases 和 ClickHouse 如何帮助团队扩展 AI 开发

Weights & Biases (W&B) 是一个 AI 开发者平台，成立于 2017 年，旨在帮助工程团队克服 AI 开发中最令人沮丧的挑战之一：将项目从令人印象深刻的原型转变为可靠的生产系统。

W&B 的核心是提供工具来跟踪实验、版本数据集和管理机器学习工作流程，从而提高 AI 开发的效率和可重复性。这很重要，因为正如 W&B 联合创始人兼 CEO Lukas Biewald 所说，“AI 开发的真正价值在于从实验中学习。” 可靠而强大的基础设施有助于团队确保学习成果得到保留并易于扩展。

为了处理 AI 项目生产规模化带来的海量数据，W&B 依赖于 ClickHouse 的高性能、低延迟能力。ClickHouse 是一种列式 OLAP 数据库，支持无缝扩展且不影响速度。ClickHouse 使 W&B 的客户能够高效处理实时数据流，确保即使数据集呈指数级增长，也能快速交付洞察。

在 2024 年 9 月于旧金山举行的 见面会上，Lukas 分享了更多关于 W&B 正在做的工作，以帮助 AI 公司从演示走向生产，包括 ClickHouse 在管理这种转变中的作用。

“我们对 ClickHouse 及其整个团队感到非常感激，”Lukas 说。“它确实深化了许多我们可以为客户做的最重要的事情。”

卢卡斯在机器学习领域工作了 20 多年，他为自己所说的“AI 的民主化”感到鼓舞。他说，新型基础模型的出现使全球各行各业的公司更容易投资 AI 能力，并以“令人兴奋和意想不到的方式”构建利用 AI 的应用程序。

然而，随着越来越多的团队开发 AI 模型，人们期望他们能够无缝地将这些模型投入生产，以产生实际影响。正如 Lukas 解释的那样，现实情况是“AI 非常容易演示，但很难投入生产。” 换句话说，尽管 AI 原型产生了所有兴奋，但大多数团队发现很难将这些模型过渡到可扩展且可靠的系统中，从而交付实际价值。

“在软件领域，我们开玩笑说第一个 90% 和第二个 90%，”Lukas 说。“在 AI 领域，您可能有十个 90%，即使这样，它也永远无法投入生产。”

他说，部分问题在于 GenAI 操作的开发者工具存在差距。传统的软件开发得益于已知的工作流程和用于管理代码和流程的成熟工具——用于版本控制的 GitHub、用于项目管理的 Jira、用于设计的 Figma 等等。相比之下，AI 开发者工具缺乏相同的成熟度。

当 Lukas 创立 Weights & Biases 时，投资者经常问他，软件开发与 AI 开发有何不同。“软件开发是线性的——您始终在向前发展，添加功能和特性，”他说。“另一方面，AI 是实验性的。您尝试的几乎所有东西都永远不会见天日。工作流程是迭代的；一切都与运行实验有关。当您使某些东西变得更好时，总会有其他东西变得更糟，您必须决定您对权衡取舍的感受。”

与软件开发（代码代表您的知识产权）不同，Lukas 说 AI 的主要价值在于“您一路学到的东西”。但是，如果没有足够的工具来跟踪、版本化和管理这些学习成果，那么大部分价值都会丢失，从而导致工程团队难以高效地前进。

Lukas 和他的联合创始人着手解决 AI 开发的实验性、通常是混乱的性质。借助用于跟踪实验、版本化数据集和管理工作流程的工具，W&B 为流程带来了秩序，使其可重现和可扩展。这有助于工程团队更快地迭代，在过去的学习基础上构建，并确保进度不会丢失。

W&B 平台为三个主要受众提供服务：基础模型构建者、ML 工程师和软件开发人员。基础模型构建者——那些开发像 OpenAI 的 GPT 或 Meta 的 Llama 这样的大规模模型的人——需要复杂的实验和跟踪工具，W&B 通过为复杂工作流程设计的功能提供这些工具。从事自动驾驶汽车和药物发现等现实世界应用的 ML 工程师使用 W&B 来弥合研究和生产之间的差距，确保模型稳健且可扩展。

为了支持越来越多构建 GenAI 应用程序的软件开发人员，W&B 最近推出了 Weave，这是一款专为可能不熟悉 AI 的开发人员设计的可观察性工具。Weave 通过帮助开发人员可视化 LLM 调用来更好地理解数据如何在模型中流动，从而使 AI 开发更易于访问。它还简化了保存数据集和版本控制数据集的过程，并提供工具来处理复杂的数据场景，例如隐私要求或动态数据更改。

正如 Lukas 解释的那样，Weave 允许跨多个指标进行严格的模型评估，帮助开发人员评估性能并确定需要改进的领域。此外，Weave 捕获用户反馈——“无论是内部业务用户还是外部客户”——并将其整合在一个地方，以便可以快速将其集成到产品中。

最后，Weave 提供了用于比较不同基础模型的工具，使开发人员可以轻松确定哪个模型在特定场景中表现最佳，并最终帮助他们选择最符合其需求的模型。

ClickHouse 在支持 W&B 的基础设施方面发挥着重要作用，使平台能够管理 AI 大规模实验带来的巨大数据需求。

Lukas 指出，对于像 Weave 这样的产品，“客户希望立即在小规模数据上获得快速、实时的结果，但随后他们永远不会关闭它，并且它需要几乎立即扩展到数十亿条记录。” ClickHouse 的列式存储和低延迟能力使这成为可能，使 W&B 的客户能够从小型实验过渡到生产环境，而无需重新构建其基础设施。

正如 Lukas 解释的那样，ClickHouse 的灵活性在 AI 开发中尤其有价值，因为在 AI 开发中，预生产和生产之间的界限通常很模糊。“当您很好地完成此过程，并且从轻量级原型开始然后迭代时，实际上没有预生产过程——您在预生产中所做的一切最终都会进入后生产，”他说。

他还强调了 W&B 及其客户从 ClickHouse 获得的鼎力支持，并指出 W&B 和 ClickHouse 团队在竭尽全力帮助客户方面采取了类似的方法，包括通过 Slack 频道直接沟通。

“我们很喜欢与 ClickHouse 合作，”Lukas 说。“该产品非常出色，架构非常容易设置，低延迟和可扩展性令人惊叹。”

随着基础模型继续普及 AI，越来越多的软件开发人员正在步入 AI 开发的世界，尝试新功能并构建令人兴奋的应用程序。借助 Weave 以及 ClickHouse 的帮助，W&B 正在支持这些可能没有机器学习深厚专业知识，但渴望将 AI 的强大功能融入其应用程序和工作流程的开发人员。

通过使工程团队更容易跟踪、版本化和管理实验，W&B 进一步降低了 AI 开发的门槛，并加速了 GenAI 在各个不同行业的采用。这种扩展反映了 Lukas 和团队致力于支持所有开发人员（无论是 AI 专家还是软件工程师），并帮助他们自信地将其最具创新性的想法转化为生产。