Weights & Biases (W&B) 是一个 AI 开发者平台，成立于 2017 年，旨在帮助工程团队克服 AI 开发中最令人沮丧的挑战之一：将项目从令人印象深刻的原型转变为可靠的生产系统。
W&B 的核心是提供工具来跟踪实验、版本数据集和管理机器学习工作流程，使 AI 开发更高效且可重现。这很重要，因为正如 W&B 联合创始人兼 CEO Lukas Biewald 所说，“AI 开发的真正价值在于从您的实验中学习。” 可靠且稳健的基础设施有助于团队确保学习成果得到保留并易于扩展。
为了处理随着 AI 项目扩展到生产而产生的大量数据，W&B 依赖于 ClickHouse 的高性能、低延迟能力。ClickHouse 是一个列式 OLAP 数据库，它支持无缝扩展且不影响速度。ClickHouse 使 W&B 的客户能够高效处理实时数据流，即使数据集呈指数级增长，也能确保快速交付洞察。
在 2024 年 9 月在旧金山举行的聚会上，Lukas 分享了更多关于 W&B 正在做的工作，以帮助 AI 公司从演示转向生产，包括 ClickHouse 在管理这种过渡中的作用。
Lukas 说：“我们非常感谢 ClickHouse 及其整个团队。它确实深化了我们可以为客户做的许多最重要的事情。”
生产障碍
Lukas 在机器学习领域工作了 20 多年，他对他所谓的“AI 的普及化”感到鼓舞。他说，新型基础模型的出现，使世界各地、各行各业的公司更容易投资 AI 能力，并以“令人兴奋和意想不到的方式”构建利用 AI 的应用程序。
然而，随着越来越多的团队开发 AI 模型，人们期望他们能够无缝地将这些模型投入生产，以创造实际影响。正如 Lukas 解释的那样，现实情况是“AI 非常容易演示，但很难投入生产。” 换句话说，尽管 AI 原型令人兴奋，但大多数团队发现很难将这些模型过渡到可扩展且可靠的系统中，以交付实际价值。
Lukas 说：“在软件领域，我们开玩笑说第一个 90% 和第二个 90%。在 AI 领域，你可能有十个 90%，但即使这样，它也永远无法投入生产。”
他说，部分问题在于 GenAI 运营的开发者工具存在差距。传统的软件开发受益于已知的工作流程和成熟的工具来管理代码和流程 —— GitHub 用于版本控制，Jira 用于项目管理，Figma 用于设计等等。相比之下，AI 开发者工具缺乏相同的成熟度。
当 Lukas 创立 Weights & Biases 时，投资者经常问他软件开发与 AI 开发有何不同。“软件开发是线性的 —— 你总是向前迈进，添加功能和特性，”他说。“另一方面，AI 是实验性的。几乎你尝试的一切都见不了天日。工作流程是迭代的；一切都关于运行实验。当你使某些东西变得更好时，总会有其他东西变得更糟，你必须决定你对权衡的看法。”
Lukas 说，与软件开发（代码代表你的知识产权）不同，AI 的主要价值在于“你在过程中学到的东西”。但是，如果没有足够的工具来跟踪、版本化和管理这些学习，大部分价值都会丢失，导致工程团队难以高效前进。
扩展 AI 开发
Lukas 和他的联合创始人着手解决 AI 开发的实验性、通常是混乱的本质。凭借用于跟踪实验、版本化数据集和管理工作流程的工具，W&B 为流程带来了秩序，使其可重现和可扩展。这有助于工程团队更快地迭代，基于过去的学习进行构建，并确保进展不会丢失。
W&B 平台服务于三个主要受众：基础模型构建者、ML 工程师和软件开发者。基础模型构建者 —— 那些开发 OpenAI 的 GPT 或 Meta 的 Llama 等大规模模型的人 —— 需要复杂的实验和跟踪工具，W&B 通过专为复杂工作流程设计的功能来提供这些工具。从事自动驾驶汽车和药物发现等实际应用的 ML 工程师使用 W&B 来弥合研究和生产之间的差距，确保模型稳健且可扩展。
为了支持越来越多的软件开发者构建 GenAI 应用程序，W&B 最近推出了 Weave，这是一个为可能刚接触 AI 的开发者设计的可观察性工具。Weave 通过帮助开发者可视化 LLM 调用，从而更好地理解数据如何在他们的模型中流动，使 AI 开发更易于访问。它还简化了保存和版本化数据集的过程，提供工具来处理复杂的数据场景，例如隐私要求或动态数据变化。
正如 Lukas 解释的那样，Weave 允许跨多个指标进行严格的模型评估，帮助开发者评估性能并识别改进领域。此外，Weave 捕获用户反馈 —— “无论是内部业务用户还是外部客户” —— 并在一个地方综合它，以便可以快速整合到产品中。
最后，Weave 提供用于比较不同基础模型的工具，使开发者可以轻松确定哪个模型在特定场景中表现最佳，并最终帮助他们选择最符合他们需求的模型。
ClickHouse 的作用
ClickHouse 在支持 W&B 的基础设施中发挥着重要作用，使该平台能够管理大规模 AI 实验带来的巨大数据需求。
Lukas 指出，对于像 Weave 这样的产品，“客户希望在小规模数据上立即获得快速、实时的结果，但他们永远不会关闭它，并且需要几乎立即扩展到数十亿条记录。” ClickHouse 的列式存储和低延迟能力使这成为可能，使 W&B 的客户能够从小型实验过渡到生产环境，而无需重新架构他们的基础设施。
正如 Lukas 解释的那样，ClickHouse 的灵活性在 AI 开发中尤其有价值，因为预生产和生产之间的界限通常是模糊的。“当你很好地完成这个过程，并且你从一个轻量级原型开始，然后迭代，实际上并没有预生产过程 —— 你在预生产中所做的一切最终都会进入后生产，”他说。
他还强调了 W&B 及其客户从 ClickHouse 获得的支持，并指出 W&B 和 ClickHouse 团队有着相似的方法，即尽一切努力帮助客户，包括通过 Slack 频道直接沟通。
Lukas 说：“我们很喜欢与 ClickHouse 合作。产品很棒，架构非常容易设置，低延迟和可扩展性令人惊叹。”
赋能 AI 开发者
随着基础模型继续普及 AI，越来越多的软件开发者正在步入 AI 开发的世界，尝试新功能并构建令人兴奋的应用程序。借助 Weave —— 以及来自 ClickHouse 的帮助 —— W&B 正在支持这些可能没有机器学习深厚专业知识的开发者，但他们渴望将 AI 的力量融入他们的应用程序和工作流程中。
通过使工程团队更容易跟踪、版本化和管理实验，W&B 正在进一步降低 AI 开发的门槛，并加速 GenAI 在各行各业的采用。这种扩展反映了 Lukas 和团队致力于支持所有开发者（无论他们是 AI 专家还是软件工程师）的承诺，并帮助他们自信地将他们最具创新性的想法转化为生产。
