更快构建更优秀的 AI 产品：Braintrust 如何使用 ClickHouse 进行实时数据分析

Braintrust 正在引领 AI 公司构建、测试和改进其产品方式的变革。自 2023 年以来，其平台已帮助 Zapier、Notion 和 Airtable 等公司更深入地了解其 AI 模型的性能，并做出更快、数据驱动的决策，从而提高可靠性和质量。通过将实时数据处理与自动化评估工具相结合，Braintrust 有助于消除 AI 的“黑盒”特性，从而实现持续改进和优化。

随着 AI 应用程序规模和复杂性的不断增长，数据工程团队有效管理和处理海量数据也面临着越来越大的挑战，他们需要了解其模型的性能，以及产品变更是否产生了预期的效果。当迭代改进依赖于即时反馈时，数据处理延迟尤其成问题。

“当您对 AI 产品进行交互式分析时，工程师不能运行某些操作后等待五分钟，”Braintrust 创始人兼首席执行官 Ankur Goyal 在 2024 年 6 月旧金山举办的 ClickHouse 用户 聚会 上说道。

Ankur 认识到需要一种能够满足实时数据处理需求并提供持续改进所需快速反馈的解决方案，因此创建了 Braintrust。从一开始，Braintrust 的设计就旨在确保数据即时可用并促进快速迭代周期。因此，随着公司发展，他们实施 ClickHouse 以实现大规模实时查询也就不足为奇了。

Ankur 于 2017 年创办了他的第一家公司 Impira。它使用机器学习帮助公司提取和管理非结构化数据，例如文档、视频、图像、音频和网页。在将业务出售给 Figma 后，他接管了 Figma 的 AI 团队。

“在 Impira 和 Figma，我们都很难对 AI 产品进行更改而不会破坏一切，”Ankur 说。

为了克服这一挑战，Ankur 在两家公司都构建了内部工具包，使用评估来系统地测试和验证 AI 模型。此过程包括严格的日志记录、性能跟踪、输出可视化和故障分析，以便能够进行持续改进，而不会无意中破坏系统的其他部分。

然后在 2023 年，Ankur 与投资者和企业家 Elad Gil 进行了交谈，后者引导他认识到一个重要的现实。

“他说，‘嘿，你已经两次构建了相同的东西，’”Ankur 回忆道。“‘其他公司也在尝试做 AI 方面的事情。也许他们也有这个问题。’”

Ankur 开始与其他正在构建 AI 驱动的产品的软件开发人员交谈。他很快意识到，广泛需要一个企业级堆栈，使 AI 公司能够更快、更可靠地评估和改进其产品。他筹集了 510 万美元的种子资金，并开始着手构建 Braintrust。

在 Figma，Ankur 经历了传统云数据仓库在构建实时数据驱动应用程序方面的局限性。在一年的时间里，数据团队设计了一条管道，需要五分钟才能处理实验数据并使其可查询。虽然与其他公司（此类过程可能需要一个小时或更长时间）相比令人印象深刻，但对于现代 AI 开发中所需的交互式分析而言，速度还不够快。

在开始构建 Braintrust 时，Ankur 认识到需要一个更高效的数据库，该数据库能够以最小的延迟处理大量数据。他的搜索使他找到了 ClickHouse，这是一种以其高性能和低延迟功能而闻名的开源列式数据库管理系统。他立即意识到 ClickHouse 能够以最小的延迟处理复杂查询的能力对于满足 AI 公司的需求至关重要。

借助 ClickHouse，Ankur 确保 Braintrust 可以提供即时数据可用性，简化性能跟踪并促进快速迭代周期。该集成帮助 Ankur 及其团队构建了一个能够管理复杂数据工作流并提供 Braintrust 客户所需的实时分析的平台。

Braintrust 使用多数据库架构来优化性能和可靠性。初始数据写入由 Postgres 处理，后者支持事务完整性和复杂更新。DuckDB 为轻量级浏览器内分析提供前端支持。

此架构的核心是 ClickHouse，它提供了现代 AI 模型开发所需的实时数据分析和高速处理功能。与其他解决方案不同，Clickhouse 在处理大量数据和以最小的延迟执行复杂查询方面提供了无与伦比的性能。其列式存储格式允许高效压缩并快速访问相关数据，使其非常适合满足 Braintrust 对即时数据可用性和快速反馈周期的需求。

以下是 ClickHouse 如何集成到 Braintrust 平台中的概述

写入 Postgres 的数据会立即复制到 ClickHouse。这确保了实验或用户交互生成的任何新数据都可用于实时分析。复制过程非常高效，只需几百毫秒到几秒钟即可完成，从而确保最小的延迟和最大的可用性——这是他们在测试中无法使用其他供应商实现的。

ClickHouse 使用针对读密集型操作优化的列式存储格式。此格式允许高效压缩并快速访问相关数据列，从而使 Braintrust 能够处理大量数据而不会影响速度或性能。

ClickHouse 的高级查询优化是通过表主键索引和 MergeTree 引擎实现的，从而减少了针对表的读取数据量。这些功能使 Braintrust 能够快速有效地执行复杂查询。这对于 Braintrust 的评估工具至关重要，因为这些工具需要快速准确的查询结果。

当您在 Braintrust 中加载实验时，它首先会向 ClickHouse 发出查询以搜索相关数据并对其进行预处理。然后，数据会被发送到您的浏览器，在浏览器中运行于 WASM 的 DuckDB 提供前端分析的最后一公里交互性。这种组合使开发人员能够立即洞察 AI 模型的性能，从而让他们能够实时探索数据、跟踪指标并识别问题。

ClickHouse 的分布式架构和水平扩展是 Braintrust 的另一个主要优势。它允许 Braintrust 提高数据负载并运行并发查询，而不会降低性能。通过向其 ClickHouse 集群添加更多节点，Ankur 和他的团队即使在大型数据操作的压力下也能保持高性能，确保随着客户群的增长，服务质量保持一致。

ClickHouse 的容错功能确保数据完整性和可用性，即使在硬件故障的情况下也是如此。这些功能包括强大的复制机制和频繁的备份，可以防止数据丢失并促进从故障中快速恢复。它们提供的可靠性对于 Braintrust 的客户来说非常重要，因为它保证了持续运行和一致的服务。

目前，许多世界上最成功的 AI 公司都依靠 Braintrust 的平台来改进其产品开发流程。借助实时分析和自动化评估工具，这些公司能够更快地构建和交付更高质量的 AI 产品，从而在市场上保持竞争优势。

“Braintrust 填补了评估非确定性 AI 系统的缺失（且至关重要！）的空白，”Zapier 的联合创始人兼 AI 负责人 Mike Knoop 在 Braintrust 发布时表示。“我们已经利用它成功地衡量和改进了我们以 AI 为先的产品。”

展望未来，Ankur 和 Braintrust 团队计划继续改进其平台，以满足 AI 开发人员不断变化的需求。这包括进一步优化和扩展他们对 ClickHouse 的使用，以处理更大规模的数据集和更复杂的查询。凭借其可扩展性和可靠性，ClickHouse 将继续支持 Braintrust 的发展，并提高其向客户提供实时数据处理和见解的能力。

要了解有关 ClickHouse 以及实时分析如何提升贵公司 AI 开发的更多信息，请注册免费试用并加入我们不断壮大的开发者社区。要体验 Braintrust 在构建和优化 AI 应用程序方面的强大功能，请访问 braintrust.dev！