更快构建更优秀的 AI 产品：Braintrust 如何使用 ClickHouse 进行实时数据分析

Braintrust 正在引领 AI 公司构建、测试和改进其产品的转型。自 2023 年以来，其平台已帮助 Zapier、Notion 和 Airtable 等公司更深入地了解其 AI 模型的性能，并做出更快、数据驱动的决策，从而提高可靠性和质量。通过将实时数据处理与自动化评估工具相结合，Braintrust 有助于消除 AI 的黑盒性质，从而实现持续改进和优化。

随着 AI 应用规模和复杂性的增长，数据工程团队需要有效管理和处理海量数据以了解其模型性能以及产品变更是否达到预期效果的挑战也随之增加。当迭代改进依赖于即时反馈时，数据处理延迟尤其成问题。

“当您对 AI 产品进行交互式分析时，工程师不能运行某些操作然后等待五分钟，”Braintrust 创始人兼首席执行官 Ankur Goyal 在 2024 年 6 月旧金山 ClickHouse 用户聚会上表示。

Ankur 认识到需要一种能够满足实时数据处理需求并提供持续改进所需快速反馈的解决方案，于是创建了 Braintrust。从第一天起，Braintrust 就旨在确保数据即时可用并促进快速迭代周期。因此，随着公司发展，他们实施 ClickHouse 以实现大规模实时查询也就不足为奇了。

Ankur 于 2017 年创办了他的第一家公司 Impira。该公司使用机器学习来帮助企业提取和管理非结构化数据，例如文档、视频、图像、音频和网页。在将业务出售给 Figma 后，他接管了 Figma 的 AI 团队。

“在 Impira 和 Figma，我们很难对 AI 产品进行更改而不会破坏所有内容，”Ankur 说。

为了克服这一挑战，Ankur 在两家公司都构建了内部工具包，使用评估来系统地测试和验证 AI 模型。此过程包括严格的日志记录、性能跟踪、输出可视化和故障分析，以实现持续改进，而不会无意中破坏系统的其他部分。

然后在 2023 年，Ankur 与投资者和企业家 Elad Gil 进行了交谈，这使他意识到一个重要的事实。

“他说，‘嘿，你已经两次构建了相同的东西，’”Ankur 回忆道。“‘其他公司也尝试做 AI 方面的事情。也许他们也有这个问题。’”

Ankur 开始与其他正在构建 AI 驱动的产品的软件开发人员交谈。他很快意识到，企业级堆栈的需求非常普遍，该堆栈可以使 AI 公司更快、更可靠地评估和改进其产品。他筹集了 510 万美元的种子资金，并开始着手构建 Braintrust。

在 Figma，Ankur 经历了传统云数据仓库在构建实时数据驱动应用程序方面的局限性。在长达一年的时间里，数据团队设计了一个管道，该管道需要五分钟才能处理实验数据并使其可查询。虽然与其他公司相比，这些公司可能需要一个小时或更长时间才能完成类似的过程，这令人印象深刻，但对于现代 AI 开发中所需的交互式分析来说，这还远远不够快。

在开始构建 Braintrust 时，Ankur 认识到需要一个更有效的数据库，该数据库能够以最小的延迟处理大量数据。他的搜索使他找到了 ClickHouse，这是一种开源的列式数据库管理系统，以其高性能和低延迟功能而闻名。他立即意识到 ClickHouse 处理复杂查询且延迟最小的能力对于满足 AI 公司的需求至关重要。

借助 ClickHouse，Ankur 确保 Braintrust 可以提供即时数据可用性、简化性能跟踪并促进快速迭代周期。该集成帮助 Ankur 及其团队构建了一个能够管理复杂数据工作流并提供 Braintrust 客户所需的实时分析的平台。

Braintrust 使用多数据库架构来优化性能和可靠性。初始数据写入由 Postgres 处理，后者支持事务完整性和复杂更新。DuckDB 为轻量级浏览器内分析提供前端支持。

此架构的核心是 ClickHouse，它提供了现代 AI 模型开发所需的实时数据分析和高速处理能力。与其他解决方案不同，Clickhouse 在处理海量数据和以最小的延迟执行复杂查询方面提供了无与伦比的性能。其列式存储格式允许高效压缩和快速访问相关数据，使其非常适合满足 Braintrust 对即时数据可用性和快速反馈周期的需求。

以下是 ClickHouse 如何集成到 Braintrust 平台中的介绍

写入 Postgres 的数据会立即复制到 ClickHouse。这确保了实验或用户交互产生的任何新数据都可用于实时分析。复制过程非常高效，只需几百毫秒到几秒钟，从而确保最小的延迟和最大的可用性——这是他们在测试中无法使用其他供应商实现的。

ClickHouse 使用针对读密集型操作优化的列式存储格式。此格式允许高效压缩和快速访问相关数据列，使 Braintrust 能够处理大量数据而不会影响速度或性能。

ClickHouse 通过表主键索引和 MergeTree 引擎实现了高级查询优化，从而减少了针对表的读取数据量。这些功能使 Braintrust 能够快速有效地执行复杂查询。这对于 Braintrust 的评估工具至关重要，这些工具需要快速准确的查询结果。

当您在 Braintrust 中加载实验时，它会首先向 ClickHouse 发出查询以搜索相关数据并对其进行预处理。然后将数据发送到您的浏览器，其中在 WASM 中运行的 DuckDB 提供了前端分析的最后一公里交互性。这种组合使开发人员能够即时洞察 AI 模型性能，从而允许他们探索数据、跟踪指标并实时识别问题。

ClickHouse 的分布式架构和水平扩展是 Braintrust 的另一个主要优势。它允许 Braintrust 提高数据负载并运行并发查询，而不会降低性能。通过向他们的 ClickHouse 集群添加更多节点，Ankur 和他的团队即使在大型数据操作的压力下也能保持高性能，确保随着客户群的增长，服务质量的一致性。

ClickHouse 的容错功能确保数据完整性和可用性，即使在硬件故障的情况下也是如此。这些功能包括强大的复制机制和频繁的备份，可以防止数据丢失并促进快速恢复故障。它们提供的可靠性对于 Braintrust 的客户来说非常重要，因为它保证了持续的运营和一致的服务。

如今，许多世界上最成功的 AI 公司都依靠 Braintrust 的平台来改进其产品开发流程。在实时分析和自动化评估工具的帮助下，这些公司能够更快地构建和交付更高质量的 AI 产品，在市场上保持竞争优势。

“Braintrust 填补了评估非确定性 AI 系统（这非常关键！）的空白，”Zapier 的联合创始人兼 AI 负责人 Mike Knoop 在Braintrust 发布时表示。“我们已使用它成功地衡量并改进我们以 AI 为首要产品的产品。”

展望未来，Ankur 和 Braintrust 团队计划继续改进其平台，以满足 AI 开发人员不断变化的需求。这包括进一步优化和扩展他们对 ClickHouse 的使用，以处理更大规模的数据集和更复杂的查询。凭借其可扩展性和可靠性，ClickHouse 将继续支持 Braintrust 的发展，并提高其向客户交付实时数据处理和见解的能力。

要了解有关 ClickHouse 的更多信息，以及实时分析如何提升您公司的人工智能开发，请注册免费试用并加入我们不断壮大的开发人员社区。要体验 Braintrust 在构建和优化 AI 应用程序方面的强大功能，请访问braintrust.dev！