更快地构建更好的 AI 产品：Braintrust 如何使用 ClickHouse 进行实时数据分析

Braintrust 正在引领 AI 公司构建、测试和改进其产品的方式转型。自 2023 年以来，其平台已帮助 Zapier、Notion 和 Airtable 等公司更深入地了解其 AI 模型的性能，并做出更快、数据驱动的决策，从而提高可靠性和质量。通过将 实时数据处理 与自动化评估工具相结合，Braintrust 帮助揭开 AI 的黑盒性质，从而实现持续改进和优化。

随着 AI 应用程序在规模和复杂性上不断增长，有效管理和处理海量数据也面临着挑战，工程团队需要了解其模型的性能，以及产品变更是否产生了预期的效果。当迭代改进依赖于即时反馈时，数据处理延迟尤其成问题。

Braintrust 创始人兼首席执行官 Ankur Goyal 在 2024 年 6 月旧金山 ClickHouse 用户聚会上表示：“当您对 AI 产品进行交互式分析时，工程师无法运行某些东西，然后等待五分钟。”

Ankur 认识到需要一种能够处理实时数据处理需求并提供持续改进所需的快速反馈的解决方案，因此创建了 Braintrust。从第一天起，Braintrust 的设计就旨在确保即时数据可用性并促进快速迭代周期。因此，毫不奇怪，随着公司的发展，他们实施了 ClickHouse 以实现大规模的实时查询。

Ankur 于 2017 年创立了他的第一家公司 Impira。该公司使用机器学习来帮助公司提取和管理非结构化数据，例如文档、视频、图像、音频和网页。在将业务出售给 Figma 后，他接管了 Figma 的 AI 团队。

Ankur 说：“在 Impira 和 Figma，我们都很难在不破坏所有内容的情况下更改我们的 AI 产品。”

为了克服这一挑战，Ankur 在这两家公司都构建了内部工具包，使用评估来系统地测试和验证 AI 模型。此过程包括严格的日志记录、性能跟踪、输出可视化和故障分析，以实现持续改进，而不会无意中破坏系统的其他部分。

然后在 2023 年，Ankur 与投资者兼企业家 Elad Gil 交谈，后者引导他实现了一个重要的认识。

Ankur 回忆说：“他当时说，‘嘿，你已经做了两次相同的事情了。’ ‘其他公司也在尝试做 AI 方面的事情。也许他们也有这个问题。’”

Ankur 开始与正在构建支持 AI 产品的其他软件开发人员交谈。他很快意识到，企业级堆栈存在广泛的需求，该堆栈可以使 AI 公司能够更快、更可靠地评估和改进其产品。他筹集了 510 万美元的种子资金，并开始着手构建 Braintrust。

在 Figma，Ankur 体验了传统云数据仓库在构建实时数据驱动应用程序方面的局限性。在一年多的时间里，数据团队设计了一条管道，该管道需要五分钟才能处理来自实验的数据并使其可查询。虽然与其他公司相比，这令人印象深刻，在其他公司中，类似的过程可能需要一个小时或更长时间，但这对于现代 AI 开发中所需的交互式分析来说还远远不够快。

当 Ankur 开始构建 Braintrust 时，他意识到需要一个更高效的数据库，该数据库可以以最小的延迟处理大量数据。他的搜索使他找到了 ClickHouse，这是一种开源列式数据库管理系统，以其高性能和低延迟功能而闻名。他立即看到 ClickHouse 以最小延迟处理复杂查询的能力对于满足 AI 公司的需求至关重要。

借助 ClickHouse，Ankur 确保 Braintrust 可以提供即时数据可用性、简化性能跟踪并促进快速迭代周期。该集成帮助 Ankur 和他的团队构建了一个能够管理复杂数据工作流程并提供 Braintrust 客户所需的实时分析的平台。

Braintrust 使用多数据库架构来优化性能和可靠性。初始数据写入由 Postgres 处理，Postgres 支持事务完整性和复杂更新。DuckDB 为轻量级的浏览器内分析提供前端支持。

此架构的核心是 ClickHouse，它为现代 AI 模型开发提供实时数据分析和高速处理。与其他解决方案不同，Clickhouse 在处理大量数据和以最小延迟执行复杂查询方面提供了无与伦比的性能。其列式存储格式允许高效压缩和快速访问相关数据，使其非常适合满足 Braintrust 对即时数据可用性和快速反馈周期的需求。

以下是 ClickHouse 如何集成到 Braintrust 平台中的情况

写入 Postgres 的数据会立即复制到 ClickHouse。这确保了实验或用户交互生成的任何新数据都可用于实时分析。复制过程非常高效，只需几百毫秒到几秒钟，确保最小的延迟和最大的可用性——这是他们在测试中无法通过其他供应商实现的。

ClickHouse 使用针对读取密集型操作优化的列式存储格式。这种格式允许高效压缩和快速访问相关数据列，使 Braintrust 能够处理大量数据，而不会影响速度或性能。

ClickHouse 的高级查询优化是通过表主索引和 MergeTree 引擎实现的，这些引擎减少了针对表读取的数据量。这些功能使 Braintrust 能够快速高效地执行复杂查询。这对于 Braintrust 的评估工具至关重要，这些工具需要快速准确的查询结果。

当您在 Braintrust 中加载实验时，它首先向 ClickHouse 发出查询以搜索相关数据并对其进行预处理。然后，数据将发送到您的浏览器，其中在 WASM 中运行的 DuckDB 为前端分析提供最后一英里的交互性。这种组合使开发人员能够立即深入了解 AI 模型性能，从而使他们能够实时探索数据、跟踪指标和识别问题。

ClickHouse 的分布式架构和水平扩展是 Braintrust 的另一个主要优势。它使 Braintrust 能够在不降低性能的情况下增加数据负载并运行并发查询。通过向其 ClickHouse 集群添加更多节点，Ankur 和他的团队即使在大型数据操作的压力下也能保持高性能，从而确保随着客户群的增长，服务质量保持一致。

ClickHouse 的容错功能可确保数据完整性和可用性，即使在发生硬件故障时也是如此。这些功能包括强大的复制机制和频繁的备份，可防止数据丢失并有助于从故障中快速恢复。它们提供的可靠性对于 Braintrust 的客户非常重要，因为它保证了持续运行和一致的服务。

目前，世界上许多最成功的 AI 公司都依赖 Braintrust 平台来改进其产品开发流程。借助实时分析和自动化评估工具，这些公司已经能够更快地构建和交付更高质量的 AI 产品，从而在市场上保持竞争优势。

Zapier 的联合创始人兼 AI 负责人 Mike Knoop 在 Braintrust 发布时表示：“Braintrust 填补了评估非确定性 AI 系统中缺失（且至关重要！）的空白。” “我们已使用它成功地衡量和改进了我们的 AI 优先产品。”

展望未来，Ankur 和 Braintrust 团队计划继续改进其平台，以满足 AI 开发人员不断变化的需求。这包括进一步优化和扩展他们对 ClickHouse 的使用，以处理更大的数据集和更复杂的查询。凭借其可扩展性和可靠性，ClickHouse 将继续支持 Braintrust 的增长，并提高其向客户提供实时数据处理和洞察力的能力。

要了解有关 ClickHouse 以及实时分析如何提升贵公司的 AI 开发的更多信息，注册免费试用并加入我们不断壮大的开发者社区。要体验 Braintrust 在构建和优化 AI 应用程序方面的强大功能，请访问 braintrust.dev！。