博客 / 社区

SF 聚会报告：Helicone 为高级 LLM 监控从 Postgres 迁移到 ClickHouse

Elissa Weve

Aug 8, 2023 - 2 分钟阅读

2023 年 8 月 8 日，ClickHouse 在旧金山举办了“ClickHouse 和 AI - 夏季聚会”。我们很高兴听取了 Helicone 首席执行官兼联合创始人 Justin Torre 的演讲。Helicone.ai 是一个开源平台，专为 AI 可观察性而设计，为大型语言模型 (LLM) 应用程序提供开箱即用的监控、日志记录和跟踪。

他们利用 ClickHouse 作为后端的基础组件，每天处理多达 300 万个请求。ClickHouse 使他们能够实时更新仪表板，让用户可以立即了解关键指标，例如错误和活跃用户数。

Justin 谈到了 LLM 的突然流行和使用量的激增，初创公司正在迅速将此类模型集成到他们的服务中。他提到了 Helicone 的创立——最初专注于一款名为 TableTalk 的产品，该产品允许用户通过 OpenAI 与数据库进行交互。他们很快意识到需要对这些 LLM 进行更广泛的监控，从而创建了 Helicone。它的成功归功于简单的集成策略。只需添加两行代码，开发人员就可以在 Helicone 中可视化他们的所有活动，例如实时统计信息、请求日志，甚至错误详细信息。

Helicone 最初使用 Postgres 启动，但这很快就带来了一系列挑战，尤其是在尝试扩展其仪表板功能时。Justin 解释说：“我们当时使用 Postgres，但 Postgres 无法为那些漂亮的仪表板进行扩展。为了获得这些漂亮的仪表板，您需要进行所有这些聚合调用。聚合花费了 30 多秒，而且事情都超时了。” AI 应用程序需要灵活的数据操作，用户需要能够动态地过滤、分段和剖析数据。

基于一项建议，他们决定尝试 ClickHouse，结果立即令人印象深刻。Justin 解释说：“我做了一个基准测试，我在其中复制了大量数据，然后做了一个聚合查询，我就想……这太快了！” 吸引人的不仅仅是速度，还有 ClickHouse 是开源的这一事实，这与 Helicone 的核心价值观相符。

迁移到 ClickHouse 也有其复杂性，尤其是在 Postgres 视图和 ClickHouse 表之间的同步方面。他们最终采用了一种双重插入方法，同时填充 ClickHouse 和 Postgres。对于较新的表和视图，他们使用 pgv2cht，这是一个他们创建的开源工具。

迁移到 ClickHouse 后，Helicone 的仪表板查询性能得到了大幅优化。以前需要 100 多秒的时间，现在只需 0.5 秒即可执行。他们客户的反馈是即时的，许多人评论说：“嘿，我们注意到仪表板更快了！”

Justin Torre 分享了 Helicone 从最初的产品 TableTalk 到目前专注于 LLM 可观察性的转变。他们的快速增长导致 Postgres 出现扩展挑战。然而，切换到 ClickHouse 改变了他们的性能，大幅缩短了仪表板查询时间。正如 Justin 解释的那样，“这太疯狂了。我们的查询时间从 100 多秒降至仅 0.5 秒。我们做了很多不同类型的索引和测试。这太不可思议了。”

此次迁移不仅展示了 ClickHouse 的效率，也符合 Helicone 对开源的承诺。Justin 感谢 ClickHouse 团队的支持，特别是通过 ClickHouse Cloud 中的聊天框提供的支持，这有助于高效地解决问题。