今天，ClickHouse 团队很高兴地宣布发布 ClickPipes for Kafka。这项新的 ClickHouse Cloud 体验使用户能够轻松连接到远程 Kafka 代理，并立即开始将数据摄取到他们的 ClickHouse 服务中。此新功能释放了 ClickHouse Cloud 的全部潜力，并使用户能够利用近乎实时的数据进行洞察和分析。
ClickPipes 是 ClickHouse Cloud 的一项原生功能，目前处于私有预览阶段。您可以在此处加入我们的候补名单。
“实时分析 ❤️ 实时数据”
Apache Kafka 是一种无处不在的事件流平台，数千家公司使用它来构建高性能数据管道、流式分析、数据集成和关键任务应用程序，通常与 ClickHouse 结合使用。出于这些原因，我们很明显应该首先在 ClickPipes 中提供世界一流的 Kafka 支持。
为了完成这项任务，我们与 Confluent 的朋友们紧密合作，通过 Connect with Confluent 计划 (CwC)。作为领先的企业级 Kafka 提供商，Confluent 提供了一个完全托管的云环境，用户可以在其中部署和操作 Kafka 集群、Kafka Connect 连接器等。
我们在今年早些时候宣布了我们官方的clickhouse-kafka-connect Sink 的可用性，并演示了如何通过自定义连接器功能在 Confluent Cloud 中使用它。借助 ClickPipes，我们有效地将此集成路径更进一步，并提供了一种原生的“零设置”体验来集成 ClickHouse 和 Confluent Cloud。
为什么需要另一个数据摄取解决方案？
从实时分析应用程序中提取的有价值的见解通常取决于新鲜且高质量的输入数据的可用性。用户通常会花费大量时间和精力来构建和维护复杂的应用程序数据摄取层。这个关键组件的复杂性会迅速增加，并会影响整个数据链的价值。
使用 ClickHouse，用户可以依靠充满活力的集成生态系统来完成此任务。但是，花费时间将数据从 A 点移动到 B 点意味着他们可以将更多时间集中在用例本身以及从数据中提取价值上。
借助 ClickPipes，我们通过提供交钥匙数据摄取体验来消除这种复杂性。使用 ClickPipes 设置持续摄取作业只需不到一分钟的时间。
ClickPipes 的主要优势包括：
- 简单直观的数据导入：设置新的摄取管道只需几个步骤。选择传入的数据源和格式，调整您的架构，然后让您的管道运行。
- 专为持续摄取而构建：ClickPipes 管理您的持续摄取管道，因此您无需自己管理。设置您的管道，剩下的交给我们。
- 专为速度和规模而设计：ClickPipes 提供您处理不断增加的数据量所需的扩展能力，确保您的系统能够轻松应对未来的需求。
- 释放您的实时分析能力：ClickPipes 利用我们在实时数据管理系统方面的深厚专业知识构建，处理实时摄取的复杂性，以实现最佳性能。
除了 Confluent Cloud 和 Apache Kafka 之外，接下来会发生什么？
ClickPipes支持 Confluent Cloud 和 Apache Kafka（在发布时）。我们将快速扩展支持的数据源和系统的列表，将 ClickPipes 打造成为 ClickHouse Cloud 的一个功能齐全的连接平台。
在 Kafka 之后，我们决定将精力集中在支持其他类型的流式技术上，例如云原生事件源（Amazon Kinesis、Google Pub/Sub、Azure Event Hub）。我们也非常想知道社区希望接下来看到什么，所以请随时使用我们的联系表单告诉我们！我们很乐意探索从监控对象存储到更改数据捕获场景的任何内容。
如何访问 ClickPipes？
ClickPipes Beta 现已通过私有预览模式提供。您可以通过填写此表单加入我们的候补名单，一旦测试名额可用，我们将与您联系。这个私有预览阶段对我们至关重要，因为它可以帮助我们验证平台的可靠性和生产就绪性。
在这一阶段之后，我们将在今年晚些时候在 ClickHouse Cloud 中全面推出 ClickPipes。
您可以在以下页面中找到更多信息：
