今天，ClickHouse 很高兴地宣布发布 ClickPipes for Kafka。这款全新的 ClickHouse 云体验可以让用户轻松连接到远程 Kafka 代理，并立即开始将数据摄取到他们的 ClickHouse 服务中。此新功能释放了 ClickHouse 云的全部潜力，使用户能够利用近实时数据来获得洞察力和分析结果。
ClickPipes 是 ClickHouse 云的原生功能，目前处于私人预览阶段。您可以 在这里加入我们的候补名单。
“实时分析 ❤️ 实时数据”
Apache Kafka 是一个无处不在的事件流平台，数千家公司使用它来实现高性能数据管道、流式分析、数据集成和关键任务应用程序，通常与 ClickHouse 结合使用。出于这些原因，我们很明显地应该首先在 ClickPipes 中提供世界级的 Kafka 支持。
为了完成这项任务，我们与 Confluent 公司的朋友们密切合作，通过“与 Confluent 连接”计划 (CwC) 合作。作为领先的企业 Kafka 提供商，Confluent 提供了一个完全托管的云环境，使用户可以部署和操作 Kafka 集群、Kafka Connect 连接器等等。
我们在今年早些时候宣布了我们正式发布的 clickhouse-kafka-connect 接收器，并通过 自定义连接器功能 演示了在 Confluent Cloud 中使用它。使用 ClickPipes，我们有效地将此集成路径向前推进了一步，并提供了一种原生的“零设置”体验来集成 ClickHouse 和 Confluent Cloud。
为什么需要另一个数据摄取解决方案？
从实时分析应用程序中提取的有价值的洞察力，往往取决于新鲜且高质量的输入数据的可用性。用户通常需要花费大量的时间和精力来构建和维护一个复杂的应用程序数据摄取层。这个关键组件的复杂性可能会迅速增加，并会影响整个数据链的价值。
使用 ClickHouse，用户可以依靠一个 活跃的集成生态系统 来完成此任务。但是，花费时间将数据从 A 点移动到 B 点意味着他们只剩下更少的时间专注于用例本身，以及从数据中提取价值。
使用 ClickPipes，我们通过提供一个交钥匙数据摄取体验来抽象化这种复杂性。使用 ClickPipes 设置持续数据摄取作业只需不到一分钟。
ClickPipes 的主要优势是
- 简单易用且直观的 **数据入库**：设置新的数据摄取管道只需几个步骤。选择传入的数据源和格式，调整您的架构，然后让您的管道运行。
- 专为持续数据摄取而构建：ClickPipes 管理您的持续数据摄取管道，因此您无需操心。设置您的管道，让我们处理其余工作。
- 专为速度和规模而设计：ClickPipes 提供您处理不断增加的数据量所需的扩展性，确保您的系统能够轻松应对未来的需求。
- 释放您的实时分析：ClickPipes 利用我们在实时数据管理系统方面的深厚专业知识构建，处理实时数据摄取的复杂性，以实现最佳性能。
除了 Confluent Cloud 和 Apache Kafka 之外，接下来会有什么？
ClickPipes 支持 Confluent Cloud 和 Apache Kafka（在发布时）。我们将快速扩展支持的数据源和系统的列表，将 ClickPipes 打造成 ClickHouse 云的完整连接平台。
在 Kafka 之后，我们决定将精力集中在支持其他类型的流式技术，例如云原生事件源（Amazon Kinesis、Google Pub/Sub、Azure 事件中心）。我们也想知道社区想要看到什么，因此请随时使用我们的 联系表格 告知我们！我们很乐意探索任何内容，从受监控的对象存储到变更数据捕获场景。
如何访问 ClickPipes？
ClickPipes 测试版已经可以通过私人预览模式获得。您可以填写 此表格 加入我们的候补名单，一旦测试名额可用，我们将与您联系。这个私人预览阶段对我们来说至关重要，可以验证平台的可靠性和生产就绪性。
在这个阶段之后，我们将在今年晚些时候在 ClickHouse 云中公开发布 ClickPipes。
您可以在以下页面中找到更多信息
