今天，在 ClickHouse，我们很高兴地宣布发布 ClickPipes for Kafka。这项全新的 ClickHouse Cloud 体验使用户能够轻松连接到远程 Kafka brokers，并立即开始将数据摄取到他们的 ClickHouse 服务中。这项新功能释放了 ClickHouse Cloud 的全部潜力，并使用户能够利用近乎实时的数据进行洞察和分析。
ClickPipes 是 ClickHouse Cloud 的一项原生功能，目前处于私有预览阶段。您可以在此处加入我们的候补名单。
“实时分析 ❤️ 实时数据”
Apache Kafka 是一个无处不在的事件流平台，数千家公司使用它来进行高性能数据管道、流分析、数据集成和关键任务应用程序，通常与 ClickHouse 结合使用。出于这些原因，对我们来说，显而易见的是，我们应该首先在 ClickPipes 中提供世界一流的 Kafka 支持。
为了完成这项任务，我们通过 Connect with Confluent 计划 (CwC) 与 Confluent 的朋友们紧密合作。作为领先的企业 Kafka 提供商，Confluent 提供了一个完全托管的云环境，用户可以在其中部署和操作 Kafka 集群、Kafka Connect 连接器等。
今年早些时候，我们宣布了官方 clickhouse-kafka-connect sink 的可用性，并演示了通过自定义连接器功能在 Confluent Cloud 中使用它。借助 ClickPipes，我们有效地将这种集成路径更进一步，并提供原生的“零设置”体验来集成 ClickHouse 和 Confluent Cloud。
为什么需要另一种数据摄取解决方案？
从实时分析应用程序中提取的宝贵见解通常取决于新鲜且高质量的输入数据的可用性。用户花费大量时间和精力为其应用程序构建和维护复杂的数据摄取层并不少见。这个关键组件可能会迅速变得复杂，并将制约整个数据链的价值。
借助 Clickhouse，用户可以依靠充满活力的集成生态系统来完成这项任务。但是，花费时间将数据从 A 点移动到 B 点意味着他们用于专注于用例本身和从数据中提取价值的时间减少了。
借助 ClickPipes，我们通过提供开箱即用的数据摄取体验来消除这种复杂性。使用 ClickPipes 设置持续数据摄取作业只需不到一分钟。
ClickPipes 的主要优势包括
- 简单直观的数据载入：设置新的数据摄取管道只需几个步骤。选择传入的数据源和格式，调整您的模式，然后让您的管道运行。
- 专为持续数据摄取而构建：ClickPipes 管理您的持续数据摄取管道，因此您无需这样做。设置您的管道，剩下的交给我们处理。
- 专为速度和规模而设计：ClickPipes 提供您处理不断增长的数据量所需的可扩展性，确保您的系统可以轻松应对未来的需求。
- 解锁您的实时分析：ClickPipes 利用我们在实时数据管理系统方面的深厚专业知识构建，处理实时数据摄取的复杂性，以获得最佳性能。
除了 Confluent Cloud 和 Apache Kafka 之外，接下来会推出什么？
ClickPipes 支持 Confluent Cloud 和 Apache Kafka（在本文发布时）。我们将快速扩展支持的数据源和系统列表，将 ClickPipes 转变为 ClickHouse Cloud 的成熟连接平台。
在 Kafka 之后，我们决定将工作重点放在支持其他类型的流技术上，例如云原生事件源（Amazon Kinesis、Google Pub/Sub、Azure Event Hub）。我们也很好奇地想听取社区的意见，了解他们希望接下来看到什么，所以请随时使用我们的联系表格告诉我们！我们很乐意探索从受监控的对象存储到变更数据捕获场景的任何内容。
如何访问 ClickPipes？
ClickPipes Beta 已在私有预览模型中提供。您可以通过填写此表格加入我们的候补名单，一旦有测试名额，我们将与您联系。此私有预览阶段对我们验证平台的可靠性和生产就绪性至关重要。
在此阶段之后，我们将在今年晚些时候使 ClickPipes 在 ClickHouse Cloud 中全面可用。
您可以在以下页面中找到更多信息
