适用于 Amazon Kinesis 的 ClickPipes

欢迎来到发布周！本周我们将每天宣布 ClickHouse Cloud 的一项新功能。所以让我们开始吧。

首先，我们很高兴地宣布我们的 Amazon Kinesis 连接器 (用于 ClickPipes) 的 Beta 版发布。作为我们最受请求的集成之一，它提供了一种轻松的方式，将数据从 Kinesis 数据流摄取到 ClickHouse Cloud 服务中。

我们还制作了一个简短的视频展示了这一切是如何工作的，您可以在下面观看。

Amazon Web Services (AWS) 云生态系统提供了强大的构建块，用于建立复杂的数据架构和管道。数据可以采用各种形式，并来自不同的媒介，从对象存储到数据库和流式系统。在 ClickHouse 中，ClickPipes 代表了我们满足用户需求的承诺。通过提供托管数据摄取功能，我们使用户能够专注于其分析用例，而不是构建和维护复杂的数据管道。

例如，我们最近宣布了适用于 Amazon S3 的批量数据加载连接器，它允许用户可靠地加载大型数据批次和历史上传。如今，借助适用于 ClickPipes 的 Amazon Kinesis 连接器，AWS 用户可以通过近乎实时的流式数据功能完善整体架构，解锁基于事件的用例和管道，同时保持其架构占用空间最小。

Lambda 架构结合了批量和流处理来处理历史数据和实时数据，而 Kappa 架构通过仅依赖流处理来简化此过程，消除了批量处理层 (来源)。无论处理流数据还是批量数据，ClickHouse Cloud 都极大地简化了这种架构，ClickPipes 提供了无缝摄取到高效存储引擎的功能，并具有丰富的查询执行功能。将您的静态存储桶或实时流视为数据源，ClickPipes 会自动将其保持同步，使您能够专注于从数据中获取见解。这代表着朝着实现实时数据仓库用例迈出的又一步，在仓库级别统一数据。

适用于 Kinesis 的 ClickPipes 利用我们现有的 Apache Kafka 流式摄取基础设施来摄取 Kinesis 数据流。我们的 Kinesis 消费者实现与 Kafka 在两个主要方面有所不同：检查点是在消费者端为 Kinesis 完成的。为了支持这一点，我们利用 ClickHouse 键值存储KeeperMap将读取检查点（称为 SequenceNumbers）写入客户的 ClickHouse DB 实例。此外，为了读取 Kinesis 流，ClickPipes 通过 Kinesis 流提供的多个分片并发读取。分片具有固定的吞吐量和硬性限制，因此 Kinesis 通过添加和删除分片来自我扩展。我们始终检查分片数量并读取每个分片，因为它在扩展。

对于 ClickPipes 团队来说，这是一个繁忙的季度。在为我们的 Kafka 连接器集添加 Avro 支持、发布适用于 Amazon S3 和 Google Cloud Storage (GCS) 的批量数据加载连接器以及现在的 Amazon Kinesis 支持之后，ClickPipes 生态系统在深度和广度上都在持续扩展。我们路线图中的下一步

• 适用于 ClickPipes 的 PostgreSQL 更改数据捕获 (CDC) 连接器
• 适用于 Amazon S3 和 Google Cloud Storage 的批量数据加载连接器的连续模式（允许监视远程存储桶并摄取新添加的文件）
• 适用于 ClickPipes Kafka 连接器的偏移量控制
• ClickPipes 复制（允许从现有配置创建新的 ClickPipes）
• ClickPipes 公共 API
• 改进的可观察性和通知

这远非未来几个季度将带来的内容的代表性列表。与往常一样，我们鼓励您分享您的用例和需求，以帮助塑造我们的路线图。请随时与我们联系！