适用于 Amazon Kinesis 的 ClickPipes

欢迎来到发布周！本周我们每天都会宣布 ClickHouse Cloud 的一项新功能。所以让我们开始吧。

首先，我们很高兴地宣布我们的 Amazon Kinesis 连接器 (用于 ClickPipes) 的 Beta 版发布。作为我们最受欢迎的集成之一，它提供了一种轻松的方式，可以将数据从 Kinesis 数据流摄取到 ClickHouse Cloud 服务中。

我们还制作了一个简短的视频，展示了这一切是如何运作的，您可以在下面查看。

Amazon Web Services (AWS) 云生态系统提供了强大的构建块，用于建立复杂的數據架构和管道。数据可以采用各种形式，并来自不同的媒介，从对象存储到数据库和流式系统。在 ClickHouse 中，ClickPipes 代表我们致力于满足用户需求的承诺。通过提供托管数据摄取功能，我们使用户能够专注于他们的分析用例，而不是构建和维护复杂的数据管道。

例如，我们最近宣布了适用于 Amazon S3 的批量数据加载连接器，它允许用户可靠地加载大型数据批次和历史上传。今天，借助适用于 ClickPipes 的 Amazon Kinesis 连接器，AWS 用户可以通过近乎实时的數據流功能完善这一功能，释放基于事件的用例和管道，同时最大程度地减少其架构占用空间。

Lambda 架构将批处理和流处理结合起来，用于历史数据和实时数据，而 Kappa 架构通过仅依赖流处理来简化这一点，消除了批处理层 (来源)。无论处理流数据还是批处理数据，ClickHouse Cloud 都极大地简化了这种架构，ClickPipes 提供了无缝摄取到高效存储引擎的功能，并具有丰富的查询执行功能。将您的静态存储桶或实时流视为数据源，ClickPipes 会自动将其保持同步，让您专注于从数据中获得见解。这代表着朝着实现实时数据仓库用例迈出的又一步，在仓库级别统一数据。

适用于 Kinesis 的 ClickPipes 利用我们现有的 Apache Kafka 流式摄取基础设施来摄取 Kinesis 数据流。我们的 Kinesis 消费者实现与 Kafka 在两个主要方面有所不同：检查点在 Kinesis 的消费者端完成。为了支持这一点，我们利用 ClickHouse 键值存储KeeperMap将读取检查点（称为 SequenceNumbers）写入客户的 ClickHouse DB 实例。此外，为了读取 Kinesis 流，ClickPipes 通过 Kinesis 流提供的多个分片并发读取。分片具有固定的吞吐量和硬限制，因此 Kinesis 通过添加和删除分片来自我扩展。我们始终检查分片的数量并在其扩展时读取每个分片。

对于 ClickPipes 团队来说，这是一个忙碌的季度。在为我们的 Kafka 连接器集添加 Avro 支持、发布适用于 Amazon S3 和 Google Cloud Storage (GCS) 的批量数据加载连接器，以及现在发布 Amazon Kinesis 支持之后，ClickPipes 生态系统在深度和广度上都持续扩展。接下来将在我们的路线图中

• 适用于 ClickPipes 的 PostgreSQL 更改数据捕获 (CDC) 连接器
• 适用于 Amazon S3 和 Google Cloud Storage 的批量数据加载连接器的连续模式（允许监视远程存储桶并摄取新添加的文件）
• 适用于 ClickPipes Kafka 连接器的偏移量控制
• ClickPipes 复制（允许从现有配置创建新的 ClickPipes）
• ClickPipes 公共 API
• 改进的可观察性和通知

这远非未来几个季度将带来的内容的代表性列表。与往常一样，我们鼓励您分享您的用例和需求，以帮助塑造我们的路线图。请随时与我们联系！