ClickPipes for Amazon Kinesis

欢迎来到发布周！本周我们每天都将发布 ClickHouse Cloud 的一项新功能。让我们开始吧。

首先，我们很高兴宣布我们的 Amazon Kinesis 连接器 for ClickPipes 的 Beta 版本发布。作为我们最受用户欢迎的集成之一，它提供了一种从 Kinesis Data Streams 摄取数据到 ClickHouse Cloud 服务的简便方法。

我们还制作了一个简短的视频，展示了这一切是如何运作的，您可以在下面观看。

Amazon Web Services (AWS) 云生态系统为构建复杂的数据架构和管道提供了强大的构建模块。数据可以采用各种形式，并来自不同的媒介，从对象存储到数据库和流媒体系统。在 ClickHouse，ClickPipes 代表了我们致力于满足用户需求的承诺。通过提供托管数据摄取功能，我们让用户可以专注于他们的分析用例，而不是构建和维护复杂的数据管道。

例如，我们最近发布了用于 Amazon S3 的批量数据加载连接器，该连接器允许用户可靠地加载大型数据批次和历史上传。今天，借助用于 ClickPipes 的 Amazon Kinesis 连接器，AWS 用户可以使用近乎实时的流数据功能来完善蓝图，从而解锁基于事件的用例和管道，同时保持其最小的架构占用空间。

Lambda 架构结合了批处理和流处理，用于历史和实时数据，而 Kappa 架构通过仅依赖流处理来简化这一点，从而消除了批处理层（来源）。无论处理流数据还是批处理数据，ClickHouse Cloud 中的这种架构都得到了极大的简化，ClickPipes 提供到高效存储引擎的无缝摄取，并具有丰富的查询执行功能。将您的静态存储桶或实时流视为数据源，ClickPipes 将自动保持同步，从而使您可以专注于从数据中获取见解。这代表着在实现实时数据仓库用例方面又迈出了一步，从而在仓库级别统一了数据。

ClickPipes for Kinesis 利用我们现有的 Apache Kafka 流式摄取基础设施来摄取 Kinesis Data Streams。我们的 Kinesis 消费者实现与 Kafka 的不同之处主要在于以下两个方面：检查点是在 Kinesis 的消费者端完成的。为了支持这一点，我们将读取检查点（称为 SequenceNumbers）写入客户的 ClickHouse 数据库实例，利用 ClickHouse 键值存储 KeeperMap。此外，为了读取 Kinesis 流，ClickPipes 并发地读取 Kinesis 流提供的多个分片。分片具有固定的吞吐量和硬性限制，因此 Kinesis 通过添加和删除分片来扩展自身。我们始终如一地检查分片的数量，并在每个分片扩展时读取它。

对于 ClickPipes 团队来说，这已经是一个忙碌的季度。在为我们的 Kafka 连接器集添加 Avro 支持、发布用于 Amazon S3 和 Google Cloud Storage (GCS) 的批量数据加载连接器以及现在的 Amazon Kinesis 支持之后，ClickPipes 生态系统继续深入和广度地扩展。我们路线图中的下一步是

• 用于 ClickPipes 的 PostgreSQL 变更数据捕获 (CDC) 连接器
• 用于 Amazon S3 和 Google Cloud Storage 的批量数据加载连接器的连续模式（允许监视远程存储桶并摄取新添加的文件）
• ClickPipes Kafka 连接器的偏移量控制
• ClickPipes 复制（允许从现有配置创建新的 ClickPipes）
• ClickPipes 公共 API
• 改进的可观察性和通知

这远非代表未来几个季度将带来的所有内容。与往常一样，我们鼓励您分享您的用例和需求，以帮助塑造我们的路线图。请随时与我们联系！