跳到主要内容
跳到主要内容
编辑此页

与 ClickHouse Cloud 集成

介绍​

ClickPipes 是一个托管集成平台，它使从各种数据源摄取数据变得像点击几个按钮一样简单。ClickPipes 专为最苛刻的工作负载而设计，其稳健且可扩展的架构确保了一致的性能和可靠性。ClickPipes 可用于长期流式传输需求或一次性数据加载作业。

ClickPipes stack

支持的数据源​

名称徽标类型状态描述
Apache Kafka流式传输稳定配置 ClickPipes 并开始将流式数据从 Apache Kafka 摄取到 ClickHouse Cloud 中。
Confluent Cloud流式传输稳定通过我们的直接集成，释放 Confluent 和 ClickHouse Cloud 的组合力量。
RedpandaRedpanda logo流式传输稳定配置 ClickPipes 并开始将流式数据从 Redpanda 摄取到 ClickHouse Cloud 中。
AWS MSK流式传输稳定配置 ClickPipes 并开始将流式数据从 AWS MSK 摄取到 ClickHouse Cloud 中。
Azure Event Hubs流式传输稳定配置 ClickPipes 并开始将流式数据从 Azure Event Hubs 摄取到 ClickHouse Cloud 中。
WarpStream流式传输稳定配置 ClickPipes 并开始将流式数据从 WarpStream 摄取到 ClickHouse Cloud 中。
Amazon S3对象存储稳定配置 ClickPipes 以从对象存储摄取大量数据。
Google Cloud Storage对象存储稳定配置 ClickPipes 以从对象存储摄取大量数据。
Amazon Kinesis流式传输稳定配置 ClickPipes 并开始将流式数据从 Amazon Kinesis 摄取到 ClickHouse Cloud 中。
Postgres数据库管理系统私有预览配置 ClickPipes 并开始将数据从 Postgres 摄取到 ClickHouse Cloud 中。

更多连接器将添加到 ClickPipes，您可以通过联系我们了解更多信息。

静态 IP 列表​

以下是 ClickPipes 用于连接到您的外部服务的静态 NAT IP（按区域分隔）。将您相关的实例区域 IP 添加到您的 IP 允许列表中以允许流量。如果您的实例区域未在此处列出，它将回退到默认区域

  • eu-central-1 用于欧盟地区
  • us-east-1 用于 us-east-1 中的实例
  • us-east-2 用于所有其他地区
ClickHouse Cloud 区域IP 地址
eu-central-118.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40
us-east-23.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180
us-east-154.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150

调整 ClickHouse 设置​

ClickHouse Cloud 为大多数使用案例提供了合理的默认设置。但是，如果您需要为 ClickPipes 目标表调整某些 ClickHouse 设置，则 ClickPipes 的专用角色是最灵活的解决方案。步骤

  1. 创建一个自定义角色 CREATE ROLE my_clickpipes_role SETTINGS ...。有关详细信息，请参阅 CREATE ROLE 语法。
  2. 在 ClickPipes 创建期间，在“详细信息和设置”步骤中将自定义角色添加到 ClickPipes 用户。Assign a custom role

错误报告​

ClickPipes 将在您的目标表旁边创建一个表，后缀为 <destination_table_name>_clickpipes_error。此表将包含来自您的 ClickPipe 操作的任何错误（网络、连接等），以及任何不符合架构的数据。错误表具有 7 天的 TTL。如果 15 分钟后 ClickPipes 无法连接到数据源或目标，ClickPipes 实例将停止并在错误表中存储相应的消息（前提是 ClickHouse 实例可用）。

常见问题解答​

  • 什么是 ClickPipes？

    ClickPipes 是 ClickHouse Cloud 的一项功能，使用户可以轻松地将其 ClickHouse 服务连接到外部数据源，特别是 Kafka。借助 ClickPipes for Kafka，用户可以轻松地将数据持续加载到 ClickHouse 中，从而使其可用于实时分析。

  • ClickPipes 是否支持数据转换？

    是的，ClickPipes 通过公开 DDL 创建来支持基本数据转换。然后，您可以利用 ClickHouse 的物化视图功能，在数据加载到 ClickHouse Cloud 服务的目标表中时，对数据应用更高级的转换。

  • 使用 ClickPipes 是否会产生额外费用？

    目前 ClickPipes 不单独计费。像任何摄取工作负载一样，运行 ClickPipes 可能会在目标 ClickHouse Cloud 服务上产生间接的计算和存储成本。

  • 使用 ClickPipes for Kafka 时，是否有方法处理错误或故障？

    是的，ClickPipes for Kafka 会在从 Kafka 消费数据时自动重试故障情况。ClickPipes 还支持启用专用错误表，该表将保存错误和格式错误的数据 7 天。