跳至主要内容

与 ClickHouse Cloud 集成

简介​

ClickPipes 是一个托管的集成平台，它使从各种来源摄取数据变得像点击几个按钮一样简单。ClickPipes 的强大且可扩展的架构专为最苛刻的工作负载而设计，确保一致的性能和可靠性。ClickPipes 可用于长期流式传输需求或一次性数据加载作业。

ClickPipes stack

支持的数据源​

名称徽标类型状态描述
Apache Kafka流式传输稳定配置 ClickPipes 并开始从 Apache Kafka 摄取流式传输数据到 ClickHouse Cloud。
Confluent Cloud流式传输稳定通过我们的直接集成释放 Confluent 和 ClickHouse Cloud 的强大功能。
RedpandaRedpanda logo流式传输稳定配置 ClickPipes 并开始从 RedPanda 摄取流式传输数据到 ClickHouse Cloud。
AWS MSK流式传输稳定配置 ClickPipes 并开始从 AWS MSK 摄取流式传输数据到 ClickHouse Cloud。
Azure 事件中心流式传输稳定配置 ClickPipes 并开始从 Azure 事件中心摄取流式传输数据到 ClickHouse Cloud。
WarpStream流式传输稳定配置 ClickPipes 并开始从 WarpStream 摄取流式传输数据到 ClickHouse Cloud。
Amazon S3对象存储稳定配置 ClickPipes 以从对象存储摄取大量数据。
Google Cloud Storage对象存储稳定配置 ClickPipes 以从对象存储摄取大量数据。
Amazon Kinesis流式传输稳定配置 ClickPipes 并开始从 Amazon Kinesis 摄取流式传输数据到 ClickHouse Cloud。

ClickPipes 将添加更多连接器，您可以通过联系我们了解更多信息。

静态 IP 列表​

以下是 ClickPipes 用于连接到 Kafka 代理的静态 NAT IP，按区域划分。将您的相关实例区域 IP 添加到您的 IP 允许列表以允许流量。如果您的实例区域未列在此处，则将使用默认区域

  • eu-central-1 用于 EU 区域
  • us-east-1 用于 us-east-1 中的实例
  • us-east-2 用于所有其他区域
ClickHouse Cloud 区域IP 地址
eu-central-118.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40
us-east-23.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180
us-east-154.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150

调整 ClickHouse 设置​

ClickHouse Cloud 为大多数用例提供了合理的默认值。但是，如果您需要调整 ClickPipes 目标表的某些 ClickHouse 设置，则为 ClickPipes 创建专用角色是最灵活的解决方案。步骤

  1. 创建一个自定义角色 CREATE ROLE my_clickpipes_role SETTINGS ...。有关详细信息，请参阅CREATE ROLE 语法。
  2. 在创建 ClickPipes 期间，在“详细信息和设置”步骤中将自定义角色添加到 ClickPipes 用户。 分配自定义角色

错误报告​

ClickPipes 将在您的目标表旁边创建一个表，后缀为 <destination_table_name>_clickpipes_error。此表将包含来自您的 ClickPipe 操作（网络、连接等）的任何错误，以及任何不符合架构的数据。错误表具有TTL 为 7 天。如果 ClickPipes 在 15 分钟后无法连接到数据源或目标，ClickPipes 实例将停止并在错误表中存储一条适当的消息（前提是 ClickHouse 实例可用）。

常见问题解答​

  • 什么是 ClickPipes？

    ClickPipes 是 ClickHouse Cloud 的一项功能，使用户能够轻松地将他们的 ClickHouse 服务连接到外部数据源，特别是 Kafka。使用 ClickPipes for Kafka，用户可以轻松地将数据持续加载到 ClickHouse 中，使其可用于实时分析。

  • ClickPipes 支持哪些类型的数据源？

    目前，ClickPipes 支持 Confluent Cloud、AWS MSK 和 Apache Kafka 作为数据源。但是，我们致力于在将来扩展对更多数据源的支持。如果您想了解更多信息，请随时联系我们。

  • ClickPipes 支持数据转换吗？

    是的，ClickPipes 通过公开 DDL 创建来支持基本的数据转换。然后，您可以利用 ClickHouse 的物化视图功能，对数据加载到 ClickHouse Cloud 服务中的目标表时进行更高级的转换。

  • 使用 ClickPipes 会产生额外费用吗？

    目前，ClickPipes 不单独收费。运行 ClickPipes 可能会在目标 ClickHouse Cloud 服务上产生间接的计算和存储成本，就像任何摄取工作负载一样。

  • 在使用 ClickPipes for Kafka 时，有没有办法处理错误或故障？

    是的，ClickPipes for Kafka 将在从 Kafka 消费数据时自动重试故障情况。ClickPipes 还支持启用专用错误表，该错误表将保存 7 天的错误和格式错误的数据。