ClickPipes 支持 AWS 上的跨 VPC 资源访问！

今天，我们自豪地宣布 ClickPipes 现在支持 AWS 的新方式，即使用 AWS PrivateLink 和 VPC Lattice 为各个数据源提供私有的单向连接。

支持这项新的 PrivateLink 功能恰逢我们最近获得 AWS PrivateLink Service Ready Partner 认证状态。我们与 AWS 团队一起经历了严格的验证过程，以证明我们的技术能力、解决方案验证和安全流程，因此您可以确信集成是稳健的。

ClickPipes 是我们的持续数据摄取服务，专为 ClickHouse Cloud 设计。它连接您的外部数据源，如 Amazon MSK、Amazon S3 或 Amazon Kinesis，使您能够快速高效地设置稳健且可扩展的数据管道，将数据导入您的 ClickHouse 服务。自成立以来，ClickPipes 一直为 AWS PrivateLink 提供支持，以满足希望避免数据和网络流量通过公共互联网的客户的需求。

带有负载均衡器的 AWS PrivateLink 架构

借助 AWS PrivateLink 和 VPC Lattice 实现跨 VPC 资源访问，具有减少所需资源量的额外好处，因为您不再需要负载均衡器（ALB/NLB）来利用与 ClickPipes 共享数据。

这项新功能利用 AWS PrivateLink VPC 端点和 VPC Lattice 来跨 VPC 和账户共享和访问资源。

不带负载均衡器的 AWS PrivateLink 架构

资源所有者可以从其 VPC 共享特定资源，而不会将其 VPC 中的任何其他资源暴露给资源使用者。资源使用者可以私下访问另一个 VPC/账户中的共享资源。

借助此功能，您可以跨 VPC 和账户边界连接您的各个资源，甚至可以从本地网络*连接，并享受 AWS PrivateLink 的隐私和安全优势。

ClickPipes 使用 AWS PrivateLink 和 VPC Lattice 进行跨 VPC 资源访问

为了开始使用通过 AWS PrivateLink 和 VPC Lattice 共享的 AWS MSK，您需要执行以下步骤

1. 创建一个资源网关 (Resource-Gateway) 以允许访问您的 VPC
2. 提供一个资源配置 (Resource-Configuration) 以指定应共享哪个资源
3. 与 ClickHouse 共享资源配置，以便与 ClickPipes 一起使用

为了共享 VPC 内的资源，您需要创建一个资源网关。以下命令将创建资源网关。

aws vpc-lattice create-resource-gateway \ 
--vpc-identifier <VPC_ID> \
--subnet-ids <SUBNET_IDS> \ 
--security-group-ids <SG_IDs> \
--name <NAME> 

在继续之前，您需要等待资源网关进入“活动”状态。您可以通过运行以下命令来检查状态

aws vpc-lattice get-resource-gateway \
--resource-gateway-identifier <RESOURCE_GATEWAY_ID> 

要共享您的资源，您需要创建一个资源配置，该配置将由资源网关使用。

您可以创建一个资源配置，该配置可以共享 IP 地址或公开可解析的域名。

此简单设置将重点关注提供单个资源配置进行共享，如果您想配置组/子资源配置，请参阅我们的文档。

aws vpc-lattice get-resource-gateway \
--resource-gateway-identifier <RESOURCE_GATEWAY_ID> 

该命令的输出将提供“资源配置 ARN”，您将在下一步中使用它并替换 <VPC_RESOURCE_CONFIGURATION_ARN> 变量。

共享您的资源需要将资源配置与 ClickPipes 共享，这通过 Resource Access Manager (RAM) 实现。

以下命令会将资源配置放入资源共享 (Resource-Share) 中，使 ClickHouse 能够在您与我们共享您的资源所有者账户 ID 后访问您的资源。

aws ram create-resource-share \
--principals 072088201116 \
--resource-arns "<VPC_RESOURCE_CONFIGURATION_ARN>" \
--name "<RESOURCE_SHARE_NAME>"

ClickPipes 团队将需要共享资源所有者账户 ID。您可以在 AWS 控制台 中或通过运行以下 CLI 命令找到它

aws sts get-caller-identity \
--query Account \
--output text

如果数据源（例如 Kafka broker）需要私有 DNS 设置，请在您的支持请求中与 ClickPipes 团队共享主机名。

我们很高兴让我们的用户开始使用跨 VPC 资源访问。如果您想开始将此功能与 ClickPipes 一起使用，请通过 ClickHouse 控制台提交支持工单，并提供资源所有者账户 ID。

* 为了将 PrivateLink 资源端点连接到本地资源，需要 Direct Connect 或 VPN 连接