Kafka

将 ClickHouse Cloud 与 Apache Kafka 集成的选项包括

• Kafka Connect - Kafka Connect 是 Apache Kafka® 的免费开源组件，充当 Kafka 和其他数据系统之间简单数据集成的中心数据枢纽。 这是我们在此处详细介绍的选项。
• Vector - Vector 是一个供应商中立的数据管道。 凭借从 Kafka 读取和向 ClickHouse 发送事件的能力，这代表了一个强大的集成选项。

Confluent Platform 是一个全面的数据流平台，使您能够轻松访问、存储和管理数据，如同连续的实时流。
Confluent 解决方案以本地部署和云解决方案的形式提供。
ClickHouse Cloud 仅支持本地部署，并通过使用 JdbcSinkConnector 启用。

• 安装 Confluent - 我们推荐 Confluent Platform 快速入门

• 安装 ClickHouse-JDBC 驱动程序 - 将最新版本的 ClickHouse-JDBC 版本下载到 Confluent 目录中。

      wget https://repo1.maven.org/maven2/com/clickhouse/clickhouse-jdbc/0.3.2-   patch11/clickhouse-jdbc-0.3.2-patch11.jar
  

• 启动 Confluent 实例。

• 在 ClickHouse 中创建数据库和表

• 创建一个 Kafka 主题，我们的 JdbcSinkConnector 可以从中拉取消息。 称之为 ClickHouse Cloud

• 使用此配置创建一个新的 JdbcSinkConnector，并提供端点、密码和用户名属性

  {
    "name": "JdbcSinkConnectorConnector_0",
    "config": {
      "name": "JdbcSinkConnectorConnector_0",
      "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
      "key.converter": "org.apache.kafka.connect.storage.StringConverter",
      "topics": "test_v1",
      "connection.url": "jdbc:clickhouse://<host>:8443/default?ssl=true",
      "connection.user": "default",
      "connection.password": "<password>",
      "dialect.name": "GenericDatabaseDialect",
      "auto.create": "false"
    }
  }
  

• 按下 启动，数据将开始流动！