跳到主要内容
跳到主要内容

Cloud 更新日志

除了此 ClickHouse Cloud 更新日志外,另请参阅 Cloud 兼容性 页面。

2024 年 12 月 20 日

Marketplace 订阅组织附件

您现在可以将新的 marketplace 订阅附加到现有的 ClickHouse Cloud 组织。完成 marketplace 订阅并重定向到 ClickHouse Cloud 后,您可以将过去创建的现有组织连接到新的 marketplace 订阅。从那时起,您组织中的资源将通过 marketplace 计费。 

Add marketplace subscription

强制 OpenAPI 密钥过期

现在可以限制 API 密钥的过期选项,这样您就不会创建永不过期的 OpenAPI 密钥。请联系 ClickHouse Cloud 支持团队,为您的组织启用这些限制。

自定义通知邮件

组织管理员现在可以向特定通知添加更多电子邮件地址作为额外的收件人。如果您想将通知发送到别名或组织内可能不是 ClickHouse Cloud 用户的其他用户,这将非常有用。要配置此项,请从云控制台转到“通知设置”,然后编辑您想要接收电子邮件通知的电子邮件地址。  

2024 年 12 月 6 日

BYOC(Beta 版)

Bring Your Own Cloud for AWS 现已推出 Beta 版。这种部署模型允许您在自己的 AWS 账户中部署和运行 ClickHouse Cloud。我们支持在 11 个以上的 AWS 区域进行部署,更多区域即将推出。请联系支持以获取访问权限。请注意,此部署专为大规模部署而保留。

ClickPipes 中的 Postgres 变更数据捕获 (CDC) 连接器(私有预览版)

此统包集成使客户只需点击几下即可将其 Postgres 数据库复制到 ClickHouse Cloud,并利用 ClickHouse 实现极速分析。您可以将此连接器用于从 Postgres 进行的持续复制和一次性迁移。请注册私有预览版访问权限

仪表板(Beta 版)

本周,我们很高兴宣布在 ClickHouse Cloud 中推出仪表板的 Beta 版。借助仪表板,用户可以将已保存的查询转换为可视化效果,将可视化效果组织到仪表板上,并使用查询参数与仪表板进行交互。要开始使用,请按照仪表板文档进行操作。

Dashboards Beta

查询 API 端点 (GA)

我们很高兴宣布 ClickHouse Cloud 中查询 API 端点的 GA 版本。查询 API 端点允许您只需点击几下即可为已保存的查询启动 RESTful API 端点,并开始在应用程序中使用数据,而无需处理语言客户端或身份验证复杂性。自首次发布以来,我们进行了一些改进,包括

  • 降低端点延迟,尤其是对于冷启动
  • 增强的端点 RBAC 控制
  • 可配置的 CORS 允许的域
  • 结果流式传输
  • 支持所有 ClickHouse 兼容的输出格式

除了这些改进之外,我们还很高兴宣布通用查询 API 端点,它利用我们现有的框架,允许您针对您的 ClickHouse Cloud 服务执行任意 SQL 查询。可以从服务设置页面启用和配置通用端点。

要开始使用,请按照查询 API 端点文档进行操作。

API Endpoints

原生 JSON 支持(Beta 版)

我们正在为 ClickHouse Cloud 中的原生 JSON 支持启动 Beta 版。要开始使用,请联系支持以启用您的云服务

使用向量相似性索引的向量搜索(早期访问权限)

我们正在宣布用于近似向量搜索的向量相似性索引的早期访问权限!

ClickHouse 已经为基于向量的用例提供了强大的支持,具有广泛的[距离函数]https://clickhouse.ac.cn/blog/reinvent-2024-product-announcements#vector-search-using-vector-similarity-indexes-early-access) 以及执行线性扫描的能力。此外,最近,我们添加了一个实验性的近似向量搜索方法,该方法由 usearch 库和分层可导航小世界 (HNSW) 近似最近邻搜索算法提供支持。

要开始使用,请注册早期访问候补名单

ClickHouse-Connect (Python) 和 ClickHouse-Kafka-Connect 用户

已向遇到客户端可能遇到 MEMORY_LIMIT_EXCEEDED 异常问题的客户发送了通知邮件。

请升级到

  • Kafka-Connect:> 1.2.5
  • ClickHouse-Connect (Java):> 0.8.6

ClickPipes 现在支持 AWS 上的跨 VPC 资源访问

您现在可以授予对特定数据源(如 AWS MSK)的单向访问权限。借助 AWS PrivateLink 和 VPC Lattice 的跨 VPC 资源访问,您可以在 VPC 和账户边界之间,甚至从本地网络共享单个资源,而不会在通过公共网络时损害隐私和安全性。要开始使用并设置资源共享,您可以阅读公告帖子

VPC ClickPipes

ClickPipes 现在支持 AWS MSK 的 IAM

您现在可以使用 IAM 身份验证连接到具有 AWS MSK ClickPipes 的 MSK 代理。要开始使用,请查看我们的文档

AWS 上新服务的最大副本大小

从现在开始,在 AWS 上创建的任何新服务都将允许最大可用副本大小为 236 GiB。

2024 年 11 月 22 日

ClickHouse Cloud 的内置高级可观测性仪表板

以前,允许您监控 ClickHouse 服务器指标和硬件资源利用率的高级可观测性仪表板仅在开源 ClickHouse 中可用。我们很高兴地宣布,此功能现在已在 ClickHouse Cloud 控制台中提供!

此仪表板允许您在一体化 UI 中查看基于 system.dashboards 表的查询。立即访问监控 > 服务运行状况页面开始使用高级可观测性仪表板。

Advanced Observability Dashboard

AI 驱动的 SQL 自动完成

我们显著改进了自动完成功能,允许您在使用新的 AI Copilot 编写查询时获得内联 SQL 完成建议!可以通过为任何 ClickHouse Cloud 服务切换 “启用内联代码完成” 设置来启用此功能。

AI Copilot SQL autocomplete

新的“账单”角色

您现在可以将组织中的用户分配到新的账单角色,该角色允许他们查看和管理账单信息,而无需让他们配置或管理服务。只需邀请新用户或编辑现有用户的角色即可分配账单角色。

2024 年 11 月 8 日

ClickHouse Cloud 中的客户通知

ClickHouse Cloud 现在为多个账单和扩展事件提供控制台内和电子邮件通知。客户可以通过云控制台通知中心配置这些通知,使其仅显示在 UI 上、接收电子邮件或两者都接收。您可以配置在服务级别接收的通知的类别和严重性。

将来,我们将为其他事件添加通知,以及接收通知的其他方式。

请参阅 ClickHouse 文档,详细了解如何为您的服务启用通知。

Customer notifications UI

2024 年 10 月 4 日

ClickHouse Cloud 现在为 GCP 上的 HIPAA-ready 服务提供 Beta 版

寻求增强受保护健康信息 (PHI) 安全性的客户现在可以在 Google Cloud Platform (GCP) 上加入 ClickHouse Cloud。ClickHouse 已实施 HIPAA 安全规则规定的管理、物理和技术保障措施,现在具有可配置的安全设置,可以根据您的特定用例和工作负载实施这些设置。有关可用安全设置的更多信息,请查看我们的安全共同责任模型

服务在 GCP us-central-1 中向具有专用服务类型的客户提供,并且需要业务伙伴协议 (BAA)。联系销售支持以请求访问此功能或加入其他 GCP、AWS 和 Azure 区域的候补名单。

计算-计算分离现在在 GCP 和 Azure 中提供私有预览版

我们最近宣布了 AWS 的计算-计算分离的私有预览版。我们很高兴地宣布,它现在可用于 GCP 和 Azure。

计算-计算分离允许您将特定服务指定为读写或只读服务,从而允许您为应用程序设计最佳计算配置,以优化成本和性能。请阅读文档了解更多详细信息。

自助式 MFA 恢复代码

使用多因素身份验证的客户现在可以获得恢复代码,这些代码可以在手机丢失或意外删除令牌时使用。首次注册 MFA 的客户将在设置时获得代码。现有 MFA 客户可以通过删除其现有 MFA 令牌并添加新令牌来获得恢复代码。

ClickPipes 更新:自定义证书、延迟洞察等!

我们很高兴分享 ClickPipes 的最新更新,这是将数据摄取到 ClickHouse 服务的最简单方法!这些新功能旨在增强您对数据摄取的控制,并提供对性能指标的更高可见性。

Kafka 的自定义身份验证证书

用于 Kafka 的 ClickPipes 现在支持使用 SASL 和公共 SSL/TLS 的 Kafka 代理的自定义身份验证证书。您可以在 ClickPipe 设置期间轻松地在 SSL 证书部分上传您自己的证书,从而确保与 Kafka 建立更安全的连接。

Kafka 和 Kinesis 的延迟指标简介

性能可见性至关重要。ClickPipes 现在具有延迟图,让您深入了解消息生成(无论是来自 Kafka 主题还是 Kinesis 流)到 ClickHouse Cloud 中摄取之间的时间。借助这一新指标,您可以更密切地关注数据管道的性能并进行相应的优化。

Latency Metrics graph

Kafka 和 Kinesis 的扩展控制(私有 Beta 版)

高吞吐量可能需要额外的资源来满足您的数据量和延迟需求。我们正在为 ClickPipes 引入水平扩展,可直接通过我们的云控制台使用。此功能目前处于私有 Beta 版,允许您根据您的需求更有效地扩展资源。请联系支持以加入 Beta 版。

Kafka 和 Kinesis 的原始消息摄取

现在可以摄取整个 Kafka 或 Kinesis 消息而无需解析它。ClickPipes 现在支持 _raw_message 虚拟列,允许用户将完整消息映射到单个 String 列中。这使您可以灵活地根据需要处理原始数据。

2024 年 8 月 29 日

新的 Terraform 提供程序版本 - v1.0.0

Terraform 允许您以编程方式控制 ClickHouse Cloud 服务,然后将您的配置存储为代码。我们的 Terraform 提供程序已下载近 200,000 次,现在正式发布 v1.0.0!这个新版本包括改进,例如更好的重试逻辑和一个新资源,用于将私有端点附加到您的 ClickHouse Cloud 服务。您可以在此处下载 Terraform 提供程序,并在此处查看完整更新日志

2024 SOC 2 Type II 报告和更新的 ISO 27001 证书

我们很自豪地宣布我们的 2024 SOC 2 Type II 报告和更新的 ISO 27001 证书已发布,这两者都包括我们最近在 Azure 上推出的服务以及对 AWS 和 GCP 中服务的持续覆盖。

我们的 SOC 2 Type II 证明了我们对实现我们为 ClickHouse 用户提供的服务的安全性、可用性、处理完整性和机密性的持续承诺。有关更多信息,请查看美国注册会计师协会 (AICPA) 发布的 SOC 2 - 服务组织 SOC:信任服务标准 和国际标准组织 (ISO) 发布的 什么是 ISO/IEC 27001

另请查看我们的 信任中心,了解安全性和合规性文档和报告。

2024 年 8 月 15 日

计算-计算分离现在在 AWS 中提供私有预览版

对于现有的 ClickHouse Cloud 服务,副本同时处理读取和写入,并且无法将某个副本配置为仅处理一种操作。我们即将推出一项名为计算-计算分离的新功能,该功能允许您将特定服务指定为读写或只读服务,从而允许您为应用程序设计最佳计算配置,以优化成本和性能。

我们新的计算-计算分离功能使您能够创建多个计算节点组,每个节点组都有自己的端点,这些端点使用相同的对象存储文件夹,因此具有相同的表、视图等。阅读有关 计算-计算分离 的更多信息。如果您想在私有预览版中访问此功能,请联系支持

Example architecture for compute-compute separation

用于 S3 和 GCS 的 ClickPipes 现已 GA,支持连续模式

ClickPipes 是将数据摄取到 ClickHouse Cloud 的最简单方法。我们很高兴地宣布,用于 S3 和 GCS 的 ClickPipes 现已正式发布。ClickPipes 支持一次性批量摄取和“连续模式”。摄取任务将从特定的远程存储桶中加载与模式匹配的所有文件到 ClickHouse 目标表中。在“连续模式”下,ClickPipes 作业将持续运行,摄取添加到远程对象存储桶中的匹配文件(随着它们的到达)。这将允许用户将任何对象存储桶变成用于将数据摄取到 ClickHouse Cloud 的成熟暂存区。在我们的文档中阅读有关 ClickPipes 的更多信息。

2024 年 7 月 18 日

指标的 Prometheus 端点现已正式发布

在我们上次的 Cloud 更新日志中,我们宣布了从 ClickHouse Cloud 导出 Prometheus 指标的私有预览版。此功能允许您使用 ClickHouse Cloud API 将您的指标获取到 GrafanaDatadog 等工具中进行可视化。我们很高兴地宣布,此功能现已正式发布。请参阅我们的文档以了解有关此功能的更多信息。

云控制台中的表检查器

ClickHouse 具有 DESCRIBE 等命令,允许您自省表以检查架构。这些命令输出到控制台,但它们通常不方便使用,因为您需要组合多个查询才能检索有关表和列的所有相关数据。

我们最近在云控制台中启动了一个 表检查器,它允许您在 UI 中检索重要的表和列信息,而无需编写 SQL。您可以通过查看云控制台来试用您服务的表检查器。它在一个统一的界面中提供有关您的架构、存储、压缩等的信息。

Table Inspector UI

新的 Java 客户端 API

我们的 Java 客户端 是用户用来连接到 ClickHouse 的最流行的客户端之一。我们希望使其更易于使用且更直观,包括重新设计的 API 和各种性能优化。这些更改将使从您的 Java 应用程序连接到 ClickHouse 变得更加容易。您可以在这篇 博客文章中阅读有关如何使用更新后的 Java 客户端的更多信息。

默认启用新分析器

在过去几年中,我们一直在开发一个新的分析器,用于查询分析和优化。此分析器可提高查询性能,并将使我们能够进行进一步的优化,包括更快、更高效的 JOIN。以前,新用户需要使用设置 allow_experimental_analyzer 启用此功能。现在,新的 ClickHouse Cloud 服务默认提供此改进的分析器。

请继续关注分析器的更多改进,因为我们计划了更多的优化!

2024 年 6 月 28 日

Microsoft Azure 版 ClickHouse Cloud 现已正式发布!

我们最早在 今年五月 宣布了对 Microsoft Azure 的 Beta 支持。在此最新的云版本中,我们很高兴地宣布,我们对 Azure 的支持正在从 Beta 过渡到正式发布 (Generally Available)。ClickHouse Cloud 现在已在所有三大主要云平台 AWS、Google Cloud Platform 和 Microsoft Azure 上提供。

此版本还包括通过 Microsoft Azure Marketplace 订阅的支持。该服务最初将在以下区域提供支持:

  • 美国:美西 3(亚利桑那州)
  • 美国:美东 2(弗吉尼亚州)
  • 欧洲:德国中西部(法兰克福)

如果您希望支持任何特定区域,请联系我们

查询日志洞察

我们在 Cloud Console 中新的查询洞察 UI 使 ClickHouse 内置的查询日志更易于使用。ClickHouse 的 system.query_log 表是查询优化、调试和监控整体集群健康和性能的关键信息来源。只有一个注意事项:查询日志包含 70 多个字段,并且每个查询有多条记录,因此解读查询日志的学习曲线陡峭。此初始版本的查询洞察为未来简化查询调试和优化模式的工作提供了蓝图。我们希望听到您对我们不断迭代此功能的反馈,因此请联系我们——您的意见将不胜感激!

Query Insights UI

Prometheus 指标端点(私有预览版)

也许是我们最受请求的功能之一:您现在可以将 Prometheus 指标从 ClickHouse Cloud 导出到 GrafanaDatadog 以进行可视化。Prometheus 提供了一个开源解决方案,用于监控 ClickHouse 并设置自定义警报。通过 ClickHouse Cloud API 可以访问您的 ClickHouse Cloud 服务的 Prometheus 指标。此功能目前处于私有预览阶段。请联系支持团队,为您的组织启用此功能。

Prometheus Metrics with Grafana

其他功能:

  • 可配置备份,用于配置自定义备份策略,如频率、保留期和计划,现已正式发布。

2024 年 6 月 13 日

Kafka ClickPipes 连接器的可配置偏移量(Beta 版)

直到最近,每当您为 ClickPipes 设置新的 Kafka 连接器 时,它总是从 Kafka 主题的开头开始消费数据。在这种情况下,当您需要重新处理历史数据、监控新的传入数据或从精确的点恢复时,它可能不够灵活,无法满足特定的用例。

Kafka 版 ClickPipes 增加了一项新功能,增强了从 Kafka 主题消费数据的灵活性和控制力。您现在可以配置从哪个偏移量开始消费数据。

以下选项可用:

  • 从头开始:从 Kafka 主题的最开始处开始消费数据。此选项非常适合需要重新处理所有历史数据的用户。
  • 从最新位置开始:从最新的偏移量开始消费数据。这对于只对新消息感兴趣的用户非常有用。
  • 从时间戳开始:从在特定时间戳或之后生成的消息开始消费数据。此功能允许更精确的控制,使用户能够从时间轴上的确切点恢复处理。
Configure offsets for Kafka connector

将服务注册到快速发布通道

快速发布通道允许您的服务在发布计划之前接收更新。以前,此功能需要支持团队的协助才能启用。现在,您可以使用 ClickHouse Cloud 控制台直接为您的服务启用此功能。只需导航到设置,然后单击注册快速发布。您的服务现在将在更新可用后立即收到更新!

Enroll in Fast releases

Terraform 支持水平扩展

ClickHouse Cloud 支持水平扩展,或向您的服务添加相同大小的额外副本的功能。水平扩展提高了性能和并行化,以支持并发查询。以前,添加更多副本需要使用 ClickHouse Cloud 控制台或 API。现在,您可以使用 Terraform 从您的服务添加或删除副本,从而允许您根据需要以编程方式扩展您的 ClickHouse 服务。

有关更多信息,请参阅 ClickHouse Terraform provider

2024 年 5 月 30 日

与您的队友共享查询

当您编写 SQL 查询时,您的团队中的其他人很可能也会发现该查询有用。以前,您必须通过 Slack 或电子邮件发送查询,并且如果编辑查询,队友将无法自动接收该查询的更新。

我们很高兴地宣布,您现在可以通过 ClickHouse Cloud 控制台轻松共享查询。从查询编辑器中,您可以直接与您的整个团队或特定的团队成员共享查询。您还可以指定他们是否具有只读或读写访问权限。单击查询编辑器中的共享按钮,试用新的共享查询功能。

Share queries

Microsoft Azure 版 ClickHouse Cloud 现已推出 Beta 版

我们终于推出了在 Microsoft Azure 上创建 ClickHouse Cloud 服务的功能!我们已经有许多客户在我们的私有预览计划中使用 Azure 上的 ClickHouse Cloud 进行生产。现在,任何人都可以 Azure 上创建自己的服务。您在 AWS 和 GCP 上支持的所有您喜爱的 ClickHouse 功能也将在 Azure 上工作。

我们预计 Microsoft Azure 版 ClickHouse Cloud 将在未来几周内准备好正式发布。阅读此博客文章以了解更多信息,或通过 ClickHouse Cloud 控制台使用 Azure 创建您的新服务。

注意:目前不支持 Azure 的 开发 服务。

我们的 Private Link 功能允许您将 ClickHouse Cloud 服务与云提供商帐户中的内部服务连接,而无需将流量定向到公共互联网,从而节省成本并增强安全性。以前,这很难设置,并且需要使用 ClickHouse Cloud API。

您现在只需点击几下即可直接从 ClickHouse Cloud 控制台配置私有端点。只需转到您服务的设置,转到安全部分,然后单击设置私有端点

Set up private endpoint

2024 年 5 月 17 日

使用 ClickPipes 从 Amazon Kinesis 摄取数据(Beta 版)

ClickPipes 是 ClickHouse Cloud 提供的一项独家服务,无需代码即可摄取数据。Amazon Kinesis 是 AWS 的完全托管的流服务,用于摄取和存储数据流以进行处理。我们很高兴推出 Amazon Kinesis 的 ClickPipes Beta 版,这是我们最受请求的集成之一。我们正在寻求向 ClickPipes 添加更多集成,因此请告知我们您希望我们支持哪些数据源!在此处阅读有关此功能的更多信息 here

您可以在云控制台中试用 Amazon Kinesis 和 ClickPipes 的新集成

Amazon Kinesis on ClickPipes

可配置备份(私有预览版)

备份对于每个数据库(无论多么可靠)都很重要,自 ClickHouse Cloud 成立之初,我们就非常重视备份。本周,我们推出了可配置备份,这为您的服务的备份提供了更大的灵活性。您现在可以控制开始时间、保留期和频率。此功能适用于 ProductionDedicated 服务,不适用于 Development 服务。由于此功能处于私有预览阶段,请联系 [email protected] 以便为您的服务启用此功能。在此处阅读有关可配置备份的更多信息 here

从您的 SQL 查询创建 API(Beta 版)

当您为 ClickHouse 编写 SQL 查询时,您仍然需要通过驱动程序连接到 ClickHouse,才能将您的查询公开给您的应用程序。现在,借助我们新的 Query Endpoints 功能,您可以直接从 API 执行 SQL 查询,而无需任何配置。您可以指定查询端点以返回 JSON、CSV 或 TSV。单击云控制台中的“共享”按钮,试用此新功能和您的查询。在此处阅读有关 Query Endpoints 的更多信息 here

Configure query endpoints

官方 ClickHouse 认证现已推出

ClickHouse Develop 培训课程中有 12 个免费培训模块。在本周之前,还没有官方方法来证明您在 ClickHouse 中的掌握程度。我们最近推出了官方考试,成为 ClickHouse 认证开发人员。完成此考试后,您可以向当前和未来的雇主分享您在 ClickHouse 方面的掌握程度,包括数据摄取、建模、分析、性能优化等主题。您可以在此处参加考试,或在此博客文章中阅读有关 ClickHouse 认证的更多信息。

2024 年 4 月 25 日

使用 ClickPipes 从 S3 和 GCS 加载数据

您可能已经在我们新发布的云控制台中注意到,有一个名为“数据源”的新部分。“数据源”页面由 ClickPipes 提供支持,ClickPipes 是 ClickHouse Cloud 的一项原生功能,可让您轻松地将来自各种来源的数据插入到 ClickHouse Cloud 中。

我们最新的 ClickPipes 更新功能包括能够直接从 Amazon S3 和 Google Cloud Storage 上传数据。虽然您仍然可以使用我们的内置表函数,但 ClickPipes 是一个完全托管的服务,通过我们的 UI,您只需点击几下即可从 S3 和 GCS 摄取数据。此功能仍处于私有预览阶段,但您今天可以通过云控制台试用。

ClickPipes S3 and GCS

使用 Fivetran 将来自 500 多个来源的数据加载到 ClickHouse Cloud

ClickHouse 可以快速查询您的所有大型数据集,但当然,您的数据必须首先插入到 ClickHouse 中。得益于 Fivetran 全面的连接器范围,用户现在可以快速加载来自 500 多个来源的数据。无论您需要从 Zendesk、Slack 还是任何您喜爱的应用程序加载数据,新的 Fivetran ClickHouse 目标现在都允许您将 ClickHouse 用作应用程序数据的目标数据库。

这是一个开源集成,由我们的集成团队经过数月的辛勤工作构建而成。您可以在此处查看我们的 发布博客文章GitHub 存储库

其他更改

控制台更改

  • SQL 控制台中的输出格式支持

集成更改

  • ClickPipes Kafka 连接器支持多 Broker 设置
  • PowerBI 连接器支持提供 ODBC 驱动程序配置选项。

2024 年 4 月 18 日

AWS 东京区域现已可用于 ClickHouse Cloud

此版本为 ClickHouse Cloud 引入了新的 AWS 东京区域 (ap-northeast-1)。因为我们希望 ClickHouse 成为最快的数据库,所以我们不断为每个云添加更多区域,以尽可能减少延迟。您可以在更新后的云控制台中在东京创建您的新服务。

Create Tokyo Service

其他更改

控制台更改

  • ClickPipes for Kafka 的 Avro 格式支持现已正式发布
  • 为 Terraform provider 实现对导入资源(服务和私有端点)的完全支持

集成更改

  • NodeJS 客户端主要稳定版本:对查询 + ResultSet 的高级 TypeScript 支持,URL 配置
  • Kafka 连接器:修复了忽略写入 DLQ 时异常的错误,增加了对 Avro Enum 类型的支持,发布了在 MSKConfluent Cloud 上使用连接器的指南
  • Grafana:修复了 UI 中 Nullable 类型支持,修复了对动态 OTEL 跟踪表名称的支持
  • DBT:修复了自定义物化模型的模型设置。
  • Java 客户端:修复了错误代码解析不正确的错误
  • Python 客户端:修复了数字类型的参数绑定,修复了查询绑定中数字列表的错误,增加了 SQLAlchemy Point 支持。

2024 年 4 月 4 日

推出新的 ClickHouse Cloud Console

此版本为新的云控制台引入了私有预览版。

在 ClickHouse,我们不断思考如何改善开发人员体验。我们认识到,仅仅提供最快的实时数据仓库是不够的,它还需要易于使用和管理。

每月有数千名 ClickHouse Cloud 用户在我们的 SQL 控制台上执行数十亿个查询,这就是为什么我们决定在世界一流的控制台上投入更多资金,使其比以往任何时候都更容易与您的 ClickHouse Cloud 服务进行交互。我们新的云控制台体验将我们的独立 SQL 编辑器与我们的管理控制台结合在一个直观的 UI 中。

精选客户将收到我们新的云控制台体验的预览版——一种统一且沉浸式的方式,用于探索和管理您在 ClickHouse 中的数据。如果您想优先访问,请通过 [email protected] 联系我们。

New Cloud Console

2024 年 3 月 28 日

此版本引入了对 Microsoft Azure 的支持、通过 API 进行水平扩展以及私有预览版中的发布通道。

常规更新

  • 引入了对 Microsoft Azure 的私有预览版支持。要获得访问权限,请联系客户经理或支持人员,或加入 候补名单
  • 引入了发布通道——根据环境类型指定升级时间的能力。在此版本中,我们添加了“fast”发布通道,使您能够在生产环境之前升级您的非生产环境(请联系支持人员以启用)。

管理更改

  • 增加了通过 API 进行水平扩展配置的支持(私有预览版,请联系支持人员以启用)
  • 改进了自动扩展功能,可以扩展启动时遇到内存不足错误的服务
  • 增加了通过 Terraform provider 对 AWS 的 CMEK 支持

控制台更改

  • 增加了对 Microsoft 社交登录的支持
  • 在 SQL 控制台中增加了参数化查询共享功能
  • 显著提高了查询编辑器性能(在某些欧盟地区,延迟从 5 秒降至 1.5 秒)

集成更改

  • ClickHouse OpenTelemetry 导出器:增加了对 ClickHouse 复制表引擎的支持,并 增加了集成测试
  • ClickHouse DBT 适配器:增加了对 字典的物化宏 的支持,TTL 表达式支持的测试
  • ClickHouse Kafka Connect Sink:增加了与 Kafka 插件发现的兼容性(社区贡献)
  • ClickHouse Java Client:为新的客户端 API 引入了 一个新软件包,并为云测试 增加了测试覆盖率
  • ClickHouse NodeJS Client:扩展了新 HTTP Keep-Alive 行为的测试和文档。自 v0.3.0 版本起可用
  • ClickHouse Golang Client:修复了 Map 中 Enum 作为键的错误;修复了错误连接留在连接池中的错误(社区贡献)
  • ClickHouse Python Client:增加了通过 PyArrow 进行查询流式传输的支持(社区贡献)

安全更新

2024 年 3 月 14 日

此版本在早期访问中提供了新的 Cloud Console 体验、用于从 S3 和 GCS 批量加载的 ClickPipes 以及 ClickPipes for Kafka 中对 Avro 格式的支持。它还将 ClickHouse 数据库版本升级到 24.1,带来了对新功能的支持以及性能和资源使用优化。

控制台更改

  • 新的 Cloud Console 体验在早期访问中可用(如果您有兴趣参与,请联系支持人员)。
  • 用于从 S3 和 GCS 批量加载的 ClickPipes 在早期访问中可用(如果您有兴趣参与,请联系支持人员)。
  • ClickPipes for Kafka 中对 Avro 格式的支持在早期访问中可用(如果您有兴趣参与,请联系支持人员)。

ClickHouse 版本升级

  • FINAL 优化、向量化改进、更快的聚合 - 有关详细信息,请参阅 23.12 版本博客
  • 用于处理 punycode、字符串相似度、检测异常值的新函数,以及用于合并和 Keeper 的内存优化 - 有关详细信息,请参阅 24.1 版本博客演示文稿
  • 此 ClickHouse 云版本基于 24.1,您可以看到数十个新功能、性能改进和错误修复。有关详细信息,请参阅核心数据库 更改日志

集成更改

  • Grafana:修复了 v4 的仪表板迁移、Ad-hoc 过滤逻辑
  • Tableau 连接器:修复了 DATENAME 函数和“real”参数的舍入
  • Kafka 连接器:修复了连接初始化中的 NPE,增加了指定 JDBC 驱动程序选项的能力
  • Golang 客户端:减少了处理响应的内存占用,修复了 Date32 极端值,修复了启用压缩时的错误报告
  • Python 客户端:改进了 datetime 参数中的时区支持,提高了 Pandas DataFrame 的性能

2024 年 2 月 29 日

此版本改进了 SQL 控制台应用程序加载时间,在 ClickPipes 中增加了对 SCRAM-SHA-256 身份验证的支持,并将嵌套结构支持扩展到 Kafka Connect。

控制台更改

  • 优化了 SQL 控制台应用程序的初始加载时间
  • 修复了导致“身份验证失败”错误的 SQL 控制台竞争条件
  • 修复了监控页面上最近内存分配值有时不正确的行为
  • 修复了 SQL 控制台有时发出重复 KILL QUERY 命令的行为
  • 在 ClickPipes 中增加了对基于 Kafka 的数据源的 SCRAM-SHA-256 身份验证方法的支持

集成更改

  • Kafka 连接器:扩展了对复杂嵌套结构(Array、Map)的支持;增加了对 FixedString 类型的支持;增加了对摄取到多个数据库的支持
  • Metabase:修复了与低于 23.8 版本的 ClickHouse 的不兼容性
  • DBT:增加了将设置传递给模型创建的功能
  • Node.js 客户端:增加了对长时间运行查询(>1 小时)和优雅处理空值的支持

2024 年 2 月 15 日

此版本升级了核心数据库版本,增加了通过 Terraform 设置私有链接的功能,并为通过 Kafka Connect 进行的异步插入增加了对精确一次语义的支持。

ClickHouse 版本升级

  • 用于从 S3 连续、计划加载数据的 S3Queue 表引擎已可用于生产环境 - 有关详细信息,请参阅 23.11 版本博客
  • FINAL 的显著性能改进和 SIMD 指令的向量化改进,从而加快了查询速度 - 有关详细信息,请参阅 23.12 版本博客
  • 此 ClickHouse 云版本基于 23.12,您可以看到数十个新功能、性能改进和错误修复。有关详细信息,请参阅 核心数据库更改日志

控制台更改

  • 增加了通过 Terraform provider 设置 AWS Private Link 和 GCP Private Service Connect 的能力
  • 提高了远程文件数据导入的弹性
  • 为所有数据导入添加了导入状态详细信息弹出窗口
  • 为 s3 数据导入添加了密钥/密钥凭证支持

集成更改

  • Kafka Connect
    • 支持 async_insert 以实现精确一次语义(默认禁用)
  • Golang 客户端
    • 修复了 DateTime 绑定
    • 提高了批量插入性能
  • Java 客户端
    • 修复了请求压缩问题

设置更改

  • use_mysql_types_in_show_columns 不再是必需的。当您通过 MySQL 接口连接时,它将自动启用。
  • async_insert_max_data_size 现在默认值为 10 MiB

2024 年 2 月 2 日

此版本带来了 Azure Event Hub 的 ClickPipes 可用性,使用 v4 ClickHouse Grafana 连接器极大地改进了日志和跟踪导航的工作流程,并首次支持 Flyway 和 Atlas 数据库模式管理工具。

控制台更改

  • 增加了对 Azure Event Hub 的 ClickPipes 支持
  • 新服务启动时默认空闲时间为 15 分钟

集成更改

  • 适用于 Grafana 的 ClickHouse 数据源 v4 版本发布
    • 完全重建了查询构建器,使其具有表、日志、时间序列和跟踪的专用编辑器
    • 完全重建了 SQL 生成器,以支持更复杂和动态的查询
    • 在日志和跟踪视图中增加了对 OpenTelemetry 的一流支持
    • 扩展了配置,允许为日志和跟踪指定默认表和列
    • 增加了指定自定义 HTTP 标头的功能
    • 以及更多改进 - 查看完整的 更新日志
  • 数据库模式管理工具
  • Kafka Connector Sink
    • 优化了使用默认值向表中摄取数据
    • 在 DateTime64 中增加了对基于字符串的日期的支持
  • Metabase
    • 增加了对连接到多个数据库的支持

2024 年 1 月 18 日

此版本在 AWS 中引入了新的区域(伦敦 / eu-west-2),增加了对 Redpanda、Upstash 和 Warpstream 的 ClickPipes 支持,并提高了 is_deleted 核心数据库功能的可靠性。

常规变更

  • 新的 AWS 区域:伦敦 (eu-west-2)

控制台变更

  • 增加了对 Redpanda、Upstash 和 Warpstream 的 ClickPipes 支持
  • 使 ClickPipes 身份验证机制在 UI 中可配置

集成变更

  • Java 客户端
    • 重大变更:移除了在调用中指定随机 URL 句柄的功能。此功能已从 ClickHouse 中移除
    • 弃用:Java CLI 客户端和 GRPC 包
    • 增加了对 RowBinaryWithDefaults 格式的支持,以减少 ClickHouse 实例上的批处理大小和工作负载(Exabeam 提出请求)
    • 使 Date32 和 DateTime64 范围边界与 ClickHouse 兼容,与 Spark Array 字符串类型和节点选择机制兼容
  • Kafka Connector:为 Grafana 添加了 JMX 监控仪表板
  • PowerBI:使 ODBC 驱动程序设置在 UI 中可配置
  • JavaScript 客户端:公开了查询摘要信息,允许为插入提供特定列的子集,使 web 客户端的 keep_alive 可配置
  • Python 客户端:为 SQLAlchemy 添加了 Nothing 类型支持

可靠性变更

  • 用户可见的向后不兼容变更:以前,两个功能(is_deletedOPTIMIZE CLEANUP)在某些条件下可能导致 ClickHouse 中的数据损坏。为了保护我们用户的数据完整性,同时保留功能的核心,我们调整了此功能的工作方式。具体来说,MergeTree 设置 clean_deleted_rows 现在已被弃用,并且不再有效。默认情况下不允许使用 CLEANUP 关键字(要使用它,您需要启用 allow_experimental_replacing_merge_with_cleanup)。如果您决定使用 CLEANUP,则需要确保它始终与 FINAL 一起使用,并且您必须保证在运行 OPTIMIZE FINAL CLEANUP 后不会插入版本较旧的行。

2023 年 12 月 18 日

此版本在 GCP 中引入了新的区域(us-east1),能够自助服务安全端点连接,支持包括 DBT 1.7 在内的更多集成,以及大量错误修复和安全增强。

常规变更

  • ClickHouse Cloud 现已在 GCP us-east1(南卡罗来纳州)区域推出
  • 启用通过 OpenAPI 设置 AWS Private Link 和 GCP Private Service Connect 的功能

控制台变更

  • 为具有开发人员角色的用户启用无缝登录到 SQL 控制台
  • 简化了入职期间设置空闲控制的工作流程

集成变更

  • DBT 连接器:增加了对高达 v1.7 的 DBT 的支持
  • Metabase:增加了对 Metabase v0.48 的支持
  • PowerBI Connector:增加了在 PowerBI Cloud 上运行的能力
  • 使 ClickPipes 内部用户的权限可配置
  • Kafka Connect
    • 改进了重复数据删除逻辑和 Nullable 类型的摄取。
    • 添加了对基于文本的格式(CSV、TSV)的支持
  • Apache Beam:添加了对 Boolean 和 LowCardinality 类型的支持
  • Nodejs 客户端:添加了对 Parquet 格式的支持

安全公告

  • 修补了 3 个安全漏洞 - 有关详细信息,请参阅安全变更日志
    • CVE 2023-47118 (CVSS 7.0) - 影响默认在端口 9000/tcp 上运行的本机接口的堆缓冲区溢出漏洞
    • CVE-2023-48704 (CVSS 7.0) - 影响默认在端口 9000/tcp 上运行的本机接口的堆缓冲区溢出漏洞
    • CVE 2023-48298 (CVSS 5.9) - FPC 压缩编解码器中的整数下溢漏洞

2023 年 11 月 22 日

此版本升级了核心数据库版本,改进了登录和身份验证流程,并为 Kafka Connect Sink 添加了代理支持。

ClickHouse 版本升级

  • 大幅提高了读取 Parquet 文件的性能。有关详细信息,请参阅23.8 版本博客
  • 增加了对 JSON 的类型推断支持。有关详细信息,请参阅23.9 版本博客
  • 引入了强大的面向分析师的功能,如 ArrayFold。有关详细信息,请参阅23.10 版本博客
  • 用户可见的向后不兼容变更:默认情况下禁用设置 input_format_json_try_infer_numbers_from_strings,以避免从 JSON 格式的字符串中推断数字。这样做可能会在示例数据包含类似于数字的字符串时创建可能的解析错误。
  • 数十个新功能、性能改进和错误修复。有关详细信息,请参阅核心数据库变更日志

控制台变更

  • 改进了登录和身份验证流程。
  • 改进了基于 AI 的查询建议,以更好地支持大型模式。

集成变更

  • Kafka Connect Sink:增加了代理支持、topic-tablename 映射以及 Keeper exactly-once 交付属性的可配置性。
  • Node.js 客户端:增加了对 Parquet 格式的支持。
  • Metabase:增加了 datetimeDiff 函数支持。
  • Python 客户端:增加了对列名中特殊字符的支持。修复了时区参数绑定。

2023 年 11 月 2 日

此版本为亚洲的开发服务增加了更多区域支持,为客户管理的加密密钥引入了密钥轮换功能,改进了计费控制台中税收设置的粒度,并修复了跨受支持语言客户端的许多错误。

常规更新

  • 开发服务现已在 AWS 中针对 ap-south-1(孟买)和 ap-southeast-1(新加坡)提供
  • 为客户管理的加密密钥 (CMEK) 添加了密钥轮换支持

控制台变更

  • 在添加信用卡时,增加了配置精细税收设置的功能

集成变更

  • MySQL
    • 改进了通过 MySQL 对 Tableau Online 和 QuickSight 的支持
  • Kafka Connector
    • 引入了新的 StringConverter 以支持基于文本的格式(CSV、TSV)
    • 增加了对 Bytes 和 Decimal 数据类型的支持
    • 调整了可重试异常,使其现在始终重试(即使 errors.tolerance=all 时也是如此)
  • Node.js 客户端
    • 修复了流式传输大型数据集时提供损坏结果的问题
  • Python 客户端
    • 修复了大型插入的超时问题
    • 修复了 NumPy/Pandas Date32 问题 ​​- Golang 客户端
    • 修复了将空 map 插入 JSON 列、压缩缓冲区清理、查询转义、IPv4 和 IPv6 的零/nil 上的 panic
    • 在取消的插入上添加了 watchdog
  • DBT
    • 改进了分布式表支持和测试

2023 年 10 月 19 日

此版本带来了 SQL 控制台中的可用性和性能改进、Metabase 连接器中更好的 IP 数据类型处理以及 Java 和 Node.js 客户端的新功能。

控制台变更

  • 提高了 SQL 控制台的可用性(例如,在查询执行之间保留列宽)
  • 提高了 SQL 控制台的性能

集成变更

  • Java 客户端
    • 切换了默认网络库以提高性能并重用打开的连接
    • 增加了代理支持
    • 增加了使用 Trust Store 的安全连接支持
  • Node.js 客户端:修复了插入查询的 keep-alive 行为
  • Metabase:修复了 IPv4/IPv6 列序列化

2023 年 9 月 28 日

此版本带来了 ClickPipes for Kafka、Confluent Cloud 和 Amazon MSK 以及 Kafka Connect ClickHouse Sink 的正式发布,通过 IAM 角色安全访问 Amazon S3 的自助服务工作流程,以及 AI 辅助的查询建议(私有预览)。

控制台变更

集成变更

  • 宣布正式发布 ClickPipes - 一项交钥匙数据摄取服务 - 用于 Kafka、Confluent Cloud 和 Amazon MSK(请参阅发布博客
  • Kafka Connect ClickHouse Sink 已正式发布
    • 扩展了使用 clickhouse.settings 属性自定义 ClickHouse 设置的支持
    • 改进了重复数据删除行为以考虑动态字段
    • 增加了对 tableRefreshInterval 的支持,以从 ClickHouse 重新获取表更改
  • 修复了 PowerBI 和 ClickHouse 数据类型之间的 SSL 连接问题和类型映射

2023 年 9 月 7 日

此版本带来了 PowerBI Desktop 官方连接器的 Beta 版发布、改进了印度的信用卡支付处理以及跨受支持语言客户端的多项改进。

控制台变更

  • 增加了剩余信用额度和付款重试以支持来自印度的收费

集成变更

  • Kafka Connector:增加了配置 ClickHouse 设置的支持,增加了 error.tolerance 配置选项
  • PowerBI Desktop:发布了官方连接器的 Beta 版本
  • Grafana:增加了对 Point geo 类型的支持,修复了数据分析师仪表板中的面板,修复了 timeInterval 宏
  • Python 客户端:兼容 Pandas 2.1.0,放弃了 Python 3.7 支持,增加了对可空 JSON 类型的支持
  • Node.js 客户端:增加了 default_format 设置支持
  • Golang 客户端:修复了 bool 类型处理,移除了字符串限制

2023 年 8 月 24 日

此版本增加了对 ClickHouse 数据库的 MySQL 接口的支持,引入了新的官方 PowerBI 连接器,在云控制台中添加了新的“正在运行的查询”视图,并将 ClickHouse 版本更新至 23.7。

常规更新

  • 增加了对 MySQL wire protocol 的支持,这(在其他用例中)实现了与许多现有 BI 工具的兼容性。请联系支持部门以启用您组织的此功能。
  • 引入了新的官方 PowerBI 连接器

控制台变更

  • 在 SQL 控制台中增加了对“正在运行的查询”视图的支持

ClickHouse 23.7 版本升级

  • 增加了对 Azure Table 函数的支持,将 geo 数据类型提升为生产就绪状态,并提高了 join 性能 - 有关详细信息,请参阅 23.5 版本博客
  • 扩展了 MongoDB 集成支持至 6.0 版本 - 有关详细信息,请参阅 23.6 版本博客
  • 将写入 Parquet 格式的性能提高了 6 倍,增加了对 PRQL 查询语言的支持,并提高了 SQL 兼容性 - 有关详细信息,请参阅 23.7 版本演示文稿
  • 数十个新功能、性能改进和错误修复 - 有关详细信息,请参阅 23.5、23.6、23.7 的详细变更日志

集成变更

  • Kafka Connector:增加了对 Avro Date 和 Time 类型的支持
  • JavaScript 客户端:发布了用于基于 Web 环境的稳定版本
  • Grafana:改进了过滤器逻辑、数据库名称处理,并增加了对具有亚秒级精度的 TimeInteval 的支持
  • Golang Client:修复了多个批处理和异步数据加载问题
  • Metabase:支持 v0.47,增加了连接模拟,修复了数据类型映射

2023 年 7 月 27 日

此版本带来了 ClickPipes for Kafka 的私有预览、新的数据加载体验以及使用云控制台从 URL 加载文件的能力。

集成变更

  • 推出了 ClickPipes for Kafka 的私有预览,这是一个云原生集成引擎,可将来自 Kafka 和 Confluent Cloud 的海量数据摄取变得像单击几个按钮一样简单。请在此处注册候补名单此处
  • JavaScript 客户端:发布了对基于 Web 环境(浏览器、Cloudflare workers)的支持。代码已重构,以允许社区为自定义环境创建连接器。
  • Kafka Connector:增加了对带有 Timestamp 和 Time Kafka 类型的内联模式的支持
  • Python 客户端:修复了插入压缩和 LowCardinality 读取问题

控制台变更

  • 增加了一个新的数据加载体验,具有更多表创建配置选项
  • 引入了使用云控制台从 URL 加载文件的能力
  • 改进了邀请流程,增加了加入不同组织和查看所有未完成邀请的选项

2023 年 7 月 14 日

此版本带来了启动专用服务的能力、澳大利亚新的 AWS 区域以及自带密钥以加密磁盘上数据的能力。

常规更新

  • 新的 AWS 澳大利亚区域:悉尼 (ap-southeast-2)
  • 用于对延迟敏感的工作负载的专用层服务(请联系支持部门进行设置)
  • 自带密钥 (BYOK) 用于加密磁盘上的数据(请联系支持部门进行设置)

控制台变更

  • 改进了异步插入的可观察性指标仪表板
  • 改进了与支持部门集成的聊天机器人行为

集成变更

  • NodeJS 客户端:修复了由于套接字超时导致的连接失败的错误
  • Python 客户端:为插入查询添加了 QuerySummary,支持数据库名称中的特殊字符
  • Metabase:更新了 JDBC 驱动程序版本,增加了 DateTime64 支持,性能改进。

核心数据库变更

  • 查询缓存可以在 ClickHouse Cloud 中启用。启用后,成功的查询默认缓存一分钟,后续查询将使用缓存的结果。

2023 年 6 月 20 日

此版本使 GCP 上的 ClickHouse Cloud 正式发布,为 Cloud API 带来了 Terraform 提供程序,并将 ClickHouse 版本更新至 23.4。

常规更新

  • GCP 上的 ClickHouse Cloud 现已正式发布 (GA),带来了 GCP Marketplace 集成、对 Private Service Connect 的支持以及自动备份(有关详细信息,请参阅博客新闻稿
  • Cloud API 的 Terraform 提供程序现已可用

控制台变更

  • 为服务添加了新的整合设置页面
  • 调整了存储和计算的计量精度

集成变更

  • Python 客户端:提高了插入性能,重构了内部依赖项以支持多进程
  • Kafka Connector:可以上传并安装在 Confluent Cloud 上,为临时的连接问题添加了重试,自动重置了不正确的连接器状态

ClickHouse 23.4 版本升级

  • 增加了对并行副本的 JOIN 支持(请联系支持部门进行设置)
  • 提高了轻量级删除的性能
  • 改进了处理大型插入时的缓存

管理变更

  • 扩展了非“default”用户的本地字典创建

2023 年 5 月 30 日

此版本带来了 ClickHouse Cloud Programmatic API 的公共版本,用于控制平面操作(有关详细信息,请参阅博客),使用 IAM 角色的 S3 访问以及其他扩展选项。

常规变更

  • 对 ClickHouse Cloud 的 API 支持。借助新的 Cloud API,您可以无缝地将管理服务集成到现有的 CI/CD 管道中,并以编程方式管理您的服务
  • 使用 IAM 角色的 S3 访问。您现在可以利用 IAM 角色安全地访问您的私有 Amazon Simple Storage Service (S3) 存储桶(请联系支持部门进行设置)

扩展变更

  • 水平扩展。需要更多并行化的工作负载现在可以配置最多 10 个副本(请联系支持部门进行设置)
  • 基于 CPU 的自动扩展。CPU 密集型工作负载现在可以从自动扩展策略的其他触发器中受益

控制台变更

  • 将开发服务迁移到生产服务(请联系支持部门以启用)
  • 在实例创建流程中添加了扩展配置控件
  • 修复了内存中不存在默认密码时的连接字符串

集成变更

  • Golang 客户端:修复了导致本机协议中连接不平衡的问题,在本机协议中添加了对自定义设置的支持
  • Nodejs 客户端:放弃了对 nodejs v14 的支持,增加了对 v20 的支持
  • Kafka Connector:增加了对 LowCardinality 类型的支持
  • Metabase:修复了按时间范围分组,修复了对内置 Metabase 问题中整数的支持

性能和可靠性

  • 提高了写入密集型工作负载的效率和性能
  • 部署了增量备份策略,以提高备份的速度和效率

2023 年 5 月 11 日

此版本带来了 GCP 上 ClickHouse Cloud 的 公共 Beta 版(现在已正式发布 (GA),请参阅上面的 6 月 20 日条目)(有关详细信息,请参阅博客),扩展了管理员权限以授予终止查询权限,并在 Cloud 控制台中增加了对 MFA 用户状态的更多可见性。

GCP 上的 ClickHouse Cloud (公共 Beta 版)(现在已正式发布 (GA),请参阅上面的 6 月 20 日条目)

  • 推出完全托管的分离存储和计算 ClickHouse 产品,在 Google Compute 和 Google Cloud Storage 之上运行
  • 在爱荷华州 (us-central1)、荷兰 (europe-west4) 和新加坡 (asia-southeast1) 区域可用
  • 在所有三个初始区域中都支持开发和生产服务
  • 默认提供强大的安全性:传输中端到端加密、静态数据加密、IP 允许列表

集成变更

  • Golang 客户端:增加了代理环境变量支持
  • Grafana:在 Grafana 数据源设置中增加了指定 ClickHouse 自定义设置和代理环境变量的能力
  • Kafka Connector:改进了空记录的处理

控制台变更

  • 在用户列表中添加了多因素身份验证 (MFA) 使用情况的指示器

性能和可靠性

  • 为管理员添加了对终止查询权限的更精细控制

2023 年 5 月 4 日

此版本带来了新的热图图表类型,改进了计费使用情况页面,并缩短了服务启动时间。

控制台变更

  • 为 SQL 控制台添加了热图图表类型
  • 改进了计费使用情况页面,以显示每个计费维度内消耗的信用额度

集成变更

  • Kafka connector:为瞬态连接错误添加了重试机制
  • Python 客户端:添加了 max_connection_age 设置,以确保 HTTP 连接不会永远重用。这可以帮助解决某些负载均衡问题
  • Node.js 客户端:增加了对 Node.js v20 的支持
  • Java 客户端:改进了客户端证书身份验证支持,并增加了对嵌套 Tuple/Map/Nested 类型的支持

性能和可靠性

  • 在存在大量部件的情况下,缩短了服务启动时间
  • 优化了 SQL 控制台中长时间运行的查询取消逻辑

错误修复

  • 修复了导致“Cell Towers”示例数据集导入失败的错误

2023 年 4 月 20 日

此版本将 ClickHouse 版本更新至 23.3,显著提高了冷读取速度,并带来了与支持部门的实时聊天。

控制台变更

  • 添加了与支持部门实时聊天的选项

集成变更

  • Kafka connector:增加了对 Nullable 类型的支持
  • Golang 客户端:增加了对外部表的支持,支持布尔值和指针类型参数绑定

配置变更

  • 增加了通过覆盖 max_table_size_to_dropmax_partition_size_to_drop 设置来删除大型表的功能

性能和可靠性

  • 通过 allow_prefetched_read_pool_for_remote_filesystem 设置,通过 S3 预取来提高冷读取速度

ClickHouse 23.3 版本升级

  • 轻量级删除已可用于生产环境 - 有关详细信息,请参阅 23.3 版本博客
  • 增加了对多阶段 PREWHERE 的支持 - 有关详细信息,请参阅 23.2 版本博客
  • 数十个新功能、性能改进和错误修复 - 有关 23.3 和 23.2 的详细信息,请参阅变更日志

2023 年 4 月 6 日

此版本带来了用于检索云端点的 API、用于最小空闲超时的高级扩展控制以及 Python 客户端查询方法中对外部数据的支持。

API 变更

控制台变更

  • 在高级扩展设置中添加了“最小空闲超时”设置
  • 在数据加载模式的模式推断中添加了尽力而为的日期时间检测

集成变更

  • Metabase:增加了对多个模式的支持
  • Go 客户端:修复了 TLS 连接的空闲连接活跃度检查
  • Python 客户端
    • 增加了对查询方法中外部数据的支持
    • 增加了对查询结果的时区支持
    • 增加了对 no_proxy/NO_PROXY 环境变量的支持
    • 修复了 Nullable 类型的 NULL 值的服务器端参数绑定

错误修复

  • 修复了从 SQL 控制台运行 INSERT INTO … SELECT … 时,错误地应用与 select 查询相同的行限制的行为

2023 年 3 月 23 日

此版本带来了数据库密码复杂度规则、显著加快了大型备份的恢复速度以及对在 Grafana Trace View 中显示跟踪的支持。

安全性和可靠性

  • 核心数据库端点现在强制执行密码复杂度规则
  • 缩短了恢复大型备份的时间

控制台变更

  • 简化了入职工作流程,引入了新的默认值和更紧凑的视图
  • 减少了注册和登录延迟

集成变更

  • Grafana
    • 增加了在 Trace View 中显示 ClickHouse 存储的跟踪数据的支持
    • 改进了时间范围过滤器,并增加了对表名中特殊字符的支持
  • Superset:增加了原生 ClickHouse 支持
  • Kafka Connect Sink:增加了自动日期转换和 Null 列处理
  • Metabase:实现了与 v0.46 的兼容性
  • Python 客户端:修复了临时表中的插入问题,并增加了对 Pandas Null 的支持
  • Golang 客户端:规范化了带时区的 Date 类型
  • Java 客户端
    • 在 SQL 解析器中增加了对 compression、infile 和 outfile 关键字的支持
    • 增加了凭据覆盖功能
    • 修复了带有 ON CLUSTER 的批量支持
  • Node.js 客户端
    • 增加了对 JSONStrings、JSONCompact、JSONCompactStrings、JSONColumnsWithMetadata 格式的支持
    • 现在可以为所有主要客户端方法提供 query_id

Bug 修复

  • 修复了导致新服务初始配置和启动时间缓慢的 bug
  • 修复了由于缓存配置错误导致查询性能降低的 bug

2023 年 3 月 9 日

此版本改进了可观测性仪表板,优化了创建大型备份的时间,并增加了删除大型表和分区所需的配置。

控制台变更

  • 增加了高级可观测性仪表板(预览版)
  • 在可观测性仪表板中引入了内存分配图表
  • 改进了 SQL 控制台电子表格视图中的间距和换行符处理

可靠性和性能

  • 优化了备份计划,仅在数据被修改时运行备份
  • 缩短了完成大型备份的时间

配置变更

  • 增加了通过覆盖查询或连接级别的设置 max_table_size_to_dropmax_partition_size_to_drop 来增加删除表和分区限制的功能
  • 在查询日志中添加了源 IP,以实现基于源 IP 的配额和访问控制强制执行

集成

  • Python 客户端:改进了 Pandas 支持并修复了与时区相关的问题
  • Metabase:Metabase 0.46.x 兼容性和对 SimpleAggregateFunction 的支持
  • Kafka-Connect:隐式日期转换和更好的 Null 列处理
  • Java 客户端:嵌套转换为 Java map

2023 年 2 月 23 日

此版本启用了 ClickHouse 23.1 核心版本中的部分功能,带来了与 Amazon Managed Streaming for Apache Kafka (MSK) 的互操作性,并在活动日志中公开了高级缩放和空闲调整。

ClickHouse 23.1 版本升级

增加了对 ClickHouse 23.1 中部分功能的支持,例如

  • ARRAY JOIN 与 Map 类型
  • SQL 标准十六进制和二进制字面量
  • 新函数,包括 age()quantileInterpolatedWeighted()quantilesInterpolatedWeighted()
  • 允许在 generateRandom 中使用来自插入表的结构,无需参数
  • 改进了数据库创建和重命名逻辑,允许重用以前的名称
  • 有关更多详细信息,请参阅 23.1 版本网络研讨会幻灯片23.1 版本更新日志

集成变更

  • Kafka-Connect:增加了对 Amazon MSK 的支持
  • Metabase:首个稳定版本 1.0.0
    • 该连接器已在 Metabase Cloud 上可用
    • 增加了一个探索所有可用数据库的功能
    • 修复了具有 AggregationFunction 类型的数据库同步问题
  • DBT-clickhouse:增加了对最新 DBT 版本 v1.4.1 的支持
  • Python 客户端:改进了代理和 ssh 隧道支持;为 Pandas DataFrames 添加了许多修复和性能优化
  • Nodejs 客户端:发布了将 query_id 附加到查询结果的功能,该功能可用于从 system.query_log 中检索查询指标
  • Golang 客户端:优化了与 ClickHouse Cloud 的网络连接

控制台变更

  • 在活动日志中添加了高级缩放和空闲设置调整
  • 在重置密码电子邮件中添加了用户代理和 IP 信息
  • 改进了 Google OAuth 的注册流程机制

可靠性和性能

  • 加快了大型服务从空闲状态恢复的时间
  • 改进了具有大量表和分区的服务的读取延迟

Bug 修复

  • 修复了重置服务密码不遵守密码策略的行为
  • 使组织邀请电子邮件验证不区分大小写

2023 年 2 月 2 日

此版本带来了官方支持的 Metabase 集成、主要的 Java 客户端/JDBC 驱动程序版本,以及 SQL 控制台中对视图和物化视图的支持。

集成变更

控制台变更

  • 在 SQL 控制台中增加了对视图和物化视图的支持

性能和可靠性

  • 加快了停止/空闲实例的密码重置速度
  • 通过更准确的活动跟踪改进了缩减行为
  • 修复了 SQL 控制台 CSV 导出被截断的 bug
  • 修复了导致间歇性示例数据上传失败的 bug

2023 年 1 月 12 日

此版本将 ClickHouse 版本更新至 22.12,为许多新数据源启用了字典,并提高了查询性能。

常规变更

  • 为其他数据源启用了字典,包括外部 ClickHouse、Cassandra、MongoDB、MySQL、PostgreSQL 和 Redis

ClickHouse 22.12 版本升级

  • 扩展了 JOIN 支持,包括 Grace Hash Join
  • 增加了二进制 JSON (BSON) 文件读取支持
  • 增加了对 GROUP BY ALL 标准 SQL 语法 的支持
  • 用于定点精度的十进制运算的新数学函数
  • 有关完整的更改列表,请参阅22.12 版本博客详细的 22.12 更新日志

控制台变更

  • 改进了 SQL 控制台中的自动完成功能
  • 默认区域现在考虑了洲际位置
  • 改进了计费使用情况页面,以显示计费单位和网站单位

集成变更

  • DBT 版本v1.3.2
    • 增加了对 delete+insert 增量策略的实验性支持
    • 新的 s3source 宏
  • Python 客户端 v0.4.8
  • Go 客户端 v2.5.0
    • 降低了压缩的内存使用率
    • 服务器端查询参数绑定

可靠性和性能

  • 改进了对于从对象存储中获取大量小文件的查询的读取性能
  • 对于新启动的服务,将兼容性设置设置为服务最初启动时的版本

Bug 修复

使用高级缩放滑块预留资源现在立即生效。

2022 年 12 月 20 日

此版本为管理员引入了到 SQL 控制台的无缝登录,改进了冷读取的读取性能,并改进了 ClickHouse Cloud 的 Metabase 连接器。

控制台变更

  • 为管理员用户启用了到 SQL 控制台的无缝访问
  • 将新受邀者的默认角色更改为“管理员”
  • 添加了入职调查

可靠性和性能

  • 为运行时间较长的插入查询添加了重试逻辑,以便在发生网络故障时恢复
  • 改进了冷读取的读取性能

集成变更

  • Metabase 插件获得了期待已久的 v0.9.1 主要更新。现在它与最新的 Metabase 版本兼容,并且已经针对 ClickHouse Cloud 进行了全面测试。

2022 年 12 月 6 日 - 全面可用

ClickHouse Cloud 现在已为生产环境做好准备,具有 SOC2 Type II 合规性、生产工作负载的正常运行时间 SLA 和公共状态页。此版本包括主要新功能,如 AWS Marketplace 集成、SQL 控制台 - ClickHouse 用户的数据探索工作台,以及 ClickHouse Academy - ClickHouse Cloud 中的自定进度学习。在此博客中了解更多信息。

生产就绪

主要新功能

  • 引入了 SQL 控制台,ClickHouse 用户的数据探索工作台
  • 推出了 ClickHouse Academy,ClickHouse Cloud 中的自定进度学习

定价和计量变更

  • 延长试用期至 30 天
  • 推出了固定容量、低月度支出的开发服务,非常适合入门项目和开发/暂存环境
  • 随着我们不断改进 ClickHouse Cloud 的运营和扩展方式,在生产服务上推出了新的降价
  • 提高了计量计算时的粒度和保真度

集成变更

  • 启用了对 ClickHouse Postgres/MySQL 集成引擎的支持
  • 增加了对 SQL 用户定义函数 (UDF) 的支持
  • 高级 Kafka Connect sink 升级到 Beta 状态
  • 通过引入关于版本、更新状态等的丰富元数据,改进了集成 UI

控制台变更

  • 云控制台中的多因素身份验证支持
  • 改进了移动设备的云控制台导航

文档变更

  • 为 ClickHouse Cloud 引入了专门的文档部分

Bug 修复

  • 解决了由于依赖项解析而导致从备份还原并非总是有效的已知问题

2022 年 11 月 29 日

此版本带来了 SOC2 Type II 合规性,将 ClickHouse 版本更新至 22.11,并改进了许多 ClickHouse 客户端和集成。

常规变更

控制台变更

  • 添加了“空闲”状态指示器,以显示服务已自动暂停

ClickHouse 22.11 版本升级

  • 增加了对 Hudi 和 DeltaLake 表引擎和表函数的支持
  • 改进了 S3 的递归目录遍历
  • 增加了对复合时间间隔语法的支持
  • 通过插入重试提高了插入可靠性
  • 有关完整的更改列表,请参阅详细的 22.11 更新日志

集成

  • Python 客户端:v3.11 支持,提高了插入性能
  • Go 客户端:修复了 DateTime 和 Int64 支持
  • JS 客户端:支持相互 SSL 身份验证
  • dbt-clickhouse:支持 DBT v1.3

Bug 修复

  • 修复了升级后显示过时 ClickHouse 版本的 bug
  • 更改“default”帐户的授权不再中断会话
  • 默认情况下,新创建的非管理员帐户不再具有系统表访问权限

此版本中的已知问题

  • 由于依赖项解析,从备份还原可能不起作用

2022 年 11 月 17 日

此版本启用了来自本地 ClickHouse 表和 HTTP 源的字典,引入了对孟买区域的支持,并改进了云控制台用户体验。

常规变更

  • 增加了对来自本地 ClickHouse 表和 HTTP 源的字典的支持
  • 引入了对孟买区域的支持

控制台变更

  • 改进了账单发票格式
  • 简化了付款方式捕获的用户界面
  • 为备份添加了更精细的活动日志记录
  • 改进了文件上传期间的错误处理

Bug 修复

  • 修复了如果某些部分存在单个大文件可能导致备份失败的 bug
  • 修复了如果同时应用访问列表更改,则从备份还原未成功的 bug

已知问题

  • 由于依赖项解析,从备份还原可能不起作用

2022 年 11 月 3 日

此版本从定价中删除了读取和写入单元(有关详细信息,请参阅定价页面),将 ClickHouse 版本更新至 22.10,为自助服务客户增加了更高的垂直扩展支持,并通过更好的默认设置提高了可靠性。

常规变更

  • 从定价模型中删除了读取/写入单元

配置变更

  • 出于稳定性原因,用户不再可以更改设置 allow_suspicious_low_cardinality_typesallow_suspicious_fixed_string_typesallow_suspicious_codecs(默认为 false)。

控制台变更

  • 将付费客户的垂直扩展自助服务最大值增加到 720GB 内存
  • 改进了从备份还原工作流程以设置 IP 访问列表规则和密码
  • 在服务创建对话框中为 GCP 和 Azure 引入了等待列表
  • 改进了文件上传期间的错误处理
  • 改进了计费管理的工作流程

ClickHouse 22.10 版本升级

  • 通过放宽存在许多大型部件(至少 10 GiB)时的“部件过多”阈值,改进了对象存储之上的合并。这使得单个表的单个分区中最多可以容纳 PB 级数据。
  • 通过 min_age_to_force_merge_seconds 设置改进了对合并的控制,以便在特定时间阈值后合并。
  • 添加了 MySQL 兼容语法来重置设置 SET setting_name = DEFAULT
  • 添加了用于 Morton 曲线编码、Java 整数哈希和随机数生成的函数。
  • 有关完整的更改列表,请参阅详细的 22.10 更新日志

2022 年 10 月 25 日

此版本显著降低了小型工作负载的计算消耗,降低了计算定价(有关详细信息,请参阅定价页面),通过更好的默认设置提高了稳定性,并增强了 ClickHouse Cloud 控制台中的计费和使用情况视图。

常规变更

  • 将最小服务内存分配减少到 24G
  • 将服务空闲超时时间从 30 分钟减少到 5 分钟

配置变更

  • 将 max_parts_in_total 从 10 万减少到 1 万。MergeTree 表的 max_parts_in_total 设置的默认值已从 100,000 降低到 10,000。此更改的原因是我们观察到大量数据部件很可能导致云服务启动时间缓慢。大量部件通常表示选择了过于精细的分区键,这通常是意外完成的,应避免这样做。默认值的更改将允许更早地检测到这些情况。

控制台变更

  • 增强了试用用户的计费视图中的信用使用详情
  • 改进了工具提示和帮助文本,并在使用情况视图中添加了指向定价页面的链接
  • 改进了切换 IP 过滤选项时的工作流程
  • 在云控制台中添加了重新发送电子邮件确认按钮

2022 年 10 月 4 日 - Beta 版

ClickHouse Cloud 于 2022 年 10 月 4 日开始公开 Beta 测试。在此博客中了解更多信息。

ClickHouse Cloud 版本基于 ClickHouse 核心 v22.10。有关兼容功能的列表,请参阅云兼容性指南。