版本发布持续进行。
我们非常高兴地在 23.6 版本中分享众多令人惊叹的功能。
此外，我们已经确定了 23.7 版本的发布日期，请立即注册，参加 7 月 27 日上午 9:00（太平洋标准时间）/ 下午 6:00（中欧夏令时）的社区电话会议。
版本摘要
10 个新功能。12 项性能优化。31 个错误修复。
下面是一些突出显示的功能的子集。但值得注意的是，一些功能现在已准备好投入生产或已默认启用。您可以在本文的末尾找到这些功能。
MongoDB 6.x 支持
如果现代 Web 应用栈中存在一个几乎无处不在的数据存储，那就是 MongoDB。MongoDB 是一个面向文档的数据库，旨在存储和检索类似 JSON 的数据。由于其专注于 JSON 和易用性，自 2009 年创建以来，Mongo 已证明自己是数据存储的瑞士军刀，并且是 Web 应用中用于状态存储的常见组件。
虽然 ClickHouse 一直通过表函数支持 MongoDB，但 Mongo v5.1 引入了需要更新此集成的协议更改。我们现在很高兴地宣布支持最高版本的 Mongo v6。
对于不熟悉 ClickHouse 表函数的用户，这些函数提供了查询外部数据源的能力。这对于数据迁移任务非常有用，在这些任务中，数据从数据源提取并通过 INSERT INTO SELECT 命令插入到 ClickHouse 中，以及用于填充 ClickHouse 中的字典。或者，可以使用等效的表引擎来公开由外部存储支持的 ClickHouse 中的表，然后可以将其与驻留在 MergeTree 表中的数据联接。
该Mongo 示例数据集提供了一些有用的示例来测试此功能。假设您已加载这些数据到您的 Mongo 或 Atlas 实例中，那么使用表函数查询它们就变得微不足道了。在下面的示例中，我们查询了Airbnb 列表数据集（出于简洁起见，对字段进行了子集采样），指定了 'sample_airbnb' 数据库和 'listingsAndReviews' 集合
提示：如果查询 Mongo Atlas，用户需要包含设置 connectTimeoutMS=10000&ssl=true&authSource=admin，如下所示。为 Atlas 公开的连接端点也不是有效的主机名。可以使用 atlas cli 和命令 atlas process list -o json确定数据库的主机名。
SELECT listing_url, name, summary
FROM mongodb('<host>:27017', 'sample_airbnb', 'listingsAndReviews', 'default', '<password>', 'listing_url String, name String, summary String, space String, description String, room_type UInt32, bed_type UInt32, minimum_nights UInt32, maximum_nights UInt32, bedrooms UInt16, beds UInt16,number_of_reviews UInt16, amenities Array(String)', 'connectTimeoutMS=10000&ssl=true&authSource=admin')
LIMIT 1
FORMAT Vertical
Row 1:
──────
listing_url: https://www.airbnb.com/rooms/10006546
name: Ribeira Charming Duplex
summary: Fantastic duplex apartment with three bedrooms, located in the historic area of Porto, Ribeira (Cube) - UNESCO World Heritage Site. Centenary building fully rehabilitated, without losing their original character.
1 row in set. Elapsed: 0.483 sec.
注意：目前不支持 Mongo 中的 Decimal128 字段，因此无法在此处使用价格。这将在未来的版本中解决，以及模式推断。
此相同函数可用于计算 MongoDB 上的聚合，其中过滤器会下推以最大程度地减少数据传输。在下面的示例中，我们按房间类型和卧室数量计算平均床位数。
SELECT room_type, bedrooms, round(avg(beds), 2) AS avg_beds
FROM mongodb('<host>:27017', 'sample_airbnb', 'listingsAndReviews', 'default', '<password>', 'listing_url String, name String, summary String, space String, description String, room_type String, bed_type UInt32, minimum_nights UInt32, maximum_nights UInt32, bedrooms UInt16, beds UInt16,number_of_reviews UInt16, amenities Array(String)', 'connectTimeoutMS=10000&ssl=true&socketTimeoutMS=10000&authSource=admin')
GROUP BY 1, 2
ORDER BY room_type ASC, bedrooms ASC
┌─room_type───────┬─bedrooms─┬─avg_beds─┐
│ Entire home/apt │ 0 │ 1.34 │
│ Entire home/apt │ 1 │ 1.53 │
│ Entire home/apt │ 2 │ 2.81 │
│ Entire home/apt │ 3 │ 4.13 │
│ Entire home/apt │ 4 │ 5.56 │
│ Entire home/apt │ 5 │ 6.26 │
│ Entire home/apt │ 6 │ 8.14 │
│ Entire home/apt │ 7 │ 8.5 │
│ Entire home/apt │ 8 │ 8.67 │
│ Entire home/apt │ 9 │ 15.5 │
│ Entire home/apt │ 10 │ 14.5 │
│ Private room │ 0 │ 1.23 │
│ Private room │ 1 │ 1.25 │
│ Private room │ 2 │ 2.45 │
│ Private room │ 3 │ 2.3 │
│ Private room │ 4 │ 3.62 │
│ Private room │ 5 │ 7.5 │
│ Private room │ 6 │ 7 │
│ Private room │ 7 │ 1 │
│ Private room │ 15 │ 2 │
│ Private room │ 20 │ 25 │
│ Shared room │ 1 │ 2.53 │
└─────────────────┴──────────┴──────────┘
22 rows in set. Elapsed: 0.760 sec. Processed 5.55 thousand rows, 149.26 KB (7.31 thousand rows/s., 196.32 KB/s.)
如果我们为 Mongo 实例创建表引擎，则可以简化上述查询。这使我们能够将 Mongo 集合作为 ClickHouse 中的表公开。在下面的示例中，我们使用它将数据集加载到 Mergetree 表引擎中。
CREATE TABLE listings_mongo
(
`listing_url` String,
`name` String,
`summary` String,
`space` String,
`description` String,
`room_type` String,
`bed_type` UInt32,
`minimum_nights` UInt32,
`maximum_nights` UInt32,
`bedrooms` UInt16,
`beds` UInt16,
`number_of_reviews` UInt16,
`amenities` Array(String)
)
ENGINE = MongoDB('<host>:27017', 'sample_airbnb', 'listingsAndReviews', 'default', '<password>', 'connectTimeoutMS=10000&ssl=true&socketTimeoutMS=10000&authSource=admin')
— simpler syntax now possible
SELECT room_type, bedrooms, round(avg(beds), 2) AS avg_beds
FROM listings_mongo
GROUP BY 1, 2
ORDER BY room_type ASC, bedrooms ASC
— migrate data to ClickHouse
CREATE TABLE listings_merge
ENGINE = MergeTree
ORDER BY listing_url AS
SELECT *
FROM listings
Ok.
0 rows in set. Elapsed: 1.369 sec. Processed 5.55 thousand rows, 11.42 MB (4.06 thousand rows/s., 8.34 MB/s.)
最后，Mongo 数据集通常用作字典的来源。请参阅此处以获取更多详细信息。
转换函数
数据处理中一个常见的问题是需要映射值 - 通常是代码到有意义的内容。此任务最好使用 SQL 中的转换函数来执行。此函数在 ClickHouse 中已得到一段时间支持，用于数字、日期和字符串（前提是源值和目标值类型相同），甚至用于加载流行的英国房价数据集，如下所示。在这里，我们在插入时将房屋类型的代码映射到更易读的值。
CREATE TABLE uk_price_paid
(
price UInt32,
date Date,
postcode1 LowCardinality(String),
postcode2 LowCardinality(String),
type Enum8('terraced' = 1, 'semi-detached' = 2, 'detached' = 3, 'flat' = 4, 'other' = 0),
is_new UInt8,
duration Enum8('freehold' = 1, 'leasehold' = 2, 'unknown' = 0),
addr1 String,
addr2 String,
street LowCardinality(String),
locality LowCardinality(String),
town LowCardinality(String),
district LowCardinality(String),
county LowCardinality(String)
)
ENGINE = MergeTree
ORDER BY (postcode1, postcode2, addr1, addr2);
INSERT INTO uk_price_paid
WITH
splitByChar(' ', postcode) AS p
SELECT
toUInt32(price_string) AS price,
parseDateTimeBestEffortUS(time) AS date,
p[1] AS postcode1,
p[2] AS postcode2,
transform(a, ['T', 'S', 'D', 'F', 'O'], ['terraced', 'semi-detached', 'detached', 'flat', 'other']) AS type,
b = 'Y' AS is_new,
transform(c, ['F', 'L', 'U'], ['freehold', 'leasehold', 'unknown']) AS duration, addr1, addr2, street, locality, town, district, county
FROM url(
'http://prod.publicdata.landregistry.gov.uk.s3-website-eu-west-1.amazonaws.com/pp-complete.csv', 'CSV','uuid_string String, price_string String, time String, postcode String, a String, b String, c String, addr1 String, addr2 String, street String, locality String, town String, district String, county String, d String, e String'
) SETTINGS max_http_get_redirects=10;
在 23.6 中，我们为所有数据类型添加了对该函数的支持。转换函数现在可用于将列转换为其他类型。DateTime64 和 Decimal 等类型也受支持，以及处理 Null 值的能力。对于一个简单的示例，请对比下面 23.5 和 23.6 中响应的差异
--23.5
SELECT transform(number, [0, 1, 2, 3, 4, 5, 6, 7, 8, 9], ['zero', 'one', 'two', 'three', 'four', 'five', 'six', 'seven', 'eight', 'nine'], NULL) AS numbers
FROM system.numbers
LIMIT 10
┌─numbers─┐
│ ᴺᵁᴸᴸ │
│ ᴺᵁᴸᴸ │
│ ᴺᵁᴸᴸ │
│ ᴺᵁᴸᴸ │
│ ᴺᵁᴸᴸ │
│ ᴺᵁᴸᴸ │
│ ᴺᵁᴸᴸ │
│ ᴺᵁᴸᴸ │
│ ᴺᵁᴸᴸ │
│ ᴺᵁᴸᴸ │
└─────────┘
10 rows in set. Elapsed: 0.003 sec.
--23.6
SELECT transform(number, [0, 1, 2, 3, 4, 5, 6, 7, 8, 9], ['zero', 'one', 'two', 'three', 'four', 'five', 'six', 'seven', 'eight', 'nine'], NULL) AS numbers
FROM system.numbers
LIMIT 10
┌─numbers─┐
│ zero │
│ one │
│ two │
│ three │
│ four │
│ five │
│ six │
│ seven │
│ eight │
│ nine │
└─────────┘
10 rows in set. Elapsed: 0.001 sec.
排序几乎已排序的数据
ClickHouse 喜欢排序数据。作为列式数据库，在插入时对数据进行排序对于查询性能至关重要，也是用户在需要指定创建表时的ORDER BY子句时遇到的早期概念之一。此子句指定了一个列列表，数据将在磁盘上按这些列排序，这应与用户访问模式保持一致，以确保最佳查询性能。虽然这些排序键是每个 ClickHouse 用户调整性能的首选工具，但在此处指定所有列是不现实的。尽管如此，某些列是自然排序的，并且与这些排序键保持一致。
在 23.6 中，ClickHouse 现在将利用数据中的任何自然排序模式来提高查询性能。这在某些情况下尤其如此，例如，某个列在大多数情况下是单调递增的，但不是排序键的一部分。
新贡献者
特别欢迎所有 23.6 版本的新贡献者！ClickHouse 的普及在很大程度上归功于社区的努力。看到社区不断壮大，我们感到非常欣慰。
如果您在这里看到您的名字，请与我们联系……但我们也会在 Twitter 等平台上找到您。
Chang Chen，Dmitry Kardymon，Hongbin Ma，Julian Maicher，Thomas Panetti，YalalovSM，kevinyhzou，tpanetti，郭小龙
