KeeperMap
此引擎允许您使用 Keeper/ZooKeeper 集群作为一致的键值存储,具有线性化写入和顺序一致的读取。
要启用 KeeperMap 存储引擎,您需要定义一个 ZooKeeper 路径,用于使用 <keeper_map_path_prefix> 配置存储表。
例如
<clickhouse>
<keeper_map_path_prefix>/keeper_map_tables</keeper_map_path_prefix>
</clickhouse>
其中 path 可以是任何其他有效的 ZooKeeper 路径。
创建表
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
...
) ENGINE = KeeperMap(root_path, [keys_limit]) PRIMARY KEY(primary_key_name)
引擎参数
root_path- ZooKeeper 路径,用于存储table_name。
此路径不应包含由<keeper_map_path_prefix>配置定义的前缀,因为前缀将自动附加到root_path。
此外,还支持auxiliary_zookeeper_cluster_name:/some/path格式,其中auxiliary_zookeeper_cluster是在<auxiliary_zookeepers>配置中定义的 ZooKeeper 集群。
默认情况下,使用在<zookeeper>配置中定义的 ZooKeeper 集群。keys_limit- 表内允许的键的数量。
此限制是软限制,在某些极端情况下,可能会有更多键最终进入表中。primary_key_name- 列列表中的任何列名。- 必须指定
primary key,它仅支持主键中的一列。主键将在 ZooKeeper 中序列化为二进制形式,作为节点名称。 - 主键以外的列将按相应顺序序列化为二进制形式,并存储为由序列化键定义的结果节点的值。
- 使用键
equals或in筛选的查询将被优化为从Keeper进行多键查找,否则将获取所有值。
示例
CREATE TABLE keeper_map_table
(
`key` String,
`v1` UInt32,
`v2` String,
`v3` Float32
)
ENGINE = KeeperMap('/keeper_map_table', 4)
PRIMARY KEY key
使用
<clickhouse>
<keeper_map_path_prefix>/keeper_map_tables</keeper_map_path_prefix>
</clickhouse>
每个值((v1,v2,v3)的二进制序列化)将存储在 Keeper 中的 /keeper_map_tables/keeper_map_table/data/serialized_key 中。此外,键的数量将具有 4 个键的软限制。
如果在同一 ZooKeeper 路径上创建了多个表,则这些值将一直保留,直到至少存在一个使用它的表。
因此,可以在创建表并从多个 ClickHouse 实例共享数据时使用 ON CLUSTER 子句。
当然,可以在不相关的 ClickHouse 实例上手动运行具有相同路径的 CREATE TABLE,以获得相同的数据共享效果。
支持的操作
插入
当新行插入到 KeeperMap 中时,如果键不存在,则会为该键创建一个新条目。如果键存在,并且设置 keeper_map_strict_mode 设置为 true,则会抛出异常,否则,键的值将被覆盖。
示例
INSERT INTO keeper_map_table VALUES ('some key', 1, 'value', 3.2);
删除
可以使用 DELETE 查询或 TRUNCATE 删除行。如果键存在,并且设置 keeper_map_strict_mode 设置为 true,则只有在可以原子执行的情况下,获取和删除数据才会成功。
DELETE FROM keeper_map_table WHERE key LIKE 'some%' AND v1 > 1;
ALTER TABLE keeper_map_table DELETE WHERE key LIKE 'some%' AND v1 > 1;
TRUNCATE TABLE keeper_map_table;
更新
可以使用 ALTER TABLE 查询更新值。主键无法更新。如果设置 keeper_map_strict_mode 设置为 true,则只有在原子执行的情况下,获取和更新数据才会成功。
ALTER TABLE keeper_map_table UPDATE v1 = v1 * 10 + 2 WHERE key LIKE 'some%' AND v3 > 3.1;