Trillabit 利用 ClickHouse 的强大功能，在其自助式、搜索驱动的分析产品中实现快速、可扩展的结果。

Keith Riddolls

2023年1月30日

我们欢迎 Trillabit 作为嘉宾来到我们的博客。继续阅读 Keith Riddolls（CEO/创始人）的文章，了解他们为什么选择 ClickHouse 而不是 Apache Solr 和 Snowflake 来为其报表和商业智能平台提供支持。

TrillaBit Quick Intelligence 是一个用于报表和商业智能的动态 SaaS 平台，它利用 ClickHouse 的强大功能来实现快速可扩展的结果。

Quick Intelligence 不仅仅是一个可视化工具，而是一个完整的端到端企业级平台。它处理多租户和安全性，同时允许对大数据进行动态数据探索。Quick Intelligence 可以嵌入或独立使用，并可以与部署在任何位置的 ClickHouse 集成。

最初，TrillaBit 使用的是 Apache Solr。为什么不呢？TrillaBit 是一个搜索驱动的分析平台，所以为什么不使用一个搜索驱动的后端数据存储呢？Solr 能够进行一定程度的数据聚合，模型是动态的，索引非常适合搜索目的。

然而，我们很快遇到了一些挑战。Solr 作为键值存储，更适合搜索，而不是高容量的非线性聚合或用于提高性能的数据压缩。它的查询语言不如 SQL 成熟，并且它实际上不处理连接。

在实现来自多个来源的真实公司数据时，我们发现不同的场景需要更多的灵活性。有一种是“尽可能轻松且低成本地运行”，例如使用数据所在的位置和格式。另一种是“让我们正确地完成这件事”，例如使用星型模式和维度事实表构建数据仓库，并将数据移动到这些结构中。这些场景需要更多的数据仓库解决方案，而不是搜索引擎。

目标是从能够以低成本管理并在我们的环境中实施以获得实践经验和理解的东西开始。我们希望在将其移交给托管服务之前详细了解该技术。

Snowflake 作为热门竞争者，价格实在太高，并且不允许进行完全的本地部署。请参阅：为什么 Snowflake 这么贵？

ClickHouse 是一种极佳的替代方案，使用开源社区版本可以获得快速的性能和低成本。在本地/自管理（AWS）上设置 ClickHouse，使我们能够获得快速、实践的经验，以最佳方式了解它如何融入我们的环境。

以下列出了一些我们在深入研究过程中发现的首选功能

集成引擎

在数据摄取方面，ClickHouse 提供了简化工作流程的方法。表引擎功能非常适合连接存储在不同存储和形式中的数据。

用于集成的表引擎是一项很棒的功能，允许直接连接到其他关系型存储，如 MySQL 或 Postgres。只需连接并运行即可！TrillaBit 产品运行在关系型存储中管理的元数据上。无需移动数据即可连接到元数据，这使得可以在 ClickHouse 本身内进行查找、连接和视图，并且对集成速度具有巨大的好处。

TrillaBit 具有用于客户端发布快速网络和物联网流数据的流式端点。其背后是 Kafka。用于连接和高效使用 ClickHouse 中数据的 Kafka 表引擎效果很好。

虽然目前 TrillaBit 使用较少，但 ClickHouse 确实允许通过 S3 表引擎进行直接的 S3 集成，以进行加载和卸载。

数据管理引擎

在 ClickHouse 中存储和管理数据时，MergeTree 系列具有许多有用的功能。TrillaBit 主要使用 ReplacingMergeTree 根据排序键删除重复项。我们经常收到现有记录的增量更改，并且可以通过根据主键替换它们来轻松保留当前准确的状态，而不会出现重复，并且代码最少。AggregatingMergeTree 减少了对不断流动的数据的增量聚合的编码和管理，从而再次减少了自定义编码和处理。

AirByte 和 JSON

对于某些需要移动数据的客户端集成，TrillaBit 将使用 Airbyte。对于快速的 POC，数据以原始 JSON 格式摄取。然后，通过视图，JSON 结构将通过如下简单的查询读取并转换为表结构

SELECT 	toInt64(JSON_VALUE(_airbyte_data,'$.id')) AS location_id,
JSON_VALUE(_airbyte_data,'$.name') AS location_name,
JSON_VALUE(_airbyte_data,'$.address') AS address,
JSON_VALUE(_airbyte_data,'$.city') AS city,
JSON_VALUE(_airbyte_data,'$.state') AS state,
JSON_VALUE(_airbyte_data,'$.zip') AS zip,
JSON_VALUE(_airbyte_data,'$.country') AS country,
toDecimal64(nullIf(lower(JSON_VALUE(_airbyte_data,'$.longitude')),'null'),12) AS longitude,
toDecimal64(nullIf(lower(JSON_VALUE(_airbyte_data,'$.latitude')),'null'),12) AS latitude,
FROM mydb._airbyte_raw_stg_Location;