客端日志的收集、存储和分析(二)
前言
上一节我们介绍了如何接收客户端日志及数据存储方面ClickHouse的写入和更新相关的知识。在写入方面,我们提到了批量写入,批量写入是有利于ClickHouse处理新增数据的。但是,如果我们想保证拥有较快的查询速度,该以怎样的数据结构去组织数据写入呢?这一结我们来介绍一下如何为高效的查询组织数据写入ClickHouse。
一、ClickHouse数据分区
数据分区就是按照一个或多个字段,将数据放到不同的目录中,在很多的OLAP数据库中,都存在数据分区的设计,但是其它很多OLAP数据库都没有分区内小文件自动合并的功能。ClickHouse会对分区内的小文件定时进行合并,以便提高查询性能。分区最常用的就是按天分区。在ClickHouse的MergeTree系列引擎表中,是在创建表时通过partition by指定分区字段的,例如:
sql
CREATE TABLE test (
event String,
user_id Int64,
event_time String,
dt String
) ENGINE = MergeTree()
partition by dt
order by event
其中dt就是分区字段。有了分区字段之后,我们查询数据时,就可以使用where条件通过分区字段进行过滤,减小数据扫描的范围,提高查询效率。例如,我们只想查询2021年09月1日到9月30日的数据量,可以执行如下sql获取:
sql
select count(1) from test where dt between '20210901' and '20210930'
下图是分区的原理图
如20210201是就一个大的分区,就是我们定义的dt字段,在大分区中,还有很多小文件,每个文件都可能是一次insert的数据生成的文件,如20210201_1_1_0、20210201_2_2_0等。
分区虽然能减小查询时数据的扫描范围,但是切记分区不能分的太细,比如说按照分钟级别进行分区,因为MergeTree表引擎的一个分区对应一批文件,分的太细,可能会造成文件数过多,文件数过多,在查询时,就会扫描大量的小文件,会产生大量的文件寻址,这无疑会增加查询时间。再有,ClickHouse会定时合并每个分区中的小文件,分区数过多,可能会导致ClickHouse合并小文件的速度赶不上数据写入生成的小文件的速度。所以说,分区粒度不能太细。
二、ClickHouse MergeTree引擎一级索引
1. 一级索引使用示例
ClickHouse提供了一级索引,查询时使用一级索引,能大幅度提高查询性能,一级索引在创建表时通过order by关键字声明,也可通过primary key声明。如果不声明primary key关键字,那么默认情况下order by关键字声明的字段就是一级索引。示例如下:
sql
CREATE TABLE heaven_eye_analyse.event_production (
event String,
user_id Int64,
$lib String,
dt String
) ENGINE = MergeTree()
partition by dt
order by event
其中event就是一级索引。
下面我们来对比下使用一级索引和普通字段的查询时效。比较的总数据量是50亿。 先来看下使用普通字段的查询时效
通过普通字段$lib查询30天数据总量,耗时15s。再来看下使用一级索引的查询耗时
可以看到,耗时只有430ms,和使用普通字段查询相比,速度完全碾压。
2.一级索引原理
接着我们介绍下ClickHouse一级索引的原理。下面是一级索引的原理图
MergeTree表中的每一列,都有两个文件,一个是.bin文件,另外一个是.mrk文件。一级索引除此之外还有一个primary.idx文件。
.bin文件
.bin文件用于存储数据。
由于同一列的数据大概率具有相似性,所以数据一般压缩后存储,可节省磁盘空间,但是ClickHosue的压缩不是针对整个.bin文件进行压缩,而是将.bin文件中的数据划分为多个部分,每个部分压缩在一起,称为一个压缩块,这样做的好处如下:比如说整个.bin文件有1亿条数据,如果是对整个文件进行压缩,那么假设只用读取其中一万条数据,那么需要对整个文件进行解压,这样就浪费了很多时间。相对的,如果只解压这一万条数据所在的存储块,那么效率会提升很多。
另外,每个压缩块中有一个元数据,元数据占9个字节,1个字节表示压缩算法类型,4个字节表示表示压缩前的数据大小,4个字节表示压缩后的数据大小。
.mrk文件
.mrk文件用于描述这一列对应的.bin文件中每个数据块(默认每8192条数据一个间隔)的起始位置及数据在数据块内的位置(解压后)
primary.idx文件
一级索引对应一个primary.idx文件。ClickHouse MergeTree表每隔一定量的数据(默认8192条)就生成一个索引标记,对于一亿条数据,使用12208行索引标记就能索引,由此来看,索引标记占用的空间会非常小,所以索引文件就可以常驻内存,加快存取速度。
primary.idx、标记文件、数据文件的协同
由上面的一级索引原理图可以看出,primary.idx中的每行索引标记和索引对应列的.mrk文件中的每个标记是一对一的关系,标记和压缩块根据一级索引对应的字段压缩前的大小,分为一对一、一对多和多对一。如果想根据一级索引字段查询某个范围内的数据,可以将查询条件和一级索引做交集,找到数据所在的区间对应的标记。举个例子,比如说想查询event between 5000 and 6000之间的数据,根据一级索引,发现索引4553和查询条件有交集,然后根据索引4553找到标记1,标记1指向压缩块1,此时先解压压缩块1,由于标记1的P2的位置是0,那么就从解压后的第一个元素开始,找到符合条件(event between 5000 和 6000)的数据。
总结
本节我们主要介绍ClickHouse提高查询效率的两个方式,即通过ClickHouse MergeTree表引擎的分区和一级索引存。两种方式结合使用,可以让我们在查询时大幅度提高性能。
下面划重点:
在使用分区时,切记分区不能分的太细。
在使用一级索引时,应该选择查询时能被经常命中的条件作为一级索引。
在知道如何高效的组织好数据存储后,我们下一节将介绍如何基于ClickHouse做业务上的数据分析,例如典型的漏斗模型分析、业务留存分析等。