Apache IoTDB分布式数据分布

​Apache IoTDB从2018年11月捐赠给Apache基金会,成为孵化项目,到2020年9月毕业,期间经历了0.8-0.11 4个大的版本,但都是单机版本,社区对Apache IoTDB的分布式版本呼声也越来越高。2021年4月,Apache IoTDB 0.12版本的发布,带来了一个期盼已久的好消息:Apache IoTDB 0.12开始支持分布式。今天我们就来看一下Apache IoTDB分布式中的数据分布。

分布式架构

IoTDB采用Share-Nothing的分布式架构(这里指的是数据存本地磁盘的情况下,IoTDB也支持数据存储到HDFS上面,这种情况本文暂且不表),各个节点都是同质的,每个节点主要模块如下图所示:
Apache-IoTDB分布式架构初探

单机有如下几大模块:分别为Physical Plan Generator、SQL Parser、Single Read/Write Engine以及存储文件TsFile。分布式较单机多了如下几大模块:Data Partition、Distributed Query、Distributed Write以及各个节点之间同步协议Raft Synchronization模块。

IoTDB集群搭建之后,会根据节点的ip和port和当前启动时间生成一个hash值,所有节点按照此hash值排序形成一个环形,hash值最大的节点的后面的节点就是hash值最小的节点,集群会按照配置的副本数N,从hash值最小的节点开始,依次选择N-1个节点组成一个raft组,形成一个data raft group。所有的meta节点组成一个meta raft group。
Apache-IoTDB分布式架构初探

以4节点3副本为例,其会形成如下raft复制组,每个节点上面都会有N+1个复制组,N是副本数,即N个data raft group,1指的是所有节点形成一个meta raft group。
Apache-IoTDB分布式架构初探

分布式数据存储

当初始化好了raft复制组之后,面临的问题就是数据归属问题,哪些raft复制组处理哪些数据呢?这就需要数据分区这个模块来解决了。

数据分区模块负责元数据、数据分布的计算工作,为了便于表述,本文在此讲述下IoTDB的一些基础概念。

IoTDB基础概念

IoTDB模型是树状结构。如下所示,有存储组、设备、测点等概念。存储组可以理解为传统数据库中的表,在存储的时候,不同的存储组的数据是存储在不同的文件夹中的。下图中有root.sgccroot.ln两个存储组。叶子节点叫做测点,叶子节点的父节点叫做设备。从父节点root到叶子节点的全路径叫做时序。比如下图中有root.sgcc.wf01.status等4条时序。关于这些概念的详细描述,请参考IoTDB官方网站[1]。
Apache-IoTDB分布式架构初探

元数据分布

对于分布式IoTDB来说,有两种类型的元数据信息,一种是存储组、另外一种是时序。为什么说两种类型的元数据呢?因为这两种元数据是不同的复制组管理的。存储组是meta raft group管理的。而时序信息是由data raft group管理的。这样做的好处也是由于存储组元数据比较少,可以在各个节点保存;但是时序信息有可能比较大,有可能高达千万级别,如果每个节点都保存有相同的时序信息,每个节点会浪费太多的内存空间(这里也是内存和时间的trade off,当然每个节点都有时序的元数据信息是最好的,因为写入、查询会用到这些时序元数据信息。这里将在后面的文章中进行分析)。所以会把这些时序​数据信息分散到各个节点进行管理。

存储组分布

对于存储组这样的元数据,由于是meta raft group管理的。所以在每个节点都会保存。

时序分布

对于时序和数据的存储,是分布到多个节点进行分散存储的。分布的核心是一个数据分区算法,即如何判定我的(元)数据应该存储在哪台机器上?

IoTDB系统中预先设置了10000个slot,然后会均匀的把这些slot分到集群中各个IoTDB实例中,假设节点数是M,则集群环中的前M-1个节点每个节点分配的slot数是10000/M,最后一个节点是slot数就是10000-10000/M*(M-1),可能较前M-1个节点会多一些。

比如,在6个节点组成的集群的情况下,第一个节点会分配0-1665共1666个slot;第二个节点会分配1666-3331共1666个slot;第三个节点会分配3332-4997共1666个slot;第四个节点会分配4998-6663共1666个slot;第五个节点会分配6664-8329共1666个slot;而第六个节点就会分配8330-9999共1670个slot。
Apache-IoTDB分布式架构初探

得到了节点和slot id的关系,剩下的就是如何把数据映射到slot中。IoTDB采用了如下hash算法:

1
slot_id = hash(storage_group, time_partition) % total_slot_num

storage_group即存储组的名字,time_partition会根据元数据操作还是数据操作,执行不同的策略。

在计算时序的分布的时候,time_partition永远等于0,即可以理解为同一个存储组的所有时序都是保存在同一个data raft组中的。

数据分布

数据分布与时序元数据分布的计算公式都是一致的,区别在于其time_partition不是0,而是计算出来的。

1
2
time_partition = time_stamp % partition_interval
slot_id = hash(storage_group, time_partition )% total_slot_num

time_stamp是数据插入的时间戳,而partition_interval是时间分区,比如一周、一个月等。由于同一个时间分区的数据是保存在一起的,对于查询和过期数据删除都有优势。

如下所示,每个data raft group会有许多的slot,每个slot上面会有多个time partition,每个partition会有多个TsFile,一个TsFile会有属于这个时间分区的多条时序的具体数据,关于TsFile的详细描述,请参考官网TsFile介绍[2]。
Apache-IoTDB分布式架构初探

总结

分布式系统中,数据分布是绕不开的问题,本文主要讲述了Apache IoTDB的元数据和数据分布,希望读者能够批评指正。

参考文献

[1] Apache IoTDB
[2] Apache IoTDB TsFile