强一致、高吞吐的分布式时序数据库架构设计

基础架构

2021-07-30 13:30--14:30

案例背景:
1. 随着物联网IoT场景的兴起，大量的时序数据需要存储与计算。时序场景不同于传统OLTP，其写入吞吐要求极高，同时数据量也远大于OLTP场景，必须要进行多机分布式存储。
2. 但是事务又是一个非常好的特性，许多工业控制IoT场景和金融场景需要事务，而现有时序数据库产品鲜有事务的支持。
3. 如何构建一个支持读写事务、高写入吞吐、读不影响写吞吐的分布式时序数据库是一个很大的挑战。

解决思路:
DolphinDB引入MVCC多版本控制+2PC分布式事务，实现数据写入强一致性，读不影响写。
DolphinDB利用时序数据插入多，更新极少的特点，设计实现了基于LSM的存储引擎，达到了写入高吞吐。

成果：
DolphinDB 实现了强一致性的分布式存储，支持基本的读写事务，同时具备高吞吐量的写入能力。