强一致、高吞吐的分布式时序数据库架构设计

案例来源:DolphinDB智臾科技
会议地点:深圳
分享时间: 2021-07-30 13:30-14:30

周信静  |

DolphinDB智臾科技 研发总监

DolphinDB研发总监,前腾讯云数据库内核研发工程师。目前主要负责DolphinDB时序存储引擎和多模态引擎研发工作。

课程概要

案例背景:
1. 随着物联网IoT场景的兴起,大量的时序数据需要存储与计算。时序场景不同于传统OLTP,其写入吞吐要求极高,同时数据量也远大于OLTP场景,必须要进行多机分布式存储。
2. 但是事务又是一个非常好的特性,许多工业控制IoT场景和金融场景需要事务,而现有时序数据库产品鲜有事务的支持。
3. 如何构建一个支持读写事务、高写入吞吐、读不影响写吞吐的分布式时序数据库是一个很大的挑战。

解决思路:
DolphinDB引入MVCC多版本控制+2PC分布式事务,实现数据写入强一致性,读不影响写。
DolphinDB利用时序数据插入多,更新极少的特点,设计实现了基于LSM的存储引擎,达到了写入高吞吐。

成果:
DolphinDB 实现了强一致性的分布式存储,支持基本的读写事务,同时具备高吞吐量的写入能力。

听众收益

1. 事务在时序数据库中的重要性
2. DolphinDB的整体架构与事务框架
3. DolphinDB的时序存储引擎设计

周信静  |

DolphinDB智臾科技
研发总监

DolphinDB研发总监,前腾讯云数据库内核研发工程师。目前主要负责DolphinDB时序存储引擎和多模态引擎研发工作。

课程概要

案例背景:
1. 随着物联网IoT场景的兴起,大量的时序数据需要存储与计算。时序场景不同于传统OLTP,其写入吞吐要求极高,同时数据量也远大于OLTP场景,必须要进行多机分布式存储。
2. 但是事务又是一个非常好的特性,许多工业控制IoT场景和金融场景需要事务,而现有时序数据库产品鲜有事务的支持。
3. 如何构建一个支持读写事务、高写入吞吐、读不影响写吞吐的分布式时序数据库是一个很大的挑战。

解决思路:
DolphinDB引入MVCC多版本控制+2PC分布式事务,实现数据写入强一致性,读不影响写。
DolphinDB利用时序数据插入多,更新极少的特点,设计实现了基于LSM的存储引擎,达到了写入高吞吐。

成果:
DolphinDB 实现了强一致性的分布式存储,支持基本的读写事务,同时具备高吞吐量的写入能力。

听众收益

1. 事务在时序数据库中的重要性
2. DolphinDB的整体架构与事务框架
3. DolphinDB的时序存储引擎设计

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号