专题出品人： 黄东旭
PingCAP 联合创始人兼 CTO
分布式系统专家，架构师，开源软件作者。PingCAP 联合创始人兼 CTO，知名开源项目 Codis / TiDB / TiKV 主要作者，曾就职于微软亚洲研究院，网易有道及豌豆荚。2015 年创业，成立 PingCAP，致力于下一代开源分布式数据库的研发工作，擅长分布式存储系统设计与实现，高并发后端架构设计。
专题出品人： 黄东旭
PingCAP 联合创始人兼 CTO
专题：基础架构
本专题下的议题
企业级云端数据仓库的架构和实践
简丽荣 HashData 北京酷克数据科技有限公司 联合创始人兼CEO
所属专题：基础架构
课程概要
案例背景：随着数据量以及商业分析需求的急剧增长，传统的企业级数据仓库在应对高并发、高可用、高扩展性、易用性等挑战的时候越来越力不从心。
解决思路
面临问题：高并发、高可用、高扩展性
采取方法：通过元数据、计算和存储三者分离，多集群共享统一数据持久层的创新性架构解决传统数据仓库碰到的挑战
成果： 本分享主要介绍围绕对象存储和抽象服务而构建的云端数据仓库如何通过元数据、计算和存储三者分离，多集群共享统一数据持久层的创新性架构解决传统数据仓库碰到的挑战，以及云端数据仓库在大型金融机构的部署实践。最后，我们将对湖仓一体技术演进方向进行展望。
听众收益：
学习云原生数据仓库在某国有大行中的应用案例
深入了解云原生数据仓库的架构与应用
听众收益
了解深入 RPC 优化、多核计算优化以及大规模集群性能分析的方法。
学习云原生数据仓库在某国有大行中的应用案例
深入了解云原生数据仓库的架构与应用
TiDB 5.0 架构演进
张建 PingCAP 产研部门 Engineering Manager
所属专题：基础架构
课程概要
案例背景:
1. 随着业务增长，单机数据库的容量逐渐成为瓶颈，我们需要一个能自动扩缩容的分布式数据库
2. 随着集群能存储的数据容量增多，逐渐有偏分析类的业务接上来，但计算性能却不足以支撑这类业务，我们需要一个列存引擎，最好能支持 MPP
3. TP 和 AP 业务混合的跑在同一个，没有资源隔离又可能互相干扰，AP 和 TP 需要有一个隔离的办法
4. 在云上，数据库架构又将如何改变
解决思路:
TiDB 3.0 之前：构建并优化 TiDB 这一分布式关系型数据库
TiDB 4.0：引入 TiFlash 列存引擎，隔离 TP 和 AP 业务，使计算互不干扰
TiDB 5.0：引入 TiFlash MPP，解决计算瓶颈问题，AP 性能有了数量级的提升
与此同时，我们在探索云上数据库的新架构
成果：
在 TiDB 5.0 中我们支持了 Async Commit、Clustered Index、Coprocessor Cache 等功能，同时在稳定性、可用性方面有了巨大提升，使得我们 OLTP 核心功能得到了极大增强。同时我们也引入了 MPP，在 OLAP 计算能力和性能方面也得到了极大的提升。
这中间的架构和代码设计，测试过程都非常不容易。
听众收益
1. 了解 TiDB 的使用场景
2. 了解 TiDB 的架构设计和起发展过程
3. 了解关键特性的内部原理
强一致、高吞吐的分布式时序数据库架构设计
周信静 DolphinDB智臾科技 研发总监
所属专题：基础架构
课程概要
案例背景:
1. 随着物联网IoT场景的兴起，大量的时序数据需要存储与计算。时序场景不同于传统OLTP，其写入吞吐要求极高，同时数据量也远大于OLTP场景，必须要进行多机分布式存储。
2. 但是事务又是一个非常好的特性，许多工业控制IoT场景和金融场景需要事务，而现有时序数据库产品鲜有事务的支持。
3. 如何构建一个支持读写事务、高写入吞吐、读不影响写吞吐的分布式时序数据库是一个很大的挑战。
解决思路:
DolphinDB引入MVCC多版本控制+2PC分布式事务，实现数据写入强一致性，读不影响写。
DolphinDB利用时序数据插入多，更新极少的特点，设计实现了基于LSM的存储引擎，达到了写入高吞吐。
成果：
DolphinDB 实现了强一致性的分布式存储，支持基本的读写事务，同时具备高吞吐量的写入能力。
听众收益
1. 事务在时序数据库中的重要性
2. DolphinDB的整体架构与事务框架
3. DolphinDB的时序存储引擎设计
大规模任务调度在 AfterShip 的高可用实践
林添毅 AfterShip Platform - 技术经理
所属专题：基础架构
课程概要
案例背景:
公司调度系统每天运行着千万级别的任务调度，在实时性、可用性、稳定性、扩展性以及成本方面都面临着巨大的挑战。
解决思路:
1. 基于开源的任务队列 LMSTFY 重构调度系统，极大的简化整体系统架构，提升了系统的可维护性;
2. 通过有效的监控体系设计，提高整个调度系统的可见性，并且极大的提升了系统的可用性;
3. 设计在线动态扩容方案，来满足系统 10x 倍的容量扩展。
成果：
1. 系统的成本下降为原成本的 20%；
2. 系统可以轻松满足未来 10x 倍的容量增长；
3. 系统的可见性和稳定性得到了比较大的提升，可以做到分钟级别的告警和问题定位。
听众收益
1. 了解如何构建高可靠的分布式调度系统；
2. 了解分布式任务队列的设计；
3. 了解如何有效构建系统的可见性体系以提升系统稳定性。
分布式系统专家，架构师，开源软件作者。PingCAP 联合创始人兼 CTO，知名开源项目 Codis / TiDB / TiKV 主要作者，曾就职于微软亚洲研究院，网易有道及豌豆荚。2015 年创业，成立 PingCAP，致力于下一代开源分布式数据库的研发工作，擅长分布式存储系统设计与实现，高并发后端架构设计。
专题：基础架构
京ICP备09001521号