Dorado: 字节跳动一站式大数据任务开发调度平台实践

案例来源:字节跳动
会议地点:深圳
分享时间: 2019-06-22 09:00-10:00

丁桂涛  |

字节跳动 数据平台架构师

目前负责字节跳动数据中心大数据任务开发调度平台 Dorado 的建设,见证了 Dorado 系统从 0 到 1 及迭代升级的全过程,在大数据平台架构方向有多年的实践经验。

课程概要

案例背景介绍:
在字节跳动这样一个数据驱动的公司里,有很多大数据开发的场景。随着业务的快速发展,我们在大数据任务的开发和调度方面遇到了很多挑战: 1. 任务依赖关系复杂,难以管理; 2. 任务量大,调度和执行效率低;3. 开发门槛高,运维成本大; 4. ... ... 基于实际的业务场景,我们研发了全新的任务开发调度平台:Dorado。

解决思路/成功要点:
Dorado 系统对任务的开发、调度、执行进行了服务拆分,提供了分布式、高可用、可扩展的一站式大数据任务开发和调度云平台。

成果:
Dorado 平台已经同时支持了离线和流式任务的托管,能够保障节点任务和工作流任务的秒级调度,支持 MR、Spark、Shell 等任务类型的开发执行和各异构数据源之间的一键高效传输,支持指定节点的重跑和下游回溯,目前正服务于字节跳动多条业务线的数据开发和调度工作。

听众收益

1. 了解大数据任务开发的常见业务场景;2. 了解分布式任务/工作流调度的架构设计;3. 分享平台新老升级的心路历程

丁桂涛  |

字节跳动
数据平台架构师

目前负责字节跳动数据中心大数据任务开发调度平台 Dorado 的建设,见证了 Dorado 系统从 0 到 1 及迭代升级的全过程,在大数据平台架构方向有多年的实践经验。

课程概要

案例背景介绍:
在字节跳动这样一个数据驱动的公司里,有很多大数据开发的场景。随着业务的快速发展,我们在大数据任务的开发和调度方面遇到了很多挑战: 1. 任务依赖关系复杂,难以管理; 2. 任务量大,调度和执行效率低;3. 开发门槛高,运维成本大; 4. ... ... 基于实际的业务场景,我们研发了全新的任务开发调度平台:Dorado。

解决思路/成功要点:
Dorado 系统对任务的开发、调度、执行进行了服务拆分,提供了分布式、高可用、可扩展的一站式大数据任务开发和调度云平台。

成果:
Dorado 平台已经同时支持了离线和流式任务的托管,能够保障节点任务和工作流任务的秒级调度,支持 MR、Spark、Shell 等任务类型的开发执行和各异构数据源之间的一键高效传输,支持指定节点的重跑和下游回溯,目前正服务于字节跳动多条业务线的数据开发和调度工作。

听众收益

1. 了解大数据任务开发的常见业务场景;2. 了解分布式任务/工作流调度的架构设计;3. 分享平台新老升级的心路历程

CopyRight © 2008-2020 Msup & 高可用架构

京ICP备09001521号