Dorado: 字节跳动一站式大数据任务开发调度平台实践

大数据前沿

2019-06-22 09:00--10:00

案例背景介绍：
在字节跳动这样一个数据驱动的公司里，有很多大数据开发的场景。随着业务的快速发展，我们在大数据任务的开发和调度方面遇到了很多挑战： 1. 任务依赖关系复杂，难以管理； 2. 任务量大，调度和执行效率低；3. 开发门槛高，运维成本大； 4. ... ... 基于实际的业务场景，我们研发了全新的任务开发调度平台：Dorado。

解决思路/成功要点：
Dorado 系统对任务的开发、调度、执行进行了服务拆分，提供了分布式、高可用、可扩展的一站式大数据任务开发和调度云平台。

成果：
Dorado 平台已经同时支持了离线和流式任务的托管，能够保障节点任务和工作流任务的秒级调度，支持 MR、Spark、Shell 等任务类型的开发执行和各异构数据源之间的一键高效传输，支持指定节点的重跑和下游回溯，目前正服务于字节跳动多条业务线的数据开发和调度工作。