快手分布式任务调度系统实战

案例来源:快手
会议地点:深圳
分享时间: 2020-08-14 14:30-15:30

董西成  |

快手 数据中台工具链方向的技术负责人

快手数据中台工具链方向的技术负责人,之前就职于Hulu,负责大数据&AI基础架构方向,有超过8年的大数据架构研发经验,目前专注于数据中台的探索和实践。大数据书籍《Hadoop技术内幕》和《大数据技术体系详解》的作者。资深Hadoop技术实践者和研究者,拥有超过8年的大数据平台平台研发经验;曾在中国云计算大会(CieCloud),世界软件大会(WOT),中国架构师大会(SACC)等担任主持人和演讲嘉宾;《Hadoop技术内幕》系列丛书作者。

课程概要

快手最初采用了开源Airflow作为分布式任务调度系统,但随着业务的迅速发展,面临调度延迟、故障率、扩展性等方面的重大挑战,亟需数据中台自研下一代工作流调度引擎,为此快手数据中台团队从0到1构建了分布式任务调度引擎,并推广到所有业务线,尤其是其引入的任务分级调度和恢复的能力,在春晚红包活动的离线数据链路稳定性保障中发挥了巨大作用。

听众收益

1. 数据中台下任务调度系统的设计与实现
2. 任务调度系统的广泛应用
3. 任务调度系统在数据中台中的作用

董西成  |

快手
数据中台工具链方向的技术负责人

快手数据中台工具链方向的技术负责人,之前就职于Hulu,负责大数据&AI基础架构方向,有超过8年的大数据架构研发经验,目前专注于数据中台的探索和实践。大数据书籍《Hadoop技术内幕》和《大数据技术体系详解》的作者。资深Hadoop技术实践者和研究者,拥有超过8年的大数据平台平台研发经验;曾在中国云计算大会(CieCloud),世界软件大会(WOT),中国架构师大会(SACC)等担任主持人和演讲嘉宾;《Hadoop技术内幕》系列丛书作者。

课程概要

快手最初采用了开源Airflow作为分布式任务调度系统,但随着业务的迅速发展,面临调度延迟、故障率、扩展性等方面的重大挑战,亟需数据中台自研下一代工作流调度引擎,为此快手数据中台团队从0到1构建了分布式任务调度引擎,并推广到所有业务线,尤其是其引入的任务分级调度和恢复的能力,在春晚红包活动的离线数据链路稳定性保障中发挥了巨大作用。

听众收益

1. 数据中台下任务调度系统的设计与实现
2. 任务调度系统的广泛应用
3. 任务调度系统在数据中台中的作用

CopyRight © 2008-2020 Msup & 高可用架构

京ICP备09001521号