董西成 |
快手 数据中台工具链方向的技术负责人
快手数据中台工具链方向的技术负责人,之前就职于Hulu,负责大数据&AI基础架构方向,有超过8年的大数据架构研发经验,目前专注于数据中台的探索和实践。大数据书籍《Hadoop技术内幕》和《大数据技术体系详解》的作者。资深Hadoop技术实践者和研究者,拥有超过8年的大数据平台平台研发经验;曾在中国云计算大会(CieCloud),世界软件大会(WOT),中国架构师大会(SACC)等担任主持人和演讲嘉宾;《Hadoop技术内幕》系列丛书作者。
课程概要
快手最初采用了开源Airflow作为分布式任务调度系统,但随着业务的迅速发展,面临调度延迟、故障率、扩展性等方面的重大挑战,亟需数据中台自研下一代工作流调度引擎,为此快手数据中台团队从0到1构建了分布式任务调度引擎,并推广到所有业务线,尤其是其引入的任务分级调度和恢复的能力,在春晚红包活动的离线数据链路稳定性保障中发挥了巨大作用。
听众收益
1. 数据中台下任务调度系统的设计与实现
2. 任务调度系统的广泛应用
3. 任务调度系统在数据中台中的作用
董西成 |
快手
数据中台工具链方向的技术负责人
快手数据中台工具链方向的技术负责人,之前就职于Hulu,负责大数据&AI基础架构方向,有超过8年的大数据架构研发经验,目前专注于数据中台的探索和实践。大数据书籍《Hadoop技术内幕》和《大数据技术体系详解》的作者。资深Hadoop技术实践者和研究者,拥有超过8年的大数据平台平台研发经验;曾在中国云计算大会(CieCloud),世界软件大会(WOT),中国架构师大会(SACC)等担任主持人和演讲嘉宾;《Hadoop技术内幕》系列丛书作者。
课程概要
快手最初采用了开源Airflow作为分布式任务调度系统,但随着业务的迅速发展,面临调度延迟、故障率、扩展性等方面的重大挑战,亟需数据中台自研下一代工作流调度引擎,为此快手数据中台团队从0到1构建了分布式任务调度引擎,并推广到所有业务线,尤其是其引入的任务分级调度和恢复的能力,在春晚红包活动的离线数据链路稳定性保障中发挥了巨大作用。
听众收益
1. 数据中台下任务调度系统的设计与实现
2. 任务调度系统的广泛应用
3. 任务调度系统在数据中台中的作用