基于Flink的高可靠实时ETL系统

案例来源:腾讯
会议地点:深圳
分享时间: 2020-08-14 16:50-17:50

施晓罡  |

腾讯 数据平台部实时计算负责人

腾讯数据平台部实时计算项目负责人。毕业于北京大学,获得博士学位。Apache Flink项目Committer。在SIGMOD, TODS和IPDPS等国际顶级会议和期刊上发表过多篇论文,并担任KDD,DASFAA等国际顶级会议的程序委员会委员。

课程概要

Oceanus-ETL是腾讯内部基于Oceanus实现的大数据ETL平台,每天需要处理超过40万亿的消息,在保证低延迟和高吞吐的情况下,还需要在故障情况下仍能保证数据端到端的exactly-once,提供高可靠的一致性语义。

听众收益

1. 海量数据规模下的数据etl架构设计
2. 高一致性协议
3. 存储性能优化

施晓罡  |

腾讯
数据平台部实时计算负责人

腾讯数据平台部实时计算项目负责人。毕业于北京大学,获得博士学位。Apache Flink项目Committer。在SIGMOD, TODS和IPDPS等国际顶级会议和期刊上发表过多篇论文,并担任KDD,DASFAA等国际顶级会议的程序委员会委员。

课程概要

Oceanus-ETL是腾讯内部基于Oceanus实现的大数据ETL平台,每天需要处理超过40万亿的消息,在保证低延迟和高吞吐的情况下,还需要在故障情况下仍能保证数据端到端的exactly-once,提供高可靠的一致性语义。

听众收益

1. 海量数据规模下的数据etl架构设计
2. 高一致性协议
3. 存储性能优化

CopyRight © 2008-2020 Msup & 高可用架构

京ICP备09001521号