数据湖的探索与落地实践

案例来源:B站
会议地点:深圳
分享时间: 2021-07-31 8:45-9:35

郑志升  |

B站 大数据平台,实时体系负责人

郑志升,大数据平台研发负责人,加入B站之前曾任职于阿里巴巴,主导涵盖"数据埋点-传输接入-开发应用"全链路的中台建设,目前重点关注实时计算,数据湖,实时机器学习平台工程等方向。

课程概要

案例背景:
1.传统大数据离线按天调度,如何通过增量生产解决数据高效产出
2.超大规模的数据upsert更新落地
3.传统数仓到湖仓一体的平滑过渡机制

解决思路:
flink,iceberg,hudi
1、数据ETL的痛点
2、基于数据湖的增量ETL
3、增量Append及Upsert的实现
4、未来展望

成果:
引入数据湖,打造湖仓一体,落地数据从ods到dw层的湖化,包括append以及upsert类型数据

听众收益

1.了解数据湖在数仓体系的一些落地应用场景
2.了解如何基于Flink结合Iceberg/Hudi构建一套通用的ETL增量管道
3.了解数据在万亿规模下如何打造高性能和高可用的综合型ETL管道化服务

郑志升  |

B站
大数据平台,实时体系负责人

郑志升,大数据平台研发负责人,加入B站之前曾任职于阿里巴巴,主导涵盖"数据埋点-传输接入-开发应用"全链路的中台建设,目前重点关注实时计算,数据湖,实时机器学习平台工程等方向。

课程概要

案例背景:
1.传统大数据离线按天调度,如何通过增量生产解决数据高效产出
2.超大规模的数据upsert更新落地
3.传统数仓到湖仓一体的平滑过渡机制

解决思路:
flink,iceberg,hudi
1、数据ETL的痛点
2、基于数据湖的增量ETL
3、增量Append及Upsert的实现
4、未来展望

成果:
引入数据湖,打造湖仓一体,落地数据从ods到dw层的湖化,包括append以及upsert类型数据

听众收益

1.了解数据湖在数仓体系的一些落地应用场景
2.了解如何基于Flink结合Iceberg/Hudi构建一套通用的ETL增量管道
3.了解数据在万亿规模下如何打造高性能和高可用的综合型ETL管道化服务

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号