使用Delta Lake构建湖仓一体

案例来源:Databricks
会议地点:深圳
分享时间: 2021-07-31 11:15-12:05

王耿亮  |

Databricks 资深工程师

Apache Spark committer, 专注于Apache Spark SQL和Databricks SQL Analytics的研发。

课程概要

案例背景:
Databricks很多客户将各种各样的数据通过流写入到数据湖中,并且其通常需要支持实时数据查询、历史数据查询、数据回滚、增量修改等业务。理想的情况下数据湖的数据应该是可靠、高质量的,能够使用于推荐引擎和风险控制。如何帮助客户设计支持ACID的数据湖是一个很大的挑战。

解决思路:
Databricks使用基于Delta Lake的湖仓一体很好的解决了这个痛点。湖仓一体是融合数据湖和数据仓库优势的新型大数据方案。

成果:
目前有超过1000个客户都在使用Delta Lake,并且很多客户表示使用Delta Lake大大缩减了平台成本和提高了数据质量。
听众收益
1. 构建湖仓一体过程中的痛点以及Delta Lake如何解决问题
2. Delta Lake原理简单介绍
3. 通过Demo直观了解以上内容

听众收益

1. 构建数据湖过程中的痛点以及Delta Lake如何解决问题
2. Delta原理简单介绍
3. 通过Demo直观了解以上内容

王耿亮  |

Databricks
资深工程师

Apache Spark committer, 专注于Apache Spark SQL和Databricks SQL Analytics的研发。

课程概要

案例背景:
Databricks很多客户将各种各样的数据通过流写入到数据湖中,并且其通常需要支持实时数据查询、历史数据查询、数据回滚、增量修改等业务。理想的情况下数据湖的数据应该是可靠、高质量的,能够使用于推荐引擎和风险控制。如何帮助客户设计支持ACID的数据湖是一个很大的挑战。

解决思路:
Databricks使用基于Delta Lake的湖仓一体很好的解决了这个痛点。湖仓一体是融合数据湖和数据仓库优势的新型大数据方案。

成果:
目前有超过1000个客户都在使用Delta Lake,并且很多客户表示使用Delta Lake大大缩减了平台成本和提高了数据质量。
听众收益
1. 构建湖仓一体过程中的痛点以及Delta Lake如何解决问题
2. Delta Lake原理简单介绍
3. 通过Demo直观了解以上内容

听众收益

1. 构建数据湖过程中的痛点以及Delta Lake如何解决问题
2. Delta原理简单介绍
3. 通过Demo直观了解以上内容

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号