王耿亮 |
Databricks 资深工程师
Apache Spark committer, 专注于Apache Spark SQL和Databricks SQL Analytics的研发。
课程概要
案例背景:
Databricks很多客户将各种各样的数据通过流写入到数据湖中,并且其通常需要支持实时数据查询、历史数据查询、数据回滚、增量修改等业务。理想的情况下数据湖的数据应该是可靠、高质量的,能够使用于推荐引擎和风险控制。如何帮助客户设计支持ACID的数据湖是一个很大的挑战。
解决思路:
Databricks使用基于Delta Lake的湖仓一体很好的解决了这个痛点。湖仓一体是融合数据湖和数据仓库优势的新型大数据方案。
成果:
目前有超过1000个客户都在使用Delta Lake,并且很多客户表示使用Delta Lake大大缩减了平台成本和提高了数据质量。
听众收益
1. 构建湖仓一体过程中的痛点以及Delta Lake如何解决问题
2. Delta Lake原理简单介绍
3. 通过Demo直观了解以上内容
听众收益
1. 构建数据湖过程中的痛点以及Delta Lake如何解决问题
2. Delta原理简单介绍
3. 通过Demo直观了解以上内容
王耿亮 |
Databricks
资深工程师
Apache Spark committer, 专注于Apache Spark SQL和Databricks SQL Analytics的研发。
课程概要
案例背景:
Databricks很多客户将各种各样的数据通过流写入到数据湖中,并且其通常需要支持实时数据查询、历史数据查询、数据回滚、增量修改等业务。理想的情况下数据湖的数据应该是可靠、高质量的,能够使用于推荐引擎和风险控制。如何帮助客户设计支持ACID的数据湖是一个很大的挑战。
解决思路:
Databricks使用基于Delta Lake的湖仓一体很好的解决了这个痛点。湖仓一体是融合数据湖和数据仓库优势的新型大数据方案。
成果:
目前有超过1000个客户都在使用Delta Lake,并且很多客户表示使用Delta Lake大大缩减了平台成本和提高了数据质量。
听众收益
1. 构建湖仓一体过程中的痛点以及Delta Lake如何解决问题
2. Delta Lake原理简单介绍
3. 通过Demo直观了解以上内容
听众收益
1. 构建数据湖过程中的痛点以及Delta Lake如何解决问题
2. Delta原理简单介绍
3. 通过Demo直观了解以上内容