贝壳OLAP平台建设实践

案例来源:贝壳找房(北京)科技有限公司
会议地点:深圳
分享时间: 2020-08-14 15:50-16:50

肖赞  |

贝壳找房(北京)科技有限公司 数据智能中心资深研发工程师

贝壳找房资深研发工程师,OLAP平台负责人。毕业于北京大学,获得博士学位。在分布式系统、JavaEE中间件和大数据系统等方面有多年的研究和实践经验,拥有完整的大数据平台和基础架构研发经验,对分布式存储、数据平台架构、数据仓库等领域有深入的理解和丰富的实践经验。

课程概要

案例背景:
这个背景下项目遇到的挑战, 单OLAP引擎Kylin无法法满足公司多样的业务场景需求,具体表现在:Kylin预计算消耗的存储和计算资源较大;随着维度数目的增加Cuboid 的数量会爆炸式地增长,导致Kylin实际能够支持的维度有限,无法满足有些较多维度指标需求;预计算模式灵活性不够,指标变更需要回刷所有历史数据,对一些数仓场景没法支持,例如缓慢变化维度、多值维度,不支持明细数据的查询。并且,Kylin也无法满足公司日益增长的实时指标需求。

解决思路:
主要解决思路是解耦OLAP平台对Kylin的强依赖,让平台能够支持其他OLAP引擎,同时保持对上层应用的透明。我们在指标平台层引入一个抽象层,来解耦其对Kylin的依赖,指标开发人员在抽象层进行数据建模,而由指标平台将抽象模型映射到具体不同的OLAP引擎,同时扩展查询引擎功能对指标平台提供统一查询接口,屏蔽底层OLAP平台查询语言差异,并在查询引擎层支持统一缓慢,智能路由等功能。目前我们已经支持Druid引擎、Clickhouse引擎,Doris引擎也即将上线。

成果:
目前项目达到预期的结果,基于Druid和Clickhouse的指标均上线服务,并能够在上层应用透明的情况实现指标在不同引擎的迁移,在运行时也能够实现引擎的动态切换(多个引擎都存在数据时)。

听众收益

1. 了解OLAP平台设计;
2. 了解业界流行的OLAP引擎Kylin、Druid、Doris和Clickhouse及其各自应用场景;
3. 了解数据仓库建模;
4. 了解指标查询性能优化的最佳实践

肖赞  |

贝壳找房(北京)科技有限公司
数据智能中心资深研发工程师

贝壳找房资深研发工程师,OLAP平台负责人。毕业于北京大学,获得博士学位。在分布式系统、JavaEE中间件和大数据系统等方面有多年的研究和实践经验,拥有完整的大数据平台和基础架构研发经验,对分布式存储、数据平台架构、数据仓库等领域有深入的理解和丰富的实践经验。

课程概要

案例背景:
这个背景下项目遇到的挑战, 单OLAP引擎Kylin无法法满足公司多样的业务场景需求,具体表现在:Kylin预计算消耗的存储和计算资源较大;随着维度数目的增加Cuboid 的数量会爆炸式地增长,导致Kylin实际能够支持的维度有限,无法满足有些较多维度指标需求;预计算模式灵活性不够,指标变更需要回刷所有历史数据,对一些数仓场景没法支持,例如缓慢变化维度、多值维度,不支持明细数据的查询。并且,Kylin也无法满足公司日益增长的实时指标需求。

解决思路:
主要解决思路是解耦OLAP平台对Kylin的强依赖,让平台能够支持其他OLAP引擎,同时保持对上层应用的透明。我们在指标平台层引入一个抽象层,来解耦其对Kylin的依赖,指标开发人员在抽象层进行数据建模,而由指标平台将抽象模型映射到具体不同的OLAP引擎,同时扩展查询引擎功能对指标平台提供统一查询接口,屏蔽底层OLAP平台查询语言差异,并在查询引擎层支持统一缓慢,智能路由等功能。目前我们已经支持Druid引擎、Clickhouse引擎,Doris引擎也即将上线。

成果:
目前项目达到预期的结果,基于Druid和Clickhouse的指标均上线服务,并能够在上层应用透明的情况实现指标在不同引擎的迁移,在运行时也能够实现引擎的动态切换(多个引擎都存在数据时)。

听众收益

1. 了解OLAP平台设计;
2. 了解业界流行的OLAP引擎Kylin、Druid、Doris和Clickhouse及其各自应用场景;
3. 了解数据仓库建模;
4. 了解指标查询性能优化的最佳实践

CopyRight © 2008-2020 Msup & 高可用架构

京ICP备09001521号