Greenplum 混合交易/分析处理 (HTAP) 之路

案例来源:Pivotal
会议地点:深圳
分享时间: 2019-06-22 10:00-11:00

姚延栋  |

Pivotal Greenplum 研发总监

纽交所上市企业 Pivotal (NYSE: PVTL)全球研发总监,在全球范围内为Greenplum技术发展路线提供战略输入。在中国和Pivotal中国MD联合创建了Pivotal中国研发中心,发起了新一代大数据平台Greenplum中国开源社区,奠定了包括阿里云、腾讯云和百度云在内的广大开源Greenplum用户群。在Pivotal中国招募并建设了Greenplum和HAWQ团队成为大数据和机器学习的意见领袖,培养团队成员同时成为Apache和Greenplum代码提交者。在创建Greenplum/Pivotal中国之前, 曾在Sun Microsystem 与 Symantec 系统和存储部门工作多年。于 2005年以荣誉研究生毕业于中科院软件所, 拥有多项国内外云计算和大数据专利,并著有《Greenplum:从大数据战略到实现》。

吕正华  |

Pivotal Senior Software Engineer (高级软件工程师)

2017年加入Pivotal Data R&D, MPP组, 从事Greenplum Database开发工作。2014-2016年于豆瓣担任算法工程师,参与豆瓣多产品线的推荐系统、数据挖掘 以及分布式计算框架的研发。2014年毕业于清华大学电子工程系,工学硕士。2011年毕业于北京邮电大学信息与通信工程专业,工学学士,同年保送至清华电子系。

课程概要

课程背景:
在线交易型(事务型,OLTP)业务使用一种数据库,分析型业务(OLAP)使用另一种数据库,这是目前很多企业和组织的典型做法。这种架构代价高、复杂度高而效率较低,需要投资两套人马开发和运维两套系统,为了保持两套系统之间的数据同步,还需要处理 ETL 带来的所有复杂问题

解决思路/成功要点:
随着硬件能力的提升和分布式数据库技术的发展,很多企业级数据库开始在夯实自己的传统强项(OLAP或者OLTP)的同时,支持另外一种业务类型(OLTP或者OLAP)。作为 OLAP 领域最出色开源分布式数据库,Greenplum 也在朝向 HTAP 发展。 并且在 Greenplum 6.0 中解决了大量技术难点,譬如分布式锁、分布式事务等,使得 Greenplum 成为一款真正意义上的 HTAP 数据库。

成果:
Greenplum 6 OLAP 性能持续增强的情况下,其 OLTP 性能实现高达百倍的性能提升。来自阿里云的工程师曾经做过一个性能测试,详情参见:https://github.com/digoal/blog/blob/master/201809/20180926_01.md
提前阅读以下文档,对了解议题更有帮助:
链接: https://greenplum.cn/2019/05/14/greenplum-6-oltp-60x/

听众收益

1)了解 Greenplum HTAP 新特性和能力;
2)了解实现数百倍性能提升的技术;
3)在自己企业内部,通过 Greenplum的 HTAP 能力解决自己业务的需求,真正实现一套数据库搞定业务、分析甚至流式等各种场景

姚延栋  |

Pivotal
Greenplum 研发总监

吕正华  |

Pivotal
Senior Software Engineer (高级软件工程师)

纽交所上市企业 Pivotal (NYSE: PVTL)全球研发总监,在全球范围内为Greenplum技术发展路线提供战略输入。在中国和Pivotal中国MD联合创建了Pivotal中国研发中心,发起了新一代大数据平台Greenplum中国开源社区,奠定了包括阿里云、腾讯云和百度云在内的广大开源Greenplum用户群。在Pivotal中国招募并建设了Greenplum和HAWQ团队成为大数据和机器学习的意见领袖,培养团队成员同时成为Apache和Greenplum代码提交者。在创建Greenplum/Pivotal中国之前, 曾在Sun Microsystem 与 Symantec 系统和存储部门工作多年。于 2005年以荣誉研究生毕业于中科院软件所, 拥有多项国内外云计算和大数据专利,并著有《Greenplum:从大数据战略到实现》。

课程概要

课程背景:
在线交易型(事务型,OLTP)业务使用一种数据库,分析型业务(OLAP)使用另一种数据库,这是目前很多企业和组织的典型做法。这种架构代价高、复杂度高而效率较低,需要投资两套人马开发和运维两套系统,为了保持两套系统之间的数据同步,还需要处理 ETL 带来的所有复杂问题

解决思路/成功要点:
随着硬件能力的提升和分布式数据库技术的发展,很多企业级数据库开始在夯实自己的传统强项(OLAP或者OLTP)的同时,支持另外一种业务类型(OLTP或者OLAP)。作为 OLAP 领域最出色开源分布式数据库,Greenplum 也在朝向 HTAP 发展。 并且在 Greenplum 6.0 中解决了大量技术难点,譬如分布式锁、分布式事务等,使得 Greenplum 成为一款真正意义上的 HTAP 数据库。

成果:
Greenplum 6 OLAP 性能持续增强的情况下,其 OLTP 性能实现高达百倍的性能提升。来自阿里云的工程师曾经做过一个性能测试,详情参见:https://github.com/digoal/blog/blob/master/201809/20180926_01.md
提前阅读以下文档,对了解议题更有帮助:
链接: https://greenplum.cn/2019/05/14/greenplum-6-oltp-60x/

听众收益

1)了解 Greenplum HTAP 新特性和能力;
2)了解实现数百倍性能提升的技术;
3)在自己企业内部,通过 Greenplum的 HTAP 能力解决自己业务的需求,真正实现一套数据库搞定业务、分析甚至流式等各种场景

CopyRight © 2008-2019 Msup & 高可用架构