陈满意  |

美图公司

高级技术经理

即将开始的GIAC课程

美图数据中台建设实践(在线直播)

数据中台

2021-07-31 13:30--14:30

案例背景:
随着公司发展,业务场景不断变多、数据量不断增长,公司在数据应用面临着计算压力、新老业务系统兼容、定制性需求增多变快、计算资源整合等问题,因此公司急需一套简单易用的大数据平台来解决上述问题。

解决思路:
通过不断演进大数据平台,集数据采集、数据计算分析、数据质量管理、可视化为一体。通过数据质量管理平台,对埋点进行管理、监控、云控、调试等,保证数据质量和开发效率。同时数据平台在计算方面整合各类离线和实时计算引擎,提供了智能化调度,在数据方面提供元数据信息、血缘关系、使用信息,操作上也实现了sql和简单、工程化方式并存,并且进行拖拽即可实现可视化报表需求。当然,在计算效率与成本方面我们也踩一些坑,最后通过计算引擎优化、数据管理,也实现了比较好的收益。

成果:
目前美图大数据平台解决多场景数据应用需求,加快了需求的迭代速度,绝大部分场景都可以通过简单的界面操作或者sql解决,同时支持用户以工程方式接入。

2015年加入美图公司,主导大数据平台开发与应用。12年的相关领域工作经验,在JavaEE中间件、数据安全、大数据平台与基础架构等方面有多年的研发实践和团队管理经验,目前专注于大数据体系建设以及数据价值落地。

即将开始的GIAC课程

美图数据中台建设实践(在线直播)

数据中台

2021-07-31 13:30--14:30

案例背景:
随着公司发展,业务场景不断变多、数据量不断增长,公司在数据应用面临着计算压力、新老业务系统兼容、定制性需求增多变快、计算资源整合等问题,因此公司急需一套简单易用的大数据平台来解决上述问题。

解决思路:
通过不断演进大数据平台,集数据采集、数据计算分析、数据质量管理、可视化为一体。通过数据质量管理平台,对埋点进行管理、监控、云控、调试等,保证数据质量和开发效率。同时数据平台在计算方面整合各类离线和实时计算引擎,提供了智能化调度,在数据方面提供元数据信息、血缘关系、使用信息,操作上也实现了sql和简单、工程化方式并存,并且进行拖拽即可实现可视化报表需求。当然,在计算效率与成本方面我们也踩一些坑,最后通过计算引擎优化、数据管理,也实现了比较好的收益。

成果:
目前美图大数据平台解决多场景数据应用需求,加快了需求的迭代速度,绝大部分场景都可以通过简单的界面操作或者sql解决,同时支持用户以工程方式接入。

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号