专题出品人: 董西成

快手 数据中台工具链方向的技术负责人

专题:大数据架构

围绕大数据平台,既探讨大数据的前沿技术,例如数据中台、Flink、Clickhouse等热门技术,同时也囊括Hadoop、Spark等成熟技术。

本专题下的议题

闲鱼毫秒级实时复杂事件处理架构演进
李旭 阿里巴巴 闲鱼技术团队技术专家
所属专题:大数据架构

课程概要

背景介绍:
互联网背景下,效率是一个永恒的主题。闲鱼作为阿里巴巴旗下全球最大的闲置交易社区,致力于为用户提供的一个高效可靠的闲置交易平台,用户的每一秒都非常宝贵。为提升用户使用效率,同时最大化用户的价值,在不同的使用场景下,能够给予用户实时的引导策略显得特别重要。
面对闲鱼日益庞大的流量和复杂多变的场景,如何快速的识别用户使用场景和行为模式,从而给予及时的引导成为我们必须要解决的问题。

解决思路/成功要点:
问题抽象成如何描述用户的使用场景和行为,然后实时的匹配用户行为特征,最后执行响应策略。
基于这种抽象我们构建了事件驱动的系统架构:用户使用场景和行为统一抽象成Event,通过高效的数据管道采集后流入Flink做实时复杂事件的匹配,匹配结果以消息的方式输出,通知响应模块做相应的Action。
为了提升开发效率,我们定义一种简洁的DSL语言来描述复杂事件的计算,并在Flink上实现,做了大量针对性的计算优化。
同时为了减少延迟和云端负载,对于一些简单场景,我们在端上直接计算给出响应,因此在端上也实现一套实时复杂计算处理的框架,以支持DSL在端侧计算。

要点:
1、 用户的使用场景和行为统一抽象成事件(Event)。
2、 采用高效的管道配置化的方式采集用户的不同行为。
3、 定义可扩展的用户行为数据结构,统一数据采集与清洗过程。
4、 定义一种简洁的DSL语言,表达复杂多变的计算规则。
5、 构建可视化的管理界面。支持编写DSL、在线调试、任务管理、运行监控、结果分析。
6、 基于Flink构建实时复杂事件处理系统,支持DSL的编译运行。
7、 针对性的优化Flink的计算性能。
8、 构建轻量级的端实时计算框架,支持DSL运行,简单场景在端上直接完成计算,最大限度的减少延迟和云端负载。

成果:
构建了基于事件驱动架构的系统,满足类似事件->模式识别->响应场景下的业务需求,高效的支撑了业务迭代上线,在合适时机引导用户的行为更好的满足了用户的需求,同时提升了用户的参与度。是支撑闲鱼增长的重要引擎。
业务活动开发周期从2-3天降低到2-3小时完成,并且有可靠的运行过程管理和实时可视化结果分析。端到云到端的整体计算延迟控制在2s内,解决了过去难以实现的大规模复杂事件匹配问题。端侧本地计算毫秒级响应。在闲鱼内部支持了大量业务场景,目前开始在阿里集团内其他BU推广落地。

听众收益

1、了解高可用、可扩展的基于事件驱动的系统架构
2、如何定义和实现自己的DSL语言以应对复杂事件计算表达诉求
3、基于Flink实时计算的原理与性能优化
4、了解事件处理系统人机交互设计
5、了解如何构建轻量级的端实时计算框架

快手分布式任务调度系统实战
董西成 快手 数据中台工具链方向的技术负责人
所属专题:大数据架构

课程概要

快手最初采用了开源Airflow作为分布式任务调度系统,但随着业务的迅速发展,面临调度延迟、故障率、扩展性等方面的重大挑战,亟需数据中台自研下一代工作流调度引擎,为此快手数据中台团队从0到1构建了分布式任务调度引擎,并推广到所有业务线,尤其是其引入的任务分级调度和恢复的能力,在春晚红包活动的离线数据链路稳定性保障中发挥了巨大作用。

听众收益

1. 数据中台下任务调度系统的设计与实现
2. 任务调度系统的广泛应用
3. 任务调度系统在数据中台中的作用

基于Flink的高可靠实时ETL系统
施晓罡 腾讯 数据平台部实时计算负责人
所属专题:大数据架构

课程概要

Oceanus-ETL是腾讯内部基于Oceanus实现的大数据ETL平台,每天需要处理超过40万亿的消息,在保证低延迟和高吞吐的情况下,还需要在故障情况下仍能保证数据端到端的exactly-once,提供高可靠的一致性语义。

听众收益

1. 海量数据规模下的数据etl架构设计
2. 高一致性协议
3. 存储性能优化

贝壳OLAP平台建设实践
肖赞 贝壳找房(北京)科技有限公司 数据智能中心资深研发工程师
所属专题:大数据架构

课程概要

案例背景:
这个背景下项目遇到的挑战, 单OLAP引擎Kylin无法法满足公司多样的业务场景需求,具体表现在:Kylin预计算消耗的存储和计算资源较大;随着维度数目的增加Cuboid 的数量会爆炸式地增长,导致Kylin实际能够支持的维度有限,无法满足有些较多维度指标需求;预计算模式灵活性不够,指标变更需要回刷所有历史数据,对一些数仓场景没法支持,例如缓慢变化维度、多值维度,不支持明细数据的查询。并且,Kylin也无法满足公司日益增长的实时指标需求。

解决思路:
主要解决思路是解耦OLAP平台对Kylin的强依赖,让平台能够支持其他OLAP引擎,同时保持对上层应用的透明。我们在指标平台层引入一个抽象层,来解耦其对Kylin的依赖,指标开发人员在抽象层进行数据建模,而由指标平台将抽象模型映射到具体不同的OLAP引擎,同时扩展查询引擎功能对指标平台提供统一查询接口,屏蔽底层OLAP平台查询语言差异,并在查询引擎层支持统一缓慢,智能路由等功能。目前我们已经支持Druid引擎、Clickhouse引擎,Doris引擎也即将上线。

成果:
目前项目达到预期的结果,基于Druid和Clickhouse的指标均上线服务,并能够在上层应用透明的情况实现指标在不同引擎的迁移,在运行时也能够实现引擎的动态切换(多个引擎都存在数据时)。

听众收益

1. 了解OLAP平台设计;
2. 了解业界流行的OLAP引擎Kylin、Druid、Doris和Clickhouse及其各自应用场景;
3. 了解数据仓库建模;
4. 了解指标查询性能优化的最佳实践

快手数据中台工具链方向的技术负责人,之前就职于Hulu,负责大数据&AI基础架构方向,有超过8年的大数据架构研发经验,目前专注于数据中台的探索和实践。大数据书籍《Hadoop技术内幕》和《大数据技术体系详解》的作者。资深Hadoop技术实践者和研究者,拥有超过8年的大数据平台平台研发经验;曾在中国云计算大会(CieCloud),世界软件大会(WOT),中国架构师大会(SACC)等担任主持人和演讲嘉宾;《Hadoop技术内幕》系列丛书作者。

专题:大数据架构

围绕大数据平台,既探讨大数据的前沿技术,例如数据中台、Flink、Clickhouse等热门技术,同时也囊括Hadoop、Spark等成熟技术。

CopyRight © 2008-2020 Msup & 高可用架构

京ICP备09001521号