专题出品人： 董西成
快手 数据中台工具链方向的技术负责人
快手数据中台工具链方向的技术负责人，之前就职于Hulu，负责大数据&AI基础架构方向，有超过8年的大数据架构研发经验，目前专注于数据中台的探索和实践。大数据书籍《Hadoop技术内幕》和《大数据技术体系详解》的作者。资深Hadoop技术实践者和研究者，拥有超过8年的大数据平台平台研发经验；曾在中国云计算大会（CieCloud），世界软件大会（WOT），中国架构师大会（SACC）等担任主持人和演讲嘉宾；《Hadoop技术内幕》系列丛书作者。
专题出品人： 董西成
快手 数据中台工具链方向的技术负责人
专题：大数据架构
围绕大数据平台，既探讨大数据的前沿技术，例如数据中台、Flink、Clickhouse等热门技术，同时也囊括Hadoop、Spark等成熟技术。
本专题下的议题
闲鱼毫秒级实时复杂事件处理架构演进
李旭 阿里巴巴 闲鱼技术团队技术专家
所属专题：大数据架构
课程概要
背景介绍：
互联网背景下，效率是一个永恒的主题。闲鱼作为阿里巴巴旗下全球最大的闲置交易社区，致力于为用户提供的一个高效可靠的闲置交易平台，用户的每一秒都非常宝贵。为提升用户使用效率，同时最大化用户的价值，在不同的使用场景下，能够给予用户实时的引导策略显得特别重要。
面对闲鱼日益庞大的流量和复杂多变的场景，如何快速的识别用户使用场景和行为模式，从而给予及时的引导成为我们必须要解决的问题。
解决思路/成功要点：
问题抽象成如何描述用户的使用场景和行为，然后实时的匹配用户行为特征，最后执行响应策略。
基于这种抽象我们构建了事件驱动的系统架构：用户使用场景和行为统一抽象成Event，通过高效的数据管道采集后流入Flink做实时复杂事件的匹配，匹配结果以消息的方式输出，通知响应模块做相应的Action。
为了提升开发效率，我们定义一种简洁的DSL语言来描述复杂事件的计算，并在Flink上实现，做了大量针对性的计算优化。
同时为了减少延迟和云端负载，对于一些简单场景，我们在端上直接计算给出响应，因此在端上也实现一套实时复杂计算处理的框架，以支持DSL在端侧计算。
要点：
1、 用户的使用场景和行为统一抽象成事件（Event）。
2、 采用高效的管道配置化的方式采集用户的不同行为。
3、 定义可扩展的用户行为数据结构，统一数据采集与清洗过程。
4、 定义一种简洁的DSL语言，表达复杂多变的计算规则。
5、 构建可视化的管理界面。支持编写DSL、在线调试、任务管理、运行监控、结果分析。
6、 基于Flink构建实时复杂事件处理系统，支持DSL的编译运行。
7、 针对性的优化Flink的计算性能。
8、 构建轻量级的端实时计算框架，支持DSL运行，简单场景在端上直接完成计算，最大限度的减少延迟和云端负载。
成果：
构建了基于事件驱动架构的系统，满足类似事件->模式识别->响应场景下的业务需求，高效的支撑了业务迭代上线，在合适时机引导用户的行为更好的满足了用户的需求，同时提升了用户的参与度。是支撑闲鱼增长的重要引擎。
业务活动开发周期从2-3天降低到2-3小时完成，并且有可靠的运行过程管理和实时可视化结果分析。端到云到端的整体计算延迟控制在2s内，解决了过去难以实现的大规模复杂事件匹配问题。端侧本地计算毫秒级响应。在闲鱼内部支持了大量业务场景，目前开始在阿里集团内其他BU推广落地。
听众收益
1、了解高可用、可扩展的基于事件驱动的系统架构
2、如何定义和实现自己的DSL语言以应对复杂事件计算表达诉求
3、基于Flink实时计算的原理与性能优化
4、了解事件处理系统人机交互设计
5、了解如何构建轻量级的端实时计算框架
快手分布式任务调度系统实战
董西成 快手 数据中台工具链方向的技术负责人
所属专题：大数据架构
课程概要
快手最初采用了开源Airflow作为分布式任务调度系统，但随着业务的迅速发展，面临调度延迟、故障率、扩展性等方面的重大挑战，亟需数据中台自研下一代工作流调度引擎，为此快手数据中台团队从0到1构建了分布式任务调度引擎，并推广到所有业务线，尤其是其引入的任务分级调度和恢复的能力，在春晚红包活动的离线数据链路稳定性保障中发挥了巨大作用。
听众收益
1. 数据中台下任务调度系统的设计与实现
2. 任务调度系统的广泛应用
3. 任务调度系统在数据中台中的作用
基于Flink的高可靠实时ETL系统
施晓罡 腾讯 数据平台部实时计算负责人
所属专题：大数据架构
课程概要
Oceanus-ETL是腾讯内部基于Oceanus实现的大数据ETL平台，每天需要处理超过40万亿的消息，在保证低延迟和高吞吐的情况下，还需要在故障情况下仍能保证数据端到端的exactly-once，提供高可靠的一致性语义。
听众收益
1. 海量数据规模下的数据etl架构设计
2. 高一致性协议
3. 存储性能优化
贝壳OLAP平台建设实践
肖赞 贝壳找房（北京）科技有限公司 数据智能中心资深研发工程师
所属专题：大数据架构
课程概要
案例背景:
这个背景下项目遇到的挑战， 单OLAP引擎Kylin无法法满足公司多样的业务场景需求，具体表现在：Kylin预计算消耗的存储和计算资源较大；随着维度数目的增加Cuboid 的数量会爆炸式地增长，导致Kylin实际能够支持的维度有限，无法满足有些较多维度指标需求；预计算模式灵活性不够，指标变更需要回刷所有历史数据，对一些数仓场景没法支持，例如缓慢变化维度、多值维度，不支持明细数据的查询。并且，Kylin也无法满足公司日益增长的实时指标需求。
解决思路:
主要解决思路是解耦OLAP平台对Kylin的强依赖，让平台能够支持其他OLAP引擎，同时保持对上层应用的透明。我们在指标平台层引入一个抽象层，来解耦其对Kylin的依赖，指标开发人员在抽象层进行数据建模，而由指标平台将抽象模型映射到具体不同的OLAP引擎，同时扩展查询引擎功能对指标平台提供统一查询接口，屏蔽底层OLAP平台查询语言差异，并在查询引擎层支持统一缓慢，智能路由等功能。目前我们已经支持Druid引擎、Clickhouse引擎，Doris引擎也即将上线。
成果：
目前项目达到预期的结果，基于Druid和Clickhouse的指标均上线服务，并能够在上层应用透明的情况实现指标在不同引擎的迁移，在运行时也能够实现引擎的动态切换（多个引擎都存在数据时）。
听众收益
1. 了解OLAP平台设计；
2. 了解业界流行的OLAP引擎Kylin、Druid、Doris和Clickhouse及其各自应用场景；
3. 了解数据仓库建模；
4. 了解指标查询性能优化的最佳实践
快手数据中台工具链方向的技术负责人，之前就职于Hulu，负责大数据&AI基础架构方向，有超过8年的大数据架构研发经验，目前专注于数据中台的探索和实践。大数据书籍《Hadoop技术内幕》和《大数据技术体系详解》的作者。资深Hadoop技术实践者和研究者，拥有超过8年的大数据平台平台研发经验；曾在中国云计算大会（CieCloud），世界软件大会（WOT），中国架构师大会（SACC）等担任主持人和演讲嘉宾；《Hadoop技术内幕》系列丛书作者。
专题：大数据架构
围绕大数据平台，既探讨大数据的前沿技术，例如数据中台、Flink、Clickhouse等热门技术，同时也囊括Hadoop、Spark等成熟技术。
其他相关专题
-
数据商业化
专题出品人：刘鹏
科大讯飞 副总裁
大数据发展了很多年，各行各业积累了大量的数据。如何挖掘数据的价值是业界共同关注的话题，本专题围绕数据挖掘、搜索推荐等技术，聚焦数据的商业化。
-
大数据架构
专题出品人：董西成
快手 数据中台工具链方向的技术负责人
围绕大数据平台，既探讨大数据的前沿技术，例如数据中台、Flink、Clickhouse等热门技术，同时也囊括Hadoop、Spark等成熟技术。
-
NLP
专题出品人：何中军
百度 人工智能技术委员会主席
自然语言处理（NLP）技术正在进入高速发展阶段。NLP 目前也是落地项目最多、技术演进最成熟的人工智能技术之一，在多个行业的不同场景都有非常成熟的案例。本专题将邀请相关技术专家，分享NLP技术进展和实践，详细解读NLP技术在各行业的应用和实践。
-
人工智能产品落地
专题出品人：王文广
达观数据 副总裁
深入人工智能实践，挖掘语音识别、NLP、CV、自动驾驶、AI芯片等领域的经典案例，着重人工智能产品的落地。
京ICP备09001521号