专题出品人: 罗李

Shopee Data Infra Team

专题:大数据前沿

现今是数据信息时代,每分每秒都在产生数不尽的数据。这些数据如何获取,有什么用途,如何与前沿的深度学习、机器学习等相结合,是众多技术型企业都在关注的问题,本专题将探讨大数据平台的前沿技术,囊括Flink、Clickhouse、Spark Streaming等热门技术。

本专题下的议题

Clickhouse——战斗民族的极速开源引擎
郭炜 易观 CTO
所属专题:大数据前沿

课程概要

案例背景介绍:
Clickhouse 是俄罗斯Yandex公司研发的新一代开源数据引擎。它的特色就是单表查询速度数倍于常用的spark, hive等。

解决思路/成功要点:
首先会比对下clickhouse 与目前主流的开源数据库的性能比较,从而演化出clickhouse使用场景和基本原理,最后介绍下clickhouse 最新的feature,供开发者学习

成果:
Clickhouse 性能卓越,被广泛应用于单表查询的各种场景,例如用户行为分析、日志分析等等

听众收益

1. 了解到目前开源数据库整体的性能情况 2.了解速度最快的clickhouse 使用场景基本原理 3. 清楚clickhouse 未来发展情况和趋势

实时计算在滴滴出行的实践之路
梁李印 滴滴 实时计算负责人
所属专题:大数据前沿

课程概要

案例背景介绍:
滴滴实时计算应用场景丰富,每天有PB级别的数据量,如何提供一个稳定、高效、易用的、低成本的实时计算基础设施是面临的主要挑战。

解决思路/成功要点:
面对挑战,滴滴实时计算经历了服务化、平台化、SQL化等多个发展阶段,并成功让Flink成为核心流计算引擎。

成果:
构建了一站式实时计算基础设施和开发平台,满足了多样化的实时计算场景需求。

听众收益

1.了解滴滴实时计算发展之路;2.了解滴滴实时计算平台架构;3.了解滴滴实时计算实践经验

Dorado: 字节跳动一站式大数据任务开发调度平台实践
丁桂涛 字节跳动 数据平台架构师
所属专题:大数据前沿

课程概要

案例背景介绍:
在字节跳动这样一个数据驱动的公司里,有很多大数据开发的场景。随着业务的快速发展,我们在大数据任务的开发和调度方面遇到了很多挑战: 1. 任务依赖关系复杂,难以管理; 2. 任务量大,调度和执行效率低;3. 开发门槛高,运维成本大; 4. ... ... 基于实际的业务场景,我们研发了全新的任务开发调度平台:Dorado。

解决思路/成功要点:
Dorado 系统对任务的开发、调度、执行进行了服务拆分,提供了分布式、高可用、可扩展的一站式大数据任务开发和调度云平台。

成果:
Dorado 平台已经同时支持了离线和流式任务的托管,能够保障节点任务和工作流任务的秒级调度,支持 MR、Spark、Shell 等任务类型的开发执行和各异构数据源之间的一键高效传输,支持指定节点的重跑和下游回溯,目前正服务于字节跳动多条业务线的数据开发和调度工作。

听众收益

1. 了解大数据任务开发的常见业务场景;2. 了解分布式任务/工作流调度的架构设计;3. 分享平台新老升级的心路历程

Shopee Data Infra Team

专题:大数据前沿

现今是数据信息时代,每分每秒都在产生数不尽的数据。这些数据如何获取,有什么用途,如何与前沿的深度学习、机器学习等相结合,是众多技术型企业都在关注的问题,本专题将探讨大数据平台的前沿技术,囊括Flink、Clickhouse、Spark Streaming等热门技术。

其他相关专题

CopyRight © 2008-2019 Msup & 高可用架构