专题:大数据前沿
现今是数据信息时代,每分每秒都在产生数不尽的数据。这些数据如何获取,有什么用途,如何与前沿的深度学习、机器学习等相结合,是众多技术型企业都在关注的问题,本专题将探讨大数据平台的前沿技术,囊括Flink、Clickhouse、Spark Streaming等热门技术。
本专题下的议题
Clickhouse——战斗民族的极速开源引擎
郭炜 易观 CTO
所属专题:大数据前沿
课程概要
案例背景介绍:
Clickhouse 是俄罗斯Yandex公司研发的新一代开源数据引擎。它的特色就是单表查询速度数倍于常用的spark, hive等。
解决思路/成功要点:
首先会比对下clickhouse 与目前主流的开源数据库的性能比较,从而演化出clickhouse使用场景和基本原理,最后介绍下clickhouse 最新的feature,供开发者学习
成果:
Clickhouse 性能卓越,被广泛应用于单表查询的各种场景,例如用户行为分析、日志分析等等
听众收益
1. 了解到目前开源数据库整体的性能情况 2.了解速度最快的clickhouse 使用场景基本原理 3. 清楚clickhouse 未来发展情况和趋势
实时计算在滴滴出行的实践之路
梁李印 滴滴 实时计算负责人
所属专题:大数据前沿
课程概要
案例背景介绍:
滴滴实时计算应用场景丰富,每天有PB级别的数据量,如何提供一个稳定、高效、易用的、低成本的实时计算基础设施是面临的主要挑战。
解决思路/成功要点:
面对挑战,滴滴实时计算经历了服务化、平台化、SQL化等多个发展阶段,并成功让Flink成为核心流计算引擎。
成果:
构建了一站式实时计算基础设施和开发平台,满足了多样化的实时计算场景需求。
听众收益
1.了解滴滴实时计算发展之路;2.了解滴滴实时计算平台架构;3.了解滴滴实时计算实践经验
Dorado: 字节跳动一站式大数据任务开发调度平台实践
丁桂涛 字节跳动 数据平台架构师
所属专题:大数据前沿
课程概要
案例背景介绍:
在字节跳动这样一个数据驱动的公司里,有很多大数据开发的场景。随着业务的快速发展,我们在大数据任务的开发和调度方面遇到了很多挑战: 1. 任务依赖关系复杂,难以管理; 2. 任务量大,调度和执行效率低;3. 开发门槛高,运维成本大; 4. ... ... 基于实际的业务场景,我们研发了全新的任务开发调度平台:Dorado。
解决思路/成功要点:
Dorado 系统对任务的开发、调度、执行进行了服务拆分,提供了分布式、高可用、可扩展的一站式大数据任务开发和调度云平台。
成果:
Dorado 平台已经同时支持了离线和流式任务的托管,能够保障节点任务和工作流任务的秒级调度,支持 MR、Spark、Shell 等任务类型的开发执行和各异构数据源之间的一键高效传输,支持指定节点的重跑和下游回溯,目前正服务于字节跳动多条业务线的数据开发和调度工作。
听众收益
1. 了解大数据任务开发的常见业务场景;2. 了解分布式任务/工作流调度的架构设计;3. 分享平台新老升级的心路历程
Shopee Data Infra Team
专题:大数据前沿
现今是数据信息时代,每分每秒都在产生数不尽的数据。这些数据如何获取,有什么用途,如何与前沿的深度学习、机器学习等相结合,是众多技术型企业都在关注的问题,本专题将探讨大数据平台的前沿技术,囊括Flink、Clickhouse、Spark Streaming等热门技术。
其他相关专题
-
大数据应用
专题出品人:洪强宁
爱因互动 CTO
随着数据化的逐步深入,各行各业逐渐积累了大量数据,如何让这部分数据获得商业价值?数据技术在现阶段怎么应用于业务场景?对于企业管理者来说,数据技术怎么帮助企业主在未来5-10年搭建数据核心竞争力。在本专题中,我们将邀请企业中的数据应用专家,为大家提供答案。
-
数据商业化
专题出品人:张明明
美菜网 数据运营高级总监
运用数据驱动的思想和策略在实践中逐渐成为共识;数据的价值已在科学研究和工商业的不同领域得到充分展现。然而,如果无法从数据中提取出知识和信息并加以有效利用,数据本身并不能驱动和引领数字化转型取得成功。如何让数据发挥它最大的价值?本专题我们将深入数据内部,探究数据逻辑,让数据说话。
-
大数据前沿
专题出品人:罗李
Shopee Data Infra Team
现今是数据信息时代,每分每秒都在产生数不尽的数据。这些数据如何获取,有什么用途,如何与前沿的深度学习、机器学习等相结合,是众多技术型企业都在关注的问题,本专题将探讨大数据平台的前沿技术,囊括Flink、Clickhouse、Spark Streaming等热门技术。
-
大数据平台
专题出品人:郭炜
易观 CTO
人工智能技术离不开大数据的支撑,大数据近年来也已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。本专题将突出大数据平台实战,囊括Offline、Online、Real-time等多场景案例。
-
AI(上午场)
专题出品人:熊昊一
百度 大数据实验室资深AI研究员
以专注技术为行动准则,紧密锁定人工智能领域海内外行业前沿进展,本专场选取具代表性的AI行业落地实践进行系统的讲述。结合实践案例解读,系统分析AI落地案例成功的要点,为大家讲解人工智能技术创新与行业应用。
-
AI(下午场)
专题出品人:靳江明
博士
以专注技术为行动准则,紧密锁定人工智能领域海内外行业前沿进展,本专场选取具代表性的AI行业落地实践进行系统的讲述。结合实践案例解读,系统分析AI落地案例成功的要点,为大家讲解人工智能技术创新与行业应用。