Airbnb实时流计算的架构与演进

案例来源:Airbnb
会议地点:深圳
分享时间: 2019-06-22 14:30-15:30

杜奕凡  |

Airbnb Product Engineer

杜奕凡,现就职于Airbnb China Product团队。主要领域为大数据平台ETL,Data ingestion,分布式系统,实时流计算。曾任职于IBM Watson Health,负责开发支持医疗数据的云平台。

课程概要

背景介绍:
Airbnb的高速业务增长带来的挑战促使团队不断探索高性能、稳定的数据基础架构来处理在线、离线数据,保证高可用性,并减少工程师操作维护时间。同时,我们的架构也支持业务工程团队高效搭建数据工作流。

解决思路/成功要点:
1) 基于Kafka、Spark的实时流计算
2) 高吞吐量
3) 高可用性
4) 高效、低成本

成果:
1) 吞吐性能提升了20倍
2) 提高了基础设施工程师维护体验
3) 提升了产品工程师与数据科学家的工作效率

听众收益

1、了解实时流计算系统的架构设计与最佳实践
2、了解流计算的应用案例
3、了解面对业务量增加之后,系统在高可用架构上优化处理

杜奕凡  |

Airbnb
Product Engineer

杜奕凡,现就职于Airbnb China Product团队。主要领域为大数据平台ETL,Data ingestion,分布式系统,实时流计算。曾任职于IBM Watson Health,负责开发支持医疗数据的云平台。

课程概要

背景介绍:
Airbnb的高速业务增长带来的挑战促使团队不断探索高性能、稳定的数据基础架构来处理在线、离线数据,保证高可用性,并减少工程师操作维护时间。同时,我们的架构也支持业务工程团队高效搭建数据工作流。

解决思路/成功要点:
1) 基于Kafka、Spark的实时流计算
2) 高吞吐量
3) 高可用性
4) 高效、低成本

成果:
1) 吞吐性能提升了20倍
2) 提高了基础设施工程师维护体验
3) 提升了产品工程师与数据科学家的工作效率

听众收益

1、了解实时流计算系统的架构设计与最佳实践
2、了解流计算的应用案例
3、了解面对业务量增加之后,系统在高可用架构上优化处理

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号