Airbnb实时流计算的架构与演进

大数据平台

2019-06-22 14:30--15:30

背景介绍：
Airbnb的高速业务增长带来的挑战促使团队不断探索高性能、稳定的数据基础架构来处理在线、离线数据，保证高可用性，并减少工程师操作维护时间。同时，我们的架构也支持业务工程团队高效搭建数据工作流。

解决思路/成功要点：
1） 基于Kafka、Spark的实时流计算
2） 高吞吐量
3） 高可用性
4） 高效、低成本

成果：
1） 吞吐性能提升了20倍
2） 提高了基础设施工程师维护体验
3） 提升了产品工程师与数据科学家的工作效率