专题出品人: 王天舟

快手 基础架构中心,系统架构师

专题:架构演进

本专题下的议题

极端流量下微博视频的微服务架构实践
温情 新浪微博 部门:微博研发中心-流媒体 ,职位:微博视频平台架构师
所属专题:架构演进

课程概要

案例背景:
拥有超过5亿月活跃用户的微博,聚集了海量的吃瓜群众、各行业大V、明星等多元用户,凭借庞大的用户基础,同时随着图文+视频内容形式的不断升级,微博已慢慢成为了全民吃瓜和讨论热门话题必不可少的平台之一。

随着微博视频化的不断深入,视频相关的流量也越来越多,微博平台面临的挑战从未间断。在高并发,大流量,以及极度突增流量的场景下,如何保证用户上传视频和消费视频的体验;与此同时,在视频业务不断发展和需求快速迭代的情况下,如何确保业务的稳定性,正确性;随着业务不断壮大,接入业务方极速增多,如何管理业务方以及快速实现业务方接入。在面临如此众多的挑战下,微博视频如何通过微服务方式,搭建微博视频中台的高可用框架。


解决思路:
本次分享将以微博视频中台的建设和优化之路为切入点,和大家讨论一下在大流量场景下,微博视频中台的微服务化架构设计,系统优化实践。在面临极度突增流量时,如何保证服务高可用,并和大家分享一线案例和经验总结。

成果:
随着微博视频中台的搭建和服务性能不断优化,微博视频平台不仅仅支撑着快速发展的视频业务,同时也保障了服务的稳定性。

听众收益

1. 大流量场景下,如何搭建微博视频中台架构
2. 极度突增流量场景下,微博视频都做了哪些保障服务高可用
3. 业务不断发展和快速迭代情况下,微博视频如何不断实现系统优化

快手大规模数据分发平台BTQ架构演进之路
陶善文 快手 平台研发部--大规模实时数据流分发平台负责人
所属专题:架构演进

课程概要

案例背景:
快手推荐服务线上实例众多, 当一个机器学习模型训练完成要传输到线上时, 由于每个线上实例都需要完整的模型, 所以每次传输模型时, 都会带来巨大的流量压力, 耗费大量的机器资源

解决思路:
1. 利用P2P的思想, 每个实例尽量从别的实例上去读取
2. 将系统抽象成MQ系统, 实时化, 并方便用户使用

成果:
系统已在推荐部门模型训练、模型传输、索引传输、商业化物料传输等场景大规模使用

听众收益

1. 如何解决超大规模实时数据流的分发问题
2. 超大规模系统设计经验
3. 超大规模系统架构平滑演进经验

Apache Sharding Sphere DB Plus 架构生态演进
潘娟 SphereEx SphereEx co-founder,Apache Member 及 Apache ShardingSphere PMC
所属专题:架构演进

课程概要

从简单的分库分表中间件,到包含分片、脱敏、全链路压测、分布式事务、弹性迁移、分布式治理等核心特性的分布式数据库中间件生态圈,再到全新的Database plus的生态架构。作为Apache顶级项目,Apache ShardingSphere以其多元可插拔特性、多数据库端支持、多接入端灵活选择、稳定且高性能获得GitHub 13K+ star、数百家落地案例、200多位参与贡献者。

听众收益

本次分享将注重对其DB+的演进路线及理念进行分享,并结合演进路线,介绍贴近业务场景的分布式数据库生态解决方案。

图数据库 Nebula Graph 的架构演进和典型应用
伊兴路 杭州欧若数网科技有限公司 Query Engine Senior Technical Expert
所属专题:架构演进

课程概要

案例背景

随着关联数据在互联网行业的大规模积累和应用,用户对快速的获取数据中的价值需求也迎来爆发式的增长。面向关联数据存储的图数据库自然得到越来越多用户的重点关注,但是不同于成熟完善的关系型数据库和如火如荼的 NewSQL 数据库,用户面对图数据库时的选择并不多,多数时候不得不在性能和分布式中间做妥协。

解决思路

1. 引入分布式一致性 RAFT 协议和高性能 KV 存储解决图数据如何存储问题
2. 引入 shared nothing 的计算引擎和支持 openCypher 中的 MATCH 功能解决图数据如何查询的问题


成果

立足于分布式,面向性能设计的 Nebula Graph 在一经开源之后得到互联网用户的广泛关注。截止目前 Nebula Graph 已先后在几十家互联网企业的生产环境中得到应用。同时 vesoft 公司也因积极拥抱开源的态度获得社区的认可。

听众收益

1. 了解开源分布式图数据库 Nebula Graph 的架构演进
2. 如何利用图数据库挖掘关联数据的价值

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号