陶善文  |

快手

平台研发部--大规模实时数据流分发平台负责人

即将开始的GIAC课程

快手大规模数据分发平台BTQ架构演进之路

架构演进

2021-07-31 15:50--16:50

案例背景:
快手推荐服务线上实例众多, 当一个机器学习模型训练完成要传输到线上时, 由于每个线上实例都需要完整的模型, 所以每次传输模型时, 都会带来巨大的流量压力, 耗费大量的机器资源

解决思路:
1. 利用P2P的思想, 每个实例尽量从别的实例上去读取
2. 将系统抽象成MQ系统, 实时化, 并方便用户使用

成果:
系统已在推荐部门模型训练、模型传输、索引传输、商业化物料传输等场景大规模使用

快手大规模实时数据流分发平台负责人, 10多年架构方面的经验; 10年加入百度, 负责抓取&搜索架构方面的工作; 13年加入小米, 负责小米IoT千万级同时在线的消息系统; 技术上在高性能程序设计、高并发方面有比较丰富的经验

即将开始的GIAC课程

快手大规模数据分发平台BTQ架构演进之路

架构演进

2021-07-31 15:50--16:50

案例背景:
快手推荐服务线上实例众多, 当一个机器学习模型训练完成要传输到线上时, 由于每个线上实例都需要完整的模型, 所以每次传输模型时, 都会带来巨大的流量压力, 耗费大量的机器资源

解决思路:
1. 利用P2P的思想, 每个实例尽量从别的实例上去读取
2. 将系统抽象成MQ系统, 实时化, 并方便用户使用

成果:
系统已在推荐部门模型训练、模型传输、索引传输、商业化物料传输等场景大规模使用

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号