快手大规模数据分发平台BTQ架构演进之路

架构演进

2021-07-31 15:50--16:50

案例背景:
快手推荐服务线上实例众多, 当一个机器学习模型训练完成要传输到线上时, 由于每个线上实例都需要完整的模型, 所以每次传输模型时, 都会带来巨大的流量压力, 耗费大量的机器资源

解决思路:
1. 利用P2P的思想, 每个实例尽量从别的实例上去读取
2. 将系统抽象成MQ系统, 实时化, 并方便用户使用

成果：
系统已在推荐部门模型训练、模型传输、索引传输、商业化物料传输等场景大规模使用