陶善文 |
快手 平台研发部--大规模实时数据流分发平台负责人
快手大规模实时数据流分发平台负责人, 10多年架构方面的经验; 10年加入百度, 负责抓取&搜索架构方面的工作; 13年加入小米, 负责小米IoT千万级同时在线的消息系统; 技术上在高性能程序设计、高并发方面有比较丰富的经验
课程概要
案例背景:
快手推荐服务线上实例众多, 当一个机器学习模型训练完成要传输到线上时, 由于每个线上实例都需要完整的模型, 所以每次传输模型时, 都会带来巨大的流量压力, 耗费大量的机器资源
解决思路:
1. 利用P2P的思想, 每个实例尽量从别的实例上去读取
2. 将系统抽象成MQ系统, 实时化, 并方便用户使用
成果：
系统已在推荐部门模型训练、模型传输、索引传输、商业化物料传输等场景大规模使用
听众收益
1. 如何解决超大规模实时数据流的分发问题
2. 超大规模系统设计经验
3. 超大规模系统架构平滑演进经验
陶善文 |
快手
平台研发部--大规模实时数据流分发平台负责人
快手大规模实时数据流分发平台负责人, 10多年架构方面的经验; 10年加入百度, 负责抓取&搜索架构方面的工作; 13年加入小米, 负责小米IoT千万级同时在线的消息系统; 技术上在高性能程序设计、高并发方面有比较丰富的经验
课程概要
案例背景:
快手推荐服务线上实例众多, 当一个机器学习模型训练完成要传输到线上时, 由于每个线上实例都需要完整的模型, 所以每次传输模型时, 都会带来巨大的流量压力, 耗费大量的机器资源
解决思路:
1. 利用P2P的思想, 每个实例尽量从别的实例上去读取
2. 将系统抽象成MQ系统, 实时化, 并方便用户使用
成果：
系统已在推荐部门模型训练、模型传输、索引传输、商业化物料传输等场景大规模使用
听众收益
1. 如何解决超大规模实时数据流的分发问题
2. 超大规模系统设计经验
3. 超大规模系统架构平滑演进经验
相关案例
相关案例
京ICP备09001521号