趣头条新闻推荐大规模机器学习落地实践

案例来源:上海基分文化传播有限公司
会议地点:深圳
分享时间: 2019-06-23 15:50-16:50

汤浪  |

上海基分文化传播有限公司 推荐算法工程负责人

曾任职于360,从事linux内核、大数据平台开发;目前是趣头条推荐算法工程负责人,主要从事推荐引擎架构从零至千万级用户的搭建优化;构建了实时模型的训练、预测框架; 主要擅长后端服务架构与高性能服务,对常见机器学习算法也有一定了解

课程概要

案例背景介绍:
常规的机器学习平台,在落地使用容易遇到几大问题:1)数据大模型训练时间长,更新不及时,2)特征更新慢,特征工程工作量大,训练时有特征穿越问题,3)尝试新模型时,准备工作长,上手难等问题

解决思路/成功要点:
1、引入特征服务,统一管理特征数据;2、自研参数服务器,解决大规模数据训练问题;3、使用k8s构建机器学习平台,可方便的创建不同模型训练任务

成果:
平台上线之初,模型效果显著,对推荐文章的点击率有10%以上提升;后续为各类模型迭代优化提供了极大便利,半年时间内,平台上有多个改进模型有明显效果,累加对pv和时长有5%以上提升;目前平台支持着大量的模型实验,正在运行的模型大概20左右

听众收益

1、了解常见的机器学习方法如何落地使用、工程化; 2、了解当一些开源方案无法支持大数据、高并发场景下的优化方案 3、流式训练模型,实时计算场景的落地方案

汤浪  |

上海基分文化传播有限公司
推荐算法工程负责人

曾任职于360,从事linux内核、大数据平台开发;目前是趣头条推荐算法工程负责人,主要从事推荐引擎架构从零至千万级用户的搭建优化;构建了实时模型的训练、预测框架; 主要擅长后端服务架构与高性能服务,对常见机器学习算法也有一定了解

课程概要

案例背景介绍:
常规的机器学习平台,在落地使用容易遇到几大问题:1)数据大模型训练时间长,更新不及时,2)特征更新慢,特征工程工作量大,训练时有特征穿越问题,3)尝试新模型时,准备工作长,上手难等问题

解决思路/成功要点:
1、引入特征服务,统一管理特征数据;2、自研参数服务器,解决大规模数据训练问题;3、使用k8s构建机器学习平台,可方便的创建不同模型训练任务

成果:
平台上线之初,模型效果显著,对推荐文章的点击率有10%以上提升;后续为各类模型迭代优化提供了极大便利,半年时间内,平台上有多个改进模型有明显效果,累加对pv和时长有5%以上提升;目前平台支持着大量的模型实验,正在运行的模型大概20左右

听众收益

1、了解常见的机器学习方法如何落地使用、工程化; 2、了解当一些开源方案无法支持大数据、高并发场景下的优化方案 3、流式训练模型,实时计算场景的落地方案

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号