专题出品人: 李永彬

阿里巴巴 达摩院-资深算法专家

专题:AI前沿

本专题下的议题

达摩院人机对话的研究进展和大规模应用
李永彬 阿里巴巴 达摩院-资深算法专家
所属专题:AI前沿

课程概要

案例背景:
面对新冠疫情,5天搭建国内最大的疫情外呼机器人平台,为27省提供1800万+电话服务。

解决思路:
多年积累的人机对话技术,包括语言理解、对话管理、智能问答、多模态对话、小样本学习、多模态学习等。

成果:
国内最大的疫情外呼机器人平台,为27省提供1800万+电话服务,获得人民网"人迷战疫"一等奖。

听众收益

(1)人工智能尤其是对话智能最前沿的研究进展;
(2)对话智能在智能客服中的大规模应用案例;

高效神经网络结构设计与压缩
刘经拓 百度 视觉技术部主任架构师
所属专题:AI前沿

课程概要

案例背景:
随着基于深度神经网络的计算机视觉技术落地拓广,硬件的成本控制越来越严格,这对算法推理的性能、模型大小、资源占用、硬件适配等要求显著提升,需要针对不同的硬件在模型结构上进行针对性设计以实现低成本硬件也能取得很好的算法效果。而传统的网络结构设计依赖于人工的调整,适配硬件的成本很高,这使得我们需要有更自动化的方案来进行高效神经网络的结构设计。

解决思路:
针对上述问题,我们在模型压缩和网络结构搜索两项技术上进行了探索和应用,通过量化、剪枝、蒸馏、nas等技术的综合应用,实现了高效神经网络结构的自动设计和训练,相比原本的人工设计在效果、性能和时间成本上都有显著的提升。

成果:
上述技术已经成功应用于百度计算机视觉的多项产品和业务,基本取代了人工设计网络结构的传统做法,帮助百度的多项AI公有云能力和软硬结合产品实现行业效果领先。同时我们也对内和对外基于paddleslim进行技术的平台化和开源,搭配paddlelite推理引擎可以在各类硬件部署上取得实际加速。

听众收益

1.了解模型压缩、网络结构搜索等技术的基本原理和前沿进展;
2.了解如何根据项目和资源情况进行技术选型;
3.了解软硬结合的AI模型的部署与应用;
4.获取一次从新技术领域探索到大规模应用的成功经验

语音驱动舞蹈动画自动生成
张伟东 网易 人工智能实验室,技术总监
所属专题:AI前沿

课程概要

案例背景:
项目核心难点在于如何提取音乐的节奏、语义,从而自动化匹配生成动画,大大降低美术成本

解决思路:
通过引入音乐和动作的embedding表示,通过网络建立匹配机制;然后结合舞蹈专业知识,自动生成风格、节奏、美感都达标的动画

成果:
已经被图形学顶会SIGGRAPH录用

听众收益

了解一些最新的语音处理技术
了解动画自动匹配生成技术
了解游戏行业美术资源生产流程

万亿参数多模态模型高效训练的架构实践
张杰 阿里巴巴 阿里云机器学习平台-高级技术专家
所属专题:AI前沿

课程概要

案例背景
最近,我们和达摩院智能计算实验室并联合清华大学等共同开发了全球最大规模的中文多模态预训练模型,M6(MultiModality-to-MultiModality Multitask Mega-transformer)。模型参数超1万亿规模,借助PAI自研的分布式训练框架Whale,首次2天内在496 GPU卡上完成M6模型1亿图文样本的预训练。这里为大家介绍Whale分布式训练框架,以及如何借助Whale来高效训练超大规模模型。

解决思路
对于超大规模模型M6,采用Whale的数据并行+模型并行的分布式策略进行训练。结合MoE结构来优化超大模型对算力的需求,并通过计算、显存、通信优化来提高分布式训练效率。

成果
我们和达摩院智能计算实验室并联合清华大学等共同开发了全球最大规模的中文多模态预训练模型,M6(MultiModality-to-MultiModality Multitask Mega-transformer)。模型参数超1万亿规模,借助PAI自研的分布式训练框架Whale,首次2天内在496 GPU卡上完成M6模型1亿图文样本的预训练。

听众收益

了解深度学习各种并行训练模式;
了解超大规模模型预训练的挑战和解决方案;
了解M6模型和高效分布式训练方法;

李永彬,花名水德,阿里巴巴集团达摩院Conversational AI负责人,团队围绕自然语言理解、多轮对话管理、智能问答系统、多模态对话等方向发表多篇ACL/EMNLP/AAAI论文,核心技术通过阿里云智能客服(云小蜜)为中国移动、中国人寿等数以千万的企业提供服务,疫情期间打造了国内最大的疫情外呼机器人公益平台,为27个省提供1800万通电话服务,获人民网"人民战疫"一等奖。

专题:AI前沿

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号