专题出品人: 赵军

腾讯 CSIG 专家工程师

专题:音视频

近年来,直播、短视频行业的相关业务发展迅猛,多媒体技术的应用场景也越来越广泛,技术的不断升级也正在提升应用的体验。本专场将聚焦在音频、视频、图像等技术的最新探索与应用实践

本专题下的议题

WebRTC+AI在教育场景中应用的探索
李超 新东方 音视频直播架构师
所属专题:音视频

课程概要

案例背景介绍:
随着5G的落地、WebRTC越来越成熟,相信未来会被更加广泛的应用,阿尔法狗战胜人类推动了AI技术的发展,两者是否可以结合应用于教育场影或更广泛的场景中呢?

成果:
WebRTC+AI结合已经可以落地了

听众收益

1.了解WebRTC的使用
2. 音视频实时互动
3. 识别人脸表情

FFmpeg的硬件优化
赵军 腾讯 CSIG 专家工程师
所属专题:音视频

课程概要

案例背景介绍:
媒体应用是典型的资源密集型应用,因此优化多媒体应用程序至关重要,这也是使用视频处理专用硬件加速的初衷。作为回报,这允许整个系统更加有效地运行(以达到最佳性能)。 但是为了支持硬件加速,软件开发厂商面临着各种挑战:一个是存在潜在的系统性能风险问题;此外,软件开发商一直也因为要面对各种硬件架构的复杂性而苦苦挣扎,并需要维护不同的代码路径来支持不同的架构和不同的方案。优化这类代码,耗时费力。 FFmpeg 最近开始尝试各种硬件优化方案,从最初的基于CPU的SIMD,到基于特定GPU的特定硬件编解码器,以及OpenCL/Vulkan等等,众多方案,各有优劣,我们分析一下其现状与可能的将来。

解决思路/成功要点:
1. 性能Profiling, 这是前提
2. 熟悉底层硬件,充分使用硬件的优化能力
3. 选择合适的硬件加速接口和方案

成果:
随着视频图像数据的爆发式增长,对视频图像处理的性能要求越来越高,在大部分的的平台上,有各种硬件用于执行Video/Image相关的任务,这些硬件被用于解码,编码,转码,图像后处理,视频分析等任务;但也同我们所知道的大部分的事情一样,各种方案都是利弊共存,如何选择以及考量这些加速方案,就显得非常的重要。

听众收益

1. 熟悉常用的硬件加速方案
2. 理解FFmpeg社区在硬件加速方案上的努力
3. 能根据自身的需求,选择合适的硬件加速方案

实时音视频通信中的Qos控制
张弦 好视通 首席架构师
所属专题:音视频

课程概要

案例背景介绍:
随着互联网技术的不断发展,音视频通信作为更自然的通信方式,将逐渐取代之前的文字、纯语音成为新的主流。好视通是网络视频会议的知名品牌,在行业耕耘了十几载,对音视频领域有一定的技术积累,因此我们想把沉淀的服务和能力开放出来,提供给第三方开发者,帮助他们快速的构建具有音视频通信能力的应用和产品。与传统的互联网产品和技术不同,我们在构筑实时音视频通信平台的过程中面临着一些独有的技术挑战,主要表现在,为了保障音视频通信的实时、清晰和流畅,除了要求系统具备高可用、能够应对高并发压力之外,还要能够应对恶劣的互联网环境比如时延、丢包、抖动及其动态变化,也要考虑不同用户的网络带宽差异等, 即系统需要具有较强的QoS保障能力。我们这次演讲主要围绕如何保障实时音视频通信QoS这一主题,讲述我们应对这些技术挑战所做的架构决策和技术实践。

解决思路/成功要点:
为了对抗丢包,采用了带宽预估、冗余编码、前向纠错、丢包重传、分层编码、交织编码、丢包重建等技术,并根据网络实时情况决策最优策略。 为了缩短时延,采用了基于流式分发+质量感知动态调整的RTN网络。 为了避免拥塞,采用了H265压缩技术、基于人眼视觉的分辨率动态调整技术来尽量解决带宽。

成果:
构建一个稳定、高效的高质量实时音视频通信云平台,从底层技术到上层架构会遇到非常多的挑战,这次演讲所涉及的只是冰山一角。 好视通云通信平台能够做到端到端200ms延时,音频通信能够抵抗最多70%的丢包,视频通信能够抵抗最多40%的丢包,且能够智能适应网络带宽和质量变化,保障音视频通信实时、清晰和流畅。

听众收益

1.了解实时音视频系统面临的技术挑战。
2.了解实时音视频系统保障QoS所涉及的技术。
3.了解实时音视频系统技术实践中可能会遇到的各种坑。

Intel GPU 多媒体加速方案
张新峰 Intel VTT/graphic software engineer
所属专题:音视频

课程概要

案例背景介绍:
1. 视频质量调节的参数暴露
2. 多种场景的应用定制化BRC。
3. 现有的codec的支持与功能加强。
4. open source 的机遇与挑战

解决思路/成功要点:
1. 暴露更多的硬件接口以迎合有定制化能力的客户需求。
2. 更好的理解客户的需求和硬件功能之间的映射关系

达到预期
1. 及时的反馈很重要。
2. 深入理解客户的应用场景才能推荐合适的功能与参数

听众收益

1. libva tuning quality 接口的实现与使用
2. GPU的架构与优势。
3. 定制化codec的方法
4. 开源维护

FFmpeg maintainer。毕业于华中科技大学电气与电子工程学院,有多年基于Linux 的Router/Gateway 开发经验,一直关注Linux 在网络方面的发展。开发过基于Linux 的高清/ 标清H.264/MPEG2视频解码器;也开发过基于Linux的图像处理平台,现在则在腾讯云视频云开发及优化视频编码/解码/转码,视频后处理,视频分析方案,大部分的工作,都反馈到了FFmpeg社区。

专题:音视频

近年来,直播、短视频行业的相关业务发展迅猛,多媒体技术的应用场景也越来越广泛,技术的不断升级也正在提升应用的体验。本专场将聚焦在音频、视频、图像等技术的最新探索与应用实践

其他相关专题

CopyRight © 2008-2019 Msup & 高可用架构