原创 李郁韬 刘连响 LiveVideoStack
特殊时期，音视频在短期内成为了很多人的“刚需”：在线学习、远程工作、联系亲友等众多场景下都离不开音视频技术。那么，音视频究竟是短期刚需还是未来趋势呢?3月5日采访间，为本次活动压轴专场线上公开直播，邀请到腾讯云视频通信业务总经理李郁韬、学而思网校架构师&腾讯云最具价值专家(TVP)刘连响作为嘉宾，LiveVideoStack联合创始人&主编包研作为主持人，深度剖析音视频技术发展。
文 / 李郁韬 刘连响 包研
整理 / LiveVideoStack
包研：欢迎大家来到「云加社区沙龙online」 采访间，我是LiveVideoStack主编包研，感谢云加社区的邀请，让我作为今天活动的主持人与大家互动。同时，今天我们也有幸邀请到了两位重磅嘉宾，分别是腾讯云视频通信业务总经理 李郁韬和学而思网校架构师 刘连响。
下面请两位先向观众做一个简单的自我介绍。
李郁韬：大家好，我是李郁韬，目前是腾讯云视频通信业务的负责人，很高兴能在云加社区与大家见面，这也是我人生第一次做直播，有些紧张。
刘连响：大家好，我是学而思网校架构师刘连响，目前主要负责RTC和直播相关的业务，最近几年的关注方向也主要集中在这些方面，包括推动WebRTC的大规模应用以及直播应用的探索。
包研：由于业务指数级暴增和大量的新业务对接，相信过去几周大家过的并不轻松，能否和大家分享下这段经历?
刘连响：我这边从春节到现在应该可以说是各种赶节奏，需要我们对多个项目进行同步支持，功能或者模块的开发时间被压缩的非常短，基本一到两天就要求交付。又因为是远程办公，所以处于全天工作的状态。印象比较深刻的是做小程序直播的时候，我们在晚上五六点钟立项，之后找到腾讯伙伴做小程序直播权限插件的升级、CDN的配置等工作，最后在第二天上午完成了上线，整个项目从立项到上线只花了十几个小时。
可能对于大多数国人来说，这个春节过得并不轻松，可以说是非常难忘的一个春节，李郁韬那边的情况想必也是一样。
李郁韬：疫情的影响确实给大家带来了很多不便，刚刚连响提到的小程序直播的例子可以算是我们日常工作中的缩影，除了要支持连响那边一些紧急上线的新特性，我们还要支持很多其他行业中创新的应用，尤其一些医疗机构要短时间把业务搬到线上，很多时候都需要在十几个小时内完成上线。还有紧急支持一些大规模并发业务的拓展，目前大家在用的腾讯会议就是我们最近在不断拓展和优化架构后才得以实现今天的效果。回顾前三四周的工作内容，真的有种已经过了一两年的感觉，业务的增长速度、节奏以及工作强度都非常夸张。
包研：从我的亲身经历来讲，第一天复工我们其实是远程办公，使用了海外一个很知名的品牌进行视频会议，但在当天出现了从未有过的卡顿，在更换了很多平台之后其实都遇到了相同的问题，这可能也说明全国人民都在使用视频会议工具进行远程办公。从这其中我观察到了一些现象，比如短期之内视频会议平台获得了大量的用户，但真正能转化为收益的平台可能是像腾讯、学而思这样的头部平台才能做到，在未来，资源也会更向头部平台倾斜，李郁韬如何看待这个现象?
李郁韬：我们这段时间也一直在思考这个问题，这次疫情让大家把工作都搬到线上，在许多传统行业可以说是把整个线上化和数字化转型的进程向前推进了1-3年的节奏。我在其中观察到的现象是，包括学而思在内的一些在线培训机构，他们很早就开始采用云计算，将服务部署在云上，也有很多技术储备，面对这次疫情就可以很快地抓住机会。
就像连响刚刚提到的可以在短时间内上线崭新的功能，这在之前的线下教育机构是根本无法想象的。凡是没有大规模公有云计算的厂商在面对这次疫情会错过一些机会，真正面对客户增长井喷的时间点，由于服务没办法及时扩张，只能选择流失掉这部分客户。相反，一些用到公有云的厂商可以利用弹性伸缩，不断地利用通用服务扩展业务，可以发现它的增长非常平滑，能够抵挡住每一波用户增长的冲击。
包研：那连响这边由于学校无法正常开学，应该也拿到了很多很好的教育资源，学生也会更多的使用你们的产品，你是如何看待我之前提到的现象的?
刘连响：最近这两天确实可以感觉到音视频行业迎来了新一波的爆发，包括视频会议和在线教育方面，之前大家预想的是在5G爆发的时候才会催发，而这次疫情所导致的催化效应是大家都没有预料到的。另外有一点我想说，这次的事件其实是把市场下沉了很多，由于远程办公以及在线教育的需求大增导致大家都会用到类似产品，这也让更多的人最起码知道了这个事情，整体的接受度变高。
包研：从这个角度来看，确实是对行业非常好的事情，但对于传统线下的培训机构来说，会面临比较大的挑战。其实这也是一个过滤的机会，如果能够在这样的变化下做到快速转型，那么很可能就会从行业中脱颖而出。
刚刚大家都提到了快速去做业务对接和扩容来面对几十倍用户的暴增，那么李郁韬你们是如何在保证用户体验的前提下做到快速上线的?
李郁韬：这次疫情的特点是来得太快，大家根本没有准备时间，另外此次爆发的流量也确实太大了，包括视频会议和在线课堂，短时间内从很少用户的应用达到数T带宽级别的服务，这在腾讯历史上都是没有过的。除此之外，还会在每天早上达到峰值，这样的峰值在之前也都是没有见过的。以上的特点造成了准备工作十分艰难，但回过头来看能够抗下这次危机也得益于腾讯在云计算方面的资源投入。
总结来看，首先，短时间内的资源调配速度和能力是大型公有云可以做到的，其次是云产品标准化的程度，标准化程度越高才能做到几万台服务器一个模块的快速上架扩容，最后需要与之配套的监控、自动化压测和验证体系，这三个条件都是缺一不可的。如果将此次事件放在五六年前，我想没有任何一个厂商能够扛得住这样的冲击。
包研：如果让我来总结的话就是“财大气粗”，当厂商有足够的技术储备、服务器带宽资源以及人手，自动化水平足够高就可以抵御一些突发变化。那连响这边有什么要补充的吗?
刘连响：其实我觉得不只是在资源方面，比如在做架构设计时肯定要考虑到业务扩展能力，“财大气粗”我认为不完全对，工夫还是要下在平时，比如快速迭代能力，团队还是应该做一些刻意的训练，这样在真正面对需要快节奏支持的项目才不容易出问题。另外，就像李郁韬提到的整个资源要使用容易拓展的方案，这是我的想法。
包研：所以团队也很重要，就像“双十一”活动对外是一年一度的购物狂欢节，对内就像是一次应对突发情况的训练，长此以往才能够保证团队拥有足够的战斗力。刚刚连响提到之前有应用做到不到一天就上线，这对我来说非常不可思议，对于偏远山区，教育设施不是很完备的地方他们都可以很轻松的使用教育产品，这就需要腾讯和连响配合来完成相关的工作。
想问李郁韬这边有哪些能够帮助老师和学校，通过比较简易的平台和工具完成教学，请和大家介绍一下。
李郁韬：从产品方面来说，这次腾讯在疫情期间也推出了很多在线办公和教育产品，我们提供的部分主要包括腾讯课堂的极速版，可以实现老师通过一个简单的App开播，通过屏幕分享和文字互动实现学生上课，另外还有腾讯的“乐享”和腾讯会议提供多人互动场景给教学和企业培训，这是从产品层面，通过功能叠加帮助老师在比较极端的网络条件下实现比较流畅的在线教育。从腾讯云的技术组件部分还提供了很多教育场景的基础服务，像TRTC这种端到端的实时音视频服务，能够方便在线教育的厂商能够集成SDK实现小班课的能力。
这次疫情中我们也发现使用了TRTC+IM云服务的厂商，用户增长非常迅速。当然我们还提供了一些半SaaS化的套件产品，比如互动白板课堂和精品云课都是可以提供给开发者使用的，这次也看到很多在线教育的机构和平台都或多或少有采用这些产品去构建自己在线教育的服务。
包研：好的，我知道连响负责的业务与老师、机构和学员是最近的，怎样在满足用户体验的前提下实现快速迭代?你们有哪些经验可以分享?
刘连响：疫情这件事发生的比较突然，在这个过程中需要保证基本的稳定性，另外我们还和外部做了一些合作，也是为了把内容的生产能力对外免费提供。还有一个与之前不同的是很多老师变成了在家直播，环境都不太一样，要如何保证家庭路由不影响直播内容，在这部分我们也做了很多辅助测试和硬件支持。
当前我们也在做远程协同趋势的选题，其中一直困扰我的问题是，这次疫情带来的视频会议应用爆发式增长，到底是昙花一现，还是会长久繁荣下去?
李郁韬：从我的角度来看，这次疫情无疑是加速了视频会议应用的爆发式增长，拿教育产品来说，之前我们与传统教育行业沟通云产品时会遇到一些阻力，因为传统教育机构大多都会采购很多IT硬件设备，这其实是偏私有化的小范围内部教育系统。在这次疫情之后大家都意识到，如果连学校都去不了，基础设备再先进也没用，因此他们会想在互联网上也实现一套方案，来解决平时上课遇到的问题，在没得选的情况下大家使用视频会议或直播产品，久而久之会形成使用习惯，意识到直播所带来的便利。
另外，在线教育平台一定会借此机会收获大量新用户，这些新用户或多或少都会在平台留下一些资料，可能会留存下来或者去使用其他平台的云产品，无形中将在线教育的用户扩大了很多倍。
包研：我了解到教育平台获客的成本大概需要几百块，与之相比是省下了不少的推广费用，那连响这边是如何考虑的呢?
刘连响：我的观点和李郁韬很像，虽然我们都知道在疫情过后，关于线上教育和视频会议的关注度会有一定程度的回落，但大众心理的接受度应该会提高。对于我自己来说还是蛮接受视频会以这样的方式的，比方说在公司开会，最头疼的是需要爬楼到会议室的楼层，还会面临等电梯和抢会议室的现象，当大家有了这个概念后，对于日后习惯的养成还是非常有帮助的。我最近看到一份关于在线教育的调研数据，其中提到疫情之后在线教育的体量将会增加5倍以上，且不论数据的真实性，但增长的事实是可以肯定的。
包研：传统的教育行业如果完全搬到线上我相信还是会有些技术挑战的，尤其教育讲究覆盖全部学员，但如果使用线上产品，设备以及网络环境都会影响教学质量，这其实有悖于教育行业的初衷，对于这个问题有什么好的解决方案吗?
刘连响：首先这个问题在直播应用其实就已经存在了，我们做了很多技术优化和方案其实也就是为了解决这些用户遇到的问题，但也需要事先讲明白，这个问题没办法依靠一个方案彻底解决，但我们有很多调优和新的技术方案可以将受影响的用户量变得更低。我最近也看到不是完全纯线上的教学模式，也就是线上线下结合的方案，这样的方式在疫情结束之后可能会有更多的创新，也可以在一定程度上解决某些教育行业无法做到完全线上的问题，这也是我目前比较感兴趣的方向。
前段时间我有和上海交通大学的宋利老师聊到最近他的工作，他提到除了早上上课之外，他还需要把上课的视频录下来，提供给因网络环境等问题没有线上听课的同学，这是学校提出的解决方案。李郁韬对此有没有哪些腾讯给到的支持可以和大家分享?
李郁韬：云服务当前已经可以提供很全面的在线教育产品组合和解决方案，就拿包老师提到的录制来说，在腾讯云上做直播的话其实可以自动录制，这其实可以节省老师的工作时间，包括互动白板、在线答题和人员检测，这些功能其实腾讯的产品目前都可以实现。
网络相关问题可能更考验各家实现音视频服务的内容，腾讯在音视频领域耕耘了这么多年其实积累了很多，首先需要了解全国甚至全球网络接入情况，需要了解每一个用户背后网络的特点。大家常规印象里WIFI应该是网速最快的，但在我们看来WIFI的网络抖动和异常是最多的。
第二，我们需要有一个全局的调度系统，能够根据网络接入情况进行实时调度。
第三，网络协议的优化，要在网络抖动和时延方面做很多工作，这部分主要依靠长期的技术储备，时间越长做的肯定会越好。
第四，音视频领域的增强处理，包括美颜、降噪等效果，这背后都有很多技术需要做，但大家可能感知不到。云端部分就像我刚刚提到的，线上的内容可以实时录制下来，并且有精确的时间戳对齐。
这次疫情其实是拉近了用户、在线教育平台以及云计算服务商之间的距离，让大家彼此都了解对方能够做什么样的事情，后续就是一些需求产品迭代和质量优化的过程，我相信未来一切都会变得更好。
包研：李郁韬提到的一点我非常认同，这次疫情所带来的影响，可能更多的是让大家认识和了解到音视频相关的行业，至少让大家体验了之前可能不会去接触的产品和服务。在此我们不如展望一下未来，对于未来的音视频行业还会在哪些方面有所创新?从我的体验来看，我非常希望视频会议中可以加入会议纪要这样的功能。
刘连响：那我还是从我的经验来做一个判断，首先WebRTC已经宣传了很多年，但它还是存在着各种各样的问题，虽然它是很好的技术，但同时它也带来了复杂性。一个技术不能说它好就可以去使用，而是由外在条件去决策它是否可以大规模使用，成本和技术升级都是要去评估的指标。另外，我们也在积极探索一些其他的技术，比如SRT，后续我们可能也会找一些场景进行测试，但对于技术一定需要一个时间周期。对于WebRTC今年我们会采用完全自建节点的方式，这其中我们也会和腾讯进行合作和打磨。
去年我还去关注了一些VR相关的产品，但更多还是偏向于游戏场景的应用，在教育场景的应用还是相对薄弱。由于缺少生态支持和内容生产，包括设备的普及度都是制约VR发展的因素。但我们会保持对这些技术的关注，但距离实际应用可能还有很长的一段路要走。
李郁韬：从腾讯的角度来讲，未来规划的技术路线还是比较清晰的，围绕音视频直播一定会有三个发展方向：更快、更便宜、更智能。之前音视频领域有两大技术路线，一类是RTC，它主要用于满足多人会议中的低延时互动，另一类是流媒体直播/点播，它主要满足于对延时要求不大的高并发低成本场景。
但技术发展到今天可以发现两个技术路线在不断地融合，做流媒体的人想用RTMP拉流的方式实现多人的连麦互动，做RTC的人不断地扩大房间的人数上限，变得越来越像直播，但其实这背后的技术路线，WebRTC在其中扮演着非常重要的角色，WebRTC在中国之所以能够再次发展很大一部分原因是它在2017年左右开始支持H.264的编解码，在此之后各家厂商有可能在自己的CDN上支持WebRTC，也可以在自己RTC的服务上拓展WebRTC，未来可能在CDN上可以直接用低延时的直播方式。
比如腾讯去年在业界最早推出了快直播的解决方案，那就是在CDN上构建WebRTC的协议支持，在使用CDN服务的同时可以享受更低延时的体验。在RTC部分，大家不断通过SFU的架构体系来增加观看人数，但无法避免会有H5或者web端的用户观看，之前的做法是旁路推流到CDN，提供给web端的用户观看，这部分的体验是很差的。如今各厂商将WebRTC融合后可以发现，两边的用户体验对齐，都可以实现低延时的观看体验。
腾讯的TRTC就是很典型的产品，把本身标准的App端native RTC协议又做了WebRTC的支持，保障用户从H5或者web端观看可以有相同的体验，在未来这样的趋势一定会加快，未来的用户很有可能会有三套分层的体验：低延时(RTC)、中间层(WebRTC+CDN)、更低延时/大并发/低成本(标准流媒体CDN)，这三者组合起来可以满足大部分场景。做直播的带宽成本一定是非常贵的，比较小的厂家由于追求质量和快速上线只能采用BGP带宽，有条件的厂商可以采用三网的带宽或者单线的带宽，成本会相对低一些，但其实他们都会想采用CDN成本的体系，在未来如果WebRTC和CDN结合之后，成本可能会进一步的降低。
刚刚提到的视频会议纪要和上课点名，这些背后都可以用到AI技术，还有在直播结束之后如何能够将视频智能剪辑后上传，这也是有非常大需求的场景。腾讯还有一款产品叫腾讯云剪，我们也会围绕这个场景把更智能的剪辑方式带到视频云的服务里。
刘连响：这里我稍微补充一下，成本是一项必须要考虑的维度，一项新技术的诞生并不意味着我们需要立即将其投入使用，而是需要综合多方维度评估考量。我们也希望WebRTC能早日降到和普通CDN一样的价格，当然这也需要一个过程，长期来看两者应该会在未来很长一段时间保持并存。
questions and answers
Q&A环节
问
Q1：在这次疫情的用户量极大增加的情况下，从产品和技术两个方面暴露出了哪些以前未关注到但急需解决的问题?
答
刘连响：首先从技术上来说，例如说我们去做一些技术扩容，一定是在科学合理的预估之下进行的谨慎扩容，但即便如此依然存在预估不到位，实际流量超出扩容阈值等问题，还有像扩展性等问题仍需进一步优化。这对我们来说也是一次很好的检验，暴露出问题以及我们与竞品之间的差异，也给了我们不断突破自我的动力。
其次从产品角度上来说，这次疫情驱使我们更加关注产品细节。例如之前我们并未过多在意包的大小，而这次出现的学生与老师的高并发让我们意识到了精简包大小的必要性。我们会总结诸多问题并在未来逐项优化。
答
李郁韬：我尝试从云计算的角度阐述一下该命题，首先，这次疫情让我们意识到，未来某一天我们可能会再次遭遇重大突发公共事件所带来的用户数量在短时间内的增长与用户需求在某一时间段内的激增，这使得我们在未来会定期进行一些针对全平台承载的压力测试，或者是某些服务关键模块的演习。为了保证腾讯全平台架构的稳定可靠，这次我们付出了巨大的人力物力对整个服务进行检查与维护，好在没有出现什么大的问题。事实也证明，未雨绸缪是至关重要的。
其次，这次事件也警示了我们服务器资源可能出现断供的情况，云平台的峰值储备能力与缓存计算能力将会是未来我们重点关注的对象。当然，得益于腾讯云的大体量，我们撑过了这次突发公共卫生事件造成的服务器资源短缺。未来随着腾讯云体量的进一步增长与布局全球的不断拓展，对于服务器资源的提前储备与相关供应链管理维护也需要不断加强。
问
Q2：目前来看WebRTC技术感觉还是很不稳定，想听下老师对WebRTC技术的前景看法，以及腾讯云上是否有采用WebRTC技术的成熟产品应用?
答
李郁韬：我觉得WebRTC一定是一个不断演进提升的过程，而且最近两年会演进的越来越快。腾讯基于WebRTC的一个最典型产品就是TRTC，其本质来说是用了WebRTC的这一套架构以及它协议的一些思想，然后自己研发的服务产品。TRTC在Web端支持标准的WebRTC协议，所以整体来讲TRTC是一个支持多端的实时音视频的产品。
其实纵览WebRTC的未来发展，一定会面临以下几个难题和挑战：第一，WebRTC是基于浏览器内核去实现的，我跟Google的人也聊过，他们对内进行开源项目或产品的定位时，其实更多是从自身产品出发不断优化。简单来讲， Google内部也会有一些视频会议或语音通话的产品，它会基于WebRTC的技术架构去做 toC的产品，而toC产品的一些问题会反哺到WebRTC的开源项目中。但这就会带来一些问题，因为WebRTC主要基于欧美或者中国大陆以外海外市场的用户情况进行优化，所以在WebRTC来到中国之后我们最直观的感受就是，基于中国国情的网络状况，使用WebRTC不一定是最优解。所以腾讯云投入了大量的工程师来优化WebRTC中的一些算法，我相信WebRT在未来一定是会在云计算上越来越好且更加适应中国国情。
同时，我也期待在未来的某一天，腾讯也会有计划把我们成熟的一部分经验开源贡献给业界和开源社区，从而反哺WebRTC的发展。
答
刘连响：我也补充一点，WebRTC作为一个开放标准，其本身不可能针对很多场景进行优化，所以我们在开发WebRTC时也发现了一些bug，包括一些参数的设定并没有达到一个最优解，有很多可以根据场景进行调优的地方。比如说是不是要损失一些延迟来换取平稳等问题都可以去调优。但这一切的前提是你要对WebRTC了解得足够深。我觉得WebRTC的前景还是非常光明的，包括业界一些企业已经实现了WebRTC的直播支持，趋势已经很明显了，未来则会进一步提升WebRTC的普及速度。
问
Q3：目前音视频技术在远程医疗上的应用是怎样的?除了这次疫情的影响，怎么看远程医疗的发展?
答
李郁韬：其实远程医疗是一个挺严肃的事情，因为医疗事关人命，其中每一项技术的革新都需要严肃认真对待。我觉得远程医疗会有几个层次的发展：第一，远程问诊一定会逐渐普及开并解决老百姓日常最基本的小病小痛，这里更多偏向于医疗咨询的方式，患者在就诊前咨询医生到底需不需要去社区医院或大型公立医院，该场景会逐渐普及，对网络也没有太大负担。
第二，各级医疗机构之间的远程会诊更加密切，这里更多是解决偏远地区的医疗资源不均衡问题。偏远地区医生的水平或医疗资源的储备不及大城市那么丰富，所以在接诊危重疑难病人时，偏远地区的医院可借助远程医疗会诊，让省一级大医院的医生也加入会诊队伍。我相信在未来，这一应用场景会逐渐推广。
第三，医生远程诊疗或手术。无论是远程手术或远程检查医学影像，都对音视频远程实时传输的要求非常高，不仅需要做到低延时，还需要画面的绝对高清与准确才能满足医生看清所有细节的要求，这也是我们后续想要逐渐达成的高级目标。
问
Q4：提升WebRTC视频主观质量用到了哪些关键性技术?
答
刘连响：首先很重要的一点是数据收集，包括各种各样的硬件设备的状态收集比如摄像头、麦克风的状态还有音量甚至WiFi的各种链路状态。可能包括核心操作路径在内的整个数据都是要收集并上报到服务端上;除此之外还有对卡顿、延迟的定义、FPS等都要去收集到并进行实时计算与异步计算，从数据层面上挖掘出来有价值的信息。
另外一点是相关质量的计算与评优。我们不可能完全摄录所有视频，若实现质量评优，我们需要去对比MOS评分或者其他一些视频质量的评分，并探究其中相关性与不断调优。
围绕该命题我们会进行更多的数据挖掘，不断探讨更底层的东西。我们对它的理解更深，所收集的数据更多，能实现的效果就越出色。
问
Q5：现在新兴的边缘计算/雾计算概念会对音视频行业造成哪些影响?
答
李郁韬：总结来说就是——更快、更便宜、更智能。为什么叫“更快”?因为边缘节点一定可以缩短用户与服务之间的距离，以前我们多在中心节点部署服务，现在如果能以微服务的方式部署会更加高效，比如WebRTC的服务到边缘节点。
除此之外，“更便宜”主要是因为边缘计算使得服务器的整体成本更低，因为机房的SLA没有那么高，而TCU肯定更低;还有一点就是边缘节点带宽成本肯定比中心节点的bgp带宽便宜，而边缘计算在未来逐渐兴起也可以进一步降低这里的成本。
最后就是“智能化”，我们观察到很多在线教育平台其实已经开始把一些简单的AI计算部署到了边缘节点之上，例如一些基本的作业修改、固定算法模型等计算都已经被部署到边缘。所以我觉得边缘计算以后一定是云服务的一种有效扩展与补充，并且能够达到两层服务级别，让更多平台能够选择自己适合的服务。
LiveVideoStackCon 2020
上海/北京/旧金山 讲师招募
2020年LiveVideoStackCon将持续迭代，LiveVideoStackCon将分别在上海(6月13-14日)，北京(9月11-12日)和旧金山(11月)举行。欢迎将你的技术实践、踩坑与填坑经历、技术与商业创业的思考分享出来，独乐不如众乐。请将个人资料和话题信息邮件到 speaker@livevideostack.com 或点击【阅读原文】了解成为LiveVideoStackCon讲师的权益与义务，我们会在48小时内回复。
