量子位|电竞直播名场面,不关弹幕能不能看清?虎牙:可围观S10,我却被弹幕吸引了直播背后的黑科技难点1:稳定性、实时性保障难点2:Mask的准确预测难点3:观看体验的优化电子竞技孵化的黑科技


_本文原题:电竞直播名场面 , 不关弹幕能不能看清?虎牙:可
鱼羊 发自 凹非寺量子位 报道 | QbitAI【量子位|电竞直播名场面,不关弹幕能不能看清?虎牙:可围观S10,我却被弹幕吸引了直播背后的黑科技难点1:稳定性、实时性保障难点2:Mask的准确预测难点3:观看体验的优化电子竞技孵化的黑科技】
盆友 , 万众瞩目的S10半决赛马上要开始了 , 你闹钟定好了没?
身在一个时不时就办公室开黑 , 连团建都在聚众玩健身环的编辑部里 , 我虽然游戏玩得菜 , 不妨碍直播看得及时啊~(手动狗头)
毕竟要是错过了这种瞬秒双c的大场面 , 下回吹水插话buff不是又没了?
量子位|电竞直播名场面,不关弹幕能不能看清?虎牙:可围观S10,我却被弹幕吸引了直播背后的黑科技难点1:稳定性、实时性保障难点2:Mask的准确预测难点3:观看体验的优化电子竞技孵化的黑科技
本文插图
不过直播追了一场又一场 , 游戏理解没啥长进 , 我却发现自己可能有点“猫饼” 。
明明大家都在关注比赛 , 我却看到了点别的……
满屏的AI技术 。
围观S10 , 我却被弹幕吸引了 事情是这样的 , 那天我习惯性打开虎牙 , 进入2020英雄联盟全球总决赛直播间 。
双方在大龙跟前开始互殴 , 我刚准备关掉满屏的弹幕认真围观一波团战 , 却发现这波弹幕有点不一样:

量子位|电竞直播名场面,不关弹幕能不能看清?虎牙:可围观S10,我却被弹幕吸引了直播背后的黑科技难点1:稳定性、实时性保障难点2:Mask的准确预测难点3:观看体验的优化电子竞技孵化的黑科技
本文插图
大龙、英雄、大招……画面里的关键要素弹幕都完美绕开了 。
并且 , 画面还挺稳定流畅 , 在不关弹幕的情况下 , 比赛现场的细节都没有被遮挡 。
量子位|电竞直播名场面,不关弹幕能不能看清?虎牙:可围观S10,我却被弹幕吸引了直播背后的黑科技难点1:稳定性、实时性保障难点2:Mask的准确预测难点3:观看体验的优化电子竞技孵化的黑科技
本文插图
有了这个功能 , 不错过选手神级操作的同时 , 尽情享受弹幕欢乐的氛围不是梦 , 可比调低弹幕透明度效果好多了 , 奈斯啊!
量子位|电竞直播名场面,不关弹幕能不能看清?虎牙:可围观S10,我却被弹幕吸引了直播背后的黑科技难点1:稳定性、实时性保障难点2:Mask的准确预测难点3:观看体验的优化电子竞技孵化的黑科技
本文插图
诸君可能会觉得 , 这有啥 , 各大网站早已上线不挡人像的实时弹幕技术 , 这早就不是新鲜事儿了 。
量子位|电竞直播名场面,不关弹幕能不能看清?虎牙:可围观S10,我却被弹幕吸引了直播背后的黑科技难点1:稳定性、实时性保障难点2:Mask的准确预测难点3:观看体验的优化电子竞技孵化的黑科技
本文插图
但作为一个经常和程序员们一起开“吐槽大会”的科技编辑 , 直觉告诉我 , 即使看上去技术不算新奇 , 功能上线显得轻轻松松 , 用户体验满足起来貌似“毫不费力” , 背后对于每一个实现细节的推敲 , 也可能让程序员偷偷又备了好几瓶生发液 。
毕竟 , 如果只是在海量弹幕里抠出人像 , 只要针对人体进行单类别语义分割就可以了 , 但在英雄联盟的比赛里 , 想要看清细节 , 涉及的目标物可就多得多了:英雄、大小龙、大招……
思路飘到此处 , 那就不妨直接去问问虎牙的技术大佬 。
这一问 , 还真问出了点门道来:AI弹幕这事儿 , 看似简单 , 可也着实费心思 。
直播背后的黑科技 别的不说 , S10直播前一天 , 虎牙的工程师们就经历了肾上腺素飙升的一刻 。
原本 , 代码已经在测试环境里稳稳当当跑了一个星期 , 只等上线 , 但就在正式上线这前一天 , 工程师们发现 , 赛事方给到的数据流存在很多格式不一致的情况 。
也就是说 , 直播中某些线路会因为数据流格式的问题 , 没办法呈现智能弹幕的功能 。
时间紧急 , 好在技术团队通力合作 , 花了两三个小时的时间找到了问题所在 , 这才没耽误功能正式上线 。
但跟真正的难题比起来 , 这也只是一个“小插曲” 。
虎牙AI基础技术部总经理许佳介绍 , 实际上 , 智能弹幕的实现主要涉及CV中的两类技术:目标检测和目标分割 。
核心是针对当前画面 , 识别出英雄在哪里 , 放了什么大招 , 并把它们的位置和轮廓信息都准确地识别出来 。


推荐阅读