首页 » 技术教程 » 这是斗鱼AI字幕功能上线,直播内容均得到准确翻译

这是斗鱼AI字幕功能上线,直播内容均得到准确翻译

 

商务合作联系微信:idcywxg
    站长邮箱:huxue9890@gmail.com  

斗鱼首创直播AI字幕功能,支持中英韩等多国语言互译2021-6-22 15:20

【天机网IT新闻频道】如何在静音环境下观看直播?海外主播说外语听不懂怎么办?最近已经解决了这一需求。

关注英雄联盟LPL夏季赛的用户不难发现,斗鱼官方直播间增加了一个“不寻常”的功能。当用户选择“字幕行”时,直播间底部会出现一行动态文字。从BP环节的运筹帷幄,到场上的瞬息万变,解说员的热情解说不落,直播内容翻译得更精准。

据了解,这是斗鱼新推出的AI字幕功能。它不仅可以通过实时语音识别将直播视频流中的音频转换为文本,并以字幕的形式同步显示在直播视频流上,还支持中、英、韩等多语言翻译。目前,斗鱼已将此项功能开放至数十个直播间,涵盖英雄联盟S10、英雄联盟LPL夏季赛等重大赛事。

image.png

业界首创“游戏语言识别模型”,响应速度达到毫秒级

vegas可以同步字幕_直播同步翻译字幕app_央视同步直播app

通过将机器算法与直播场景相结合,斗鱼率先突破了AI字幕的技术壁垒。值得注意的是,与市面上的同声传译、影视剧字幕等翻译产品相比,AI字幕在游戏场景中的落地并非易事。

由于游戏直播的特点,主播的直播内容中出现了很多游戏名词,尤其是在强职业赛事的直播中,比如《武豪》、《蕾欧娜》、《格斗输出》 》、《阵容强大时期》等翻译软件往往难以理解。因此,斗鱼AI字幕技术对于游戏直播内容的识别,更多的是“重意”而非“重音”。

直播同步翻译字幕app_vegas可以同步字幕_央视同步直播app

同时,赛事直播间的解说、比赛、赛场等嘈杂的声音不仅需要识别,还需要打磨进行工程协调。为了处理字幕和语音之间的延迟,字幕悬停时长,分句等细节体验。为此,斗鱼开发了“定制化的游戏语言识别模型”,在过滤“垃圾词”的同时,提高对团队名称、玩家ID、装备、技能等硬核语义的理解。并且通过ASR和NLP算法,在主播语音、游戏语音等复杂语音环境下实现高精度识别,支持英、日、中等多种语言的识别互译,涵盖不同人群的语言习惯。.

据粗略统计,斗鱼AI字幕在保证毫秒级响应速度的同时,可以保持90%以上的翻译准确率。未来,在使用过程中,受益于积累的数据积累和机器自学习,AI将逐步提高对游戏术语和游戏表情包的理解准确度,不断迭代提升观众的使用体验。

支持中文、英文、韩文等多语种翻译,扩展多元化场景需求

AI字幕功能上线的背后直播同步翻译字幕app,是斗鱼对用户痛点的精准捕捉,对直播产品体验的严苛要求,以及拓展多元化业务的探索与沉淀。

央视同步直播app_vegas可以同步字幕_直播同步翻译字幕app

首先,AI字幕可以满足用户多样化场景的需求,大幅提升直播体验。随着5G技术的演进,用户观看直播的场景逐渐从住宅、网吧等转移到公交、地铁、商场等公共场所。一方面,AI字幕可以将用户的耳朵从嘈杂的环境声音中解放出来,让观看直播更方便;了解海外游戏,减少观看过程中的语言障碍。

其次,AI字幕满足听障人士的需求。据统计,我国现有听力障碍者约2780万人,占全国残疾人人口的30%以上。今年两届《政府工作报告》也明确提出,数字产品的设计要贴合社会弱势群体。AI字幕的推出可以解决他们对直播内容的理解困难,让听障人士可以像正常人一样观看直播。

第三,AI字幕可以解决海外主播不懂语言的痛点,从而吸引更多人气海外主播加入斗鱼;另一方面,通过多语种实时互译技术的打磨,斗鱼将能够支持直译发布。大会内容,如苹果和微软的新品发布会,将开启多元化的商业合作前景,为其商业化提供想象空间。

活动期间,大量玩家反映了语音识别的便利性,尤其是“安静环境用户”在直播间进行了热烈的讨论,特别表示对该功能的认可。

据了解,斗鱼长期投入技术研发,致力于优化用户体验。它在直播技术领域取得了很多成就。针对赛事直播场景,斗鱼推出了实时回放功能、精彩瞬间的锚点功能直播同步翻译字幕app,可实现对直播内容的全面回顾和快速定位,以及可减少直播的SRT推流技术。果酱。AI字幕功能的推出也充分体现了斗鱼对用户需求的强烈洞察。随着平台技术实力的不断升级,斗鱼将以更细致的技术创新,为用户带来更极致的产品体验。

商务合作联系微信:idcywxg
    站长邮箱:huxue9890@gmail.com  

原文链接:这是斗鱼AI字幕功能上线,直播内容均得到准确翻译,转载请注明来源!

0