商务合作联系微信：telegram: @tianmeiapp
站长邮箱：[email protected]
斗鱼首创直播AI字幕功能，支持中英韩等多国语言互译2021-6-22 15:20
【天机网IT新闻频道】如何在静音环境下观看直播？海外主播说外语听不懂怎么办？最近已经解决了这一需求。
关注英雄联盟LPL夏季赛的用户不难发现，斗鱼官方直播间增加了一个“不寻常”的功能。当用户选择“字幕行”时，直播间底部会出现一行动态文字。从BP环节的运筹帷幄，到场上的瞬息万变，解说员的热情解说不落，直播内容翻译得更精准。
据了解，这是斗鱼新推出的AI字幕功能。它不仅可以通过实时语音识别将直播视频流中的音频转换为文本，并以字幕的形式同步显示在直播视频流上，还支持中、英、韩等多语言翻译。目前，斗鱼已将此项功能开放至数十个直播间，涵盖英雄联盟S10、英雄联盟LPL夏季赛等重大赛事。
业界首创“游戏语言识别模型”，响应速度达到毫秒级
通过将机器算法与直播场景相结合，斗鱼率先突破了AI字幕的技术壁垒。值得注意的是，与市面上的同声传译、影视剧字幕等翻译产品相比，AI字幕在游戏场景中的落地并非易事。
由于游戏直播的特点，主播的直播内容中出现了很多游戏名词，尤其是在强职业赛事的直播中，比如《武豪》、《蕾欧娜》、《格斗输出》 》、《阵容强大时期》等翻译软件往往难以理解。因此，斗鱼AI字幕技术对于游戏直播内容的识别，更多的是“重意”而非“重音”。
同时，赛事直播间的解说、比赛、赛场等嘈杂的声音不仅需要识别，还需要打磨进行工程协调。为了处理字幕和语音之间的延迟，字幕悬停时长，分句等细节体验。为此，斗鱼开发了“定制化的游戏语言识别模型”，在过滤“垃圾词”的同时，提高对团队名称、玩家ID、装备、技能等硬核语义的理解。并且通过ASR和NLP算法，在主播语音、游戏语音等复杂语音环境下实现高精度识别，支持英、日、中等多种语言的识别互译，涵盖不同人群的语言习惯。.
据粗略统计，斗鱼AI字幕在保证毫秒级响应速度的同时，可以保持90%以上的翻译准确率。未来，在使用过程中，受益于积累的数据积累和机器自学习，AI将逐步提高对游戏术语和游戏表情包的理解准确度，不断迭代提升观众的使用体验。
支持中文、英文、韩文等多语种翻译，扩展多元化场景需求
AI字幕功能上线的背后直播同步翻译字幕app，是斗鱼对用户痛点的精准捕捉，对直播产品体验的严苛要求，以及拓展多元化业务的探索与沉淀。
首先，AI字幕可以满足用户多样化场景的需求，大幅提升直播体验。随着5G技术的演进，用户观看直播的场景逐渐从住宅、网吧等转移到公交、地铁、商场等公共场所。一方面，AI字幕可以将用户的耳朵从嘈杂的环境声音中解放出来，让观看直播更方便；了解海外游戏，减少观看过程中的语言障碍。
其次，AI字幕满足听障人士的需求。据统计，我国现有听力障碍者约2780万人，占全国残疾人人口的30%以上。今年两届《政府工作报告》也明确提出，数字产品的设计要贴合社会弱势群体。AI字幕的推出可以解决他们对直播内容的理解困难，让听障人士可以像正常人一样观看直播。
第三，AI字幕可以解决海外主播不懂语言的痛点，从而吸引更多人气海外主播加入斗鱼；另一方面，通过多语种实时互译技术的打磨，斗鱼将能够支持直译发布。大会内容，如苹果和微软的新品发布会，将开启多元化的商业合作前景，为其商业化提供想象空间。
活动期间，大量玩家反映了语音识别的便利性，尤其是“安静环境用户”在直播间进行了热烈的讨论，特别表示对该功能的认可。
据了解，斗鱼长期投入技术研发，致力于优化用户体验。它在直播技术领域取得了很多成就。针对赛事直播场景，斗鱼推出了实时回放功能、精彩瞬间的锚点功能直播同步翻译字幕app，可实现对直播内容的全面回顾和快速定位，以及可减少直播的SRT推流技术。果酱。AI字幕功能的推出也充分体现了斗鱼对用户需求的强烈洞察。随着平台技术实力的不断升级，斗鱼将以更细致的技术创新，为用户带来更极致的产品体验。
商务合作联系微信：telegram: @tianmeiapp
站长邮箱：[email protected]
原文链接：这是斗鱼AI字幕功能上线，直播内容均得到准确翻译，转载请注明来源！