近日,网易互娱AI Lab与广东省知名报刊媒体《羊城晚报》携手,正式推出了《羊城晚报》“真人AI合成主播”——羊小晚(女)和羊小派(男),他们也是广东媒体首个视频类真人AI合成新闻主播。

《羊城晚报》的两位AI合成主播都是以媒体记者的真人形象为原型,他们不仅容貌高度还原真人,口型也能够与输入的音频精准匹配。而在这堪比专业主播的表现力背后,汇集了网易互娱AI Lab在虚拟人制作方面一系列前沿的人工智能技术。首先,网易互娱AI Lab通过面部运动捕捉、三维人脸模型重建、延迟神经渲染等技术,快速生成与真人形象无异的数字人模型;再结合语音、图像等多模态信息联合进行建模训练,就能让AI合成主播的唇动与语音完美契合,实现自然流畅的新闻播报。该系统还能适配中、英、日、韩等多种语言情境,满足国际化内容输出的多样化需求。

凭借网易互娱AI Lab在虚拟人形象定制和内容智能化生产方面的领先技术,该系统只需输入文本或音频,即可在几分钟内快速生成AI合成主播的新闻播报视频,在降低制作成本、丰富传播形式的同时,极大地提升了新闻内容的生产效率。此外,该系统可以24小时运作,不受体力、时间和空间的限制,能确保播读时不出错,提高了报道的时效性与质量。

随着互联网与信息技术的发展,新闻业正发生着颠覆性的变化,不论从新闻传递的及时性还是表现形式的差异化等方面,新闻生产都面临着更高的要求与挑战。AI主播的出现,在为传统纸媒读者们带来全新视听体验的同时,将以更加高效智能的内容自动化生产方式替代过去主要依赖人力来完成的新闻制作环节,助力传统媒体融合转型,推动新闻生产的智慧化变革。

此次与《羊城晚报》联合推出AI合成主播,只是网易互娱AI Lab虚拟人技术的众多落地案例之一,其相关技术早在虚拟主播、虚拟主持等多个应用场景开花结果,例如2021浙江卫视跨年晚会过场动画中的虚拟助手、2021 N.Game游戏学院峰会虚拟主持以及《第五人格》哔哩哔哩秃秃杯虚拟主播等背后,都有网易互娱AI Lab的技术支持。

除了完善的虚拟人技术,网易互娱AI Lab作为游戏行业领先的人工智能实验室,在游戏AI、语音语言处理研究和计算机视觉和3D视觉研究领域也拥有丰富的产品和落地成果。同时,他们也深耕学术研发与创新,不仅横扫了ACCV、INTERSPEECH、IJCAI等国际人工智能顶会的冠军,其研究成果还被SIGGRAPH、AAAI、GDC等国际顶级学术会议或行业大会收录。未来,随着落地经验的不断累积和技术的突破创新,网易互娱AI Lab也会不断致力于将AI技术与传媒、文娱、教育、金融等更广泛领域的融合,为智慧化生活的未来场景开辟新的空间。

关键词： 语音 人工智能 视频 Lab 真人