封面新闻记者 欧阳宏宇
把一段音频、一张照片输入AI模型，就能让图中人物开口唱歌说话……继Sora之后，一款能让照片开口说话的国产图生视频AI模型在社交媒体上走红。近日，记者获悉，该AI模型已正式上线，并开放给所有用户免费使用。
据介绍，这款AI模型名为EMO（Emote Portrait Alive），由通义实验室研发。在该AI模型上，用户仅需一张人物肖像照片和音频，就可以让照片中的人物按照音频内容“张嘴”唱歌、说话，且口型基本一致，面部表情和头部姿态非常自然。
比如，让奥黛丽赫本唱《上春山》，爱因斯坦说中文段子，《狂飙》电视剧中“高启强”畅谈罗翔普法；甚至用兵马俑士兵图片配上音频，就能“唱出”一首rapper饶舌，连口型都几乎一模一样。据悉，这款AI模型目前已在通义APP上线。
记者随即进入该大模型页面看到，用户能在歌曲、热梗、表情包中任选一款模板，上传肖像照片，AI随即就能合成视频。目前，该模型首批上线了80多个模板，包括热门歌曲《上春山》《野狼disco》等，网络热梗“钵钵鸡”“回手掏”等。
这款图生视频AI模型高度真实感和表现力背后的技术原理是什么？该实验室研发团队透露，该模型所运用的肖像说话（Talking Head）技术是当前大热的AIGC领域。在此之前，肖像说话技术需针对人脸、人头或者身体部分做3D建模，国内研发团队则率先提出了弱控制设计，无需建模就可驱动肖像开口说话，不仅降低视频生成成本，还大幅提升了视频生成质量。
据了解，该模型目前已学习并实现了编码人类表达情绪的能力，能将音频内容和人物的表情、嘴型匹配，还能把音频的语气特征和情绪色彩反映到人物微表情上。
公开资料显示，围绕该模型肖像说话技术的相关论文已在今年2月底发布，相关AI模型也成为继Sora之后最受关注的AI模型之一。有业内人士表示，图生视频AI模型让所有人都可免费体验前沿模型的创造力。未来，相关技术有望应用于数字人、数字教育、影视制作、虚拟陪伴、电商直播等场景。
新浪科技公众号 “掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
相关新闻 
