冬奥手语播报数字人技术造福千万听障人
■ 中国工业报 彭定芳 “冬奥手语播报数字人”系统已于冬奥开幕后,每日持续在北京卫视 《北京您早》节目中对 “冬奥赛事集锦”和 “一起看冬奥”进行手语播报,不仅能为听障人士提供手语信息播报服务,降低冬奥运营成本,还便捷了听障人士收看赛事专题报道,提升他们的社会参与度和幸福感。 2月9日,由北京市科委组织的 “科技冬奥企业行”大型主题系列采访活动,在北京智谱华章科技有限公司 (以下简称 “智谱AI”)举行。参与打造这一应用项目的智谱AI副总裁左家平和凌云光技术股份有限公司副总裁杨艺分别向中国工业报证实: “冬奥手语播报数字人”系统可首先应用于各电视台、网络平台和大屏等多媒体渠道推广。 北京电视台新闻中心副主任王毅在活动现场表示, “冬奥手语播报数字人”技术展现了强大的科技应用能力,既有公益推广价值,也有商业应用价值,综合社会价值十分大,希望能得到推广使用。 据左家平介绍,根据全国第二次残疾人抽样调查数据,中国有超过 2700万名残疾性听力障碍人士。“冬奥手语播报数字人”的科技赋能手段,让他们能更全面感受这场精彩卓越的奥运盛会。 中国工业报了解到, “冬奥手语播报数字人”,主要由智谱AI、凌云光和北京广播电视台联合打造,清华大学贾珈教授团队和中科院计算所陈益强研究员团队也参与了相关关键技术的研究和开发。该系统以超大规模预训练模型为核心技术,自主搭建多模态肢体动作、表情、手指同步采集系统,运用跨模态拟人生成算法、超高精度写实数字人等行业领先技术,实现冬奥期间赛事新闻的专业手语翻译播报。 《国家通用手语常用词表》和 《国家通用盲文方案》于2018年作为语言文字规范正式发布。为了推广和普及国家通用手语, “冬奥手语播报数字人”系统完成了 《国家通用手语词典》收录的8214条通用手语的采集和录制,并且语法都以听障群体习惯打法为准,以确保手语播报成果的准确性和专业度,更好地服务听障人群。 由于当前国内缺少较完善的手语语料数据,研发人员在北京市残疾人联合会和市残联聋人协会的支持下,邀请超过40余位聋人老师及手语专家进行手语文本转写和技术指导,并进行大范围听障群体评测,最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库,词汇及语句总规模超10万。 为实现高精度、高自然度的人物形象和手语动作姿态,研发团队还自主搭建了多模态肢体动作、表情、手指同步采集系统。通过采集多模态动作捕捉数据,运用跨模态拟人生成算法对超写实数字人进行自然、流畅的驱动和渲染,实现对文本内容的手语播报。其中,通过肌肉绑定技术驱动实现面部采集,结合业内领先的语音识别及高清视频合成等技术,呈现给听障人群亲切自然的冬奥手语播报服务。 据活动主办方有关人士现场介绍,手语播报数字人的应用场景广泛,一方面可以为新闻媒体提供全流程智能化的数字人手语生成服务,方便听障人士快速了解新闻简讯;另一方面可将声音广播内容转化为手语,为听障人士播报冬奥会赛事赛情、赛场成绩,便于获取即时信息。 此外,手语播报数字人的推广可加速国家通用手语推广落地,推动国家通用手语标准普及,为残疾人平等参与社会生活创造无障碍环境,让科技更有温度。 智谱AICTO张鹏表示: “冬奥手语播报数字人的应用展现了公司 ‘让机器像人一样思考’的愿景。不仅使听障人士能快捷获取冬奥赛事资讯,还将无障碍环境理念传递到数亿人群。智谱AI将持续深化数据和知识双轮驱动的战略,打造强大而通用的人工智能系统,通过创新助力我国人工智能生态建设,让技术创造更多价值。”
|