在线中文语音合成服务系统第一轮评估
发布时间:2020-09-15
作者:admin
自中文语音合成服务系统评估项目启动以来,评估工作组共召开三次评估规范研讨会,共近三十余家单位参与讨论,经过专家和企业代表的深入探讨,现《中文语音合成服务系统评估规范》已定稿。为促进语音合成技术演进,支撑语音相关应用落地,营造良好的场环境,保护优质服务商,推进产业发展进步,中国人工智能产业发展联盟开展中文语音合成评估工作。
测试将依据中国人工智能产业发展联盟《中文语音合成服务系统评估规范》,从合成质量,定制能力、场景表现力和系统安全可靠维度评估中文语音合成服务系统的合成水平和服务能力。
欢迎各单位积极报名参与!
一、评估项目
在线中文语音合成服务系统第一轮评估
二、参考规范
《中文语音合成服务系统评估规范》
三、评估步骤
1、商务确认:自通知发布起之日,请有意参评的企业与联系人确认商务内容,商务确认后即可参与测试工作。
联系人:李 荪 18611353631 lisun@caict.ac.cn
2、材料审查和技术测试:截至7月18日前完成所有参评企业测试工作。
3、专家评审会:拟将邀请语音合成相关技术专家对此次评估测试结果进行评审,评审会预计将于7月20日至24日期间进行。
附:中文语音合成服务系统评估简介
面向基于云端的在线中文语音合成服务系统制定,评测的服务是基于文字的合成服务。
评估方法
评估将从按照TTS-4S(Standard.Similarity.Scene.System)评测方法,立足产品应用实际场景,从四个维度进行综合评估:质量基准度,评测合成发音准确、清晰和自然程度;定制相似度,评测个性化音质合成还原相似程度;场景表现力,评测在电信业务、车载驾驶、医疗健康、语言教育、新闻播报、文娱体育六大场景中场景贴合程度(可自愿选择);系统安全可靠,评测系统服务可靠性和安全性。
本次中文语音合成服务系统评测,将依据评估规范中指标项组建不同的语料库,就中文语音合成服务系统返回音频结果进行综合判定,评估方法包括检查和测试两类测评方法,具体如下:
(1)材料检查:测评对象提供系统名称、系统版本号、系统基本描述、计费方式说明等基本信息,并以文档形式说明。
(2)测试:人工评测,依据规范评测标准,对合成音频质量进行主观打分,与教育部国家语言文字工作委员会协同完成;工具评测,对系统安全防护能力、网络安全防护能力等系统级指标进行工具测试。
在此鸣谢
起草单位:百度、科大讯飞、搜狗、腾讯、中科院自动化所(排名不分先后)
参与单位:腾讯、百度、阿里、搜狗、科大讯飞、极限元、微软、云从科技、华为、京东、小米、中移(杭州)、中国移动通信集团、中国电信、北京易诚高科、北京简亦智科技、马上消费金融、乐融、中国信科、创泽智能机器人、第一视频、同盾科技、北京海天瑞声、广州国音智能科技、阳光保险集团等多位专家参加(排名不分先后)