中国信通院第八批自然语言处理评测正式启动

发布时间:2023-09-06

作者:NGAI

评测背景

2021年11月,国务院办公厅颁发《关于全面加强新时代语言文字工作的意见》,指出要全面推动自然语言处理技术发展的决策部署,加强语言技术成果转化及推广应用,统筹推进人工智能场景创新,着力解决人工智能重大应用和产业化问题。近年来,随着ChatGPT等大模型的出现,进一步推动和加速了自然语言处理技术产品落地,从智能文档、对话式AI、智能客服等多个维度满足政企单位的语言服务需求,助力企业数字化和智能化转型。

相关工作

为助推NLP产业可信发展,中国信息通信研究院(以下简称“中国信通院”)自2018年开始,围绕NLP方向有序开展技术跟踪、产业研究、标准研制、评估测试等工作。在技术研究方面,2022年,中国信通院发布《客服中心智能化技术和应用研究报告》,深度剖析客服中心转型现状和问题挑战,提出发展建议和典型范式。此外,中国信通院顺利开展客服中心案例征集工作,共接受34个企业申报的59个应用案例,遴选37项优秀案例进行发布和解读。在标准研制方面,中国信通院目前在研或发布国际标准1项、行业标准8项、团体标准10项。其中,国际标准ITU-T F.746.16已在2022年10月召开的国际电信联盟第十六研究组全体会议上顺利结项。

图片

在评估测试方面,中国信通院紧密围绕自然语言处理标准体系,全方位评估自然语言处理产品能力。目前,中国信通院可信AI评测体系已开展7轮自然语言处理方向评测,累计服务企业30余家,测试自然语言处理产品50余项。

图片

评测内容

2023年上半年,中国信通院将继续建设和完善自然语言处理标准和评测体系,依据《自然语言处理技术及产品评估方法》《客服中心智能化等级评估方法》《智能客服系统服务等级评估方法》等系列标准,开展如下评测:

图片

时间安排

评测报名:即日起开始

评测执行:2023年3月至2023年6月

专家评审:2023年6月

成果发布:2023年7月可信AI峰会(拟)

评测联系人

陶老师,18951766189,

taoqiuyu@caict.ac.cn

张老师,15722924458,

zhangxueqiang@caict.ac.cn