中国信通院顺利召开大模型安全可信标准首次研讨会-技术会议-南京新一代人工智能研究院-

中国信通院顺利召开大模型安全可信标准首次研讨会

会议时间：2023-09-06

会议类型：

分享到：

近期，中共中央政治局会议提出，要重视通用人工智能发展，营造创新生态，重视防范风险。大规模预训练模型（以下简称“大模型”）引爆技术浪潮，人工智能发展迎来新拐点。一方面，大模型应用落地进程加速，正逐步适配各行各业多种实际需求。另一方面，大模型隐私泄露、侵犯知识产权、产生虚假内容等风险问题不断暴露，应用过程中如何保障数据安全、保护用户权利、保证内容可信已成为各方关注的焦点。中国信息通信研究院（以下简称“中国信通院”）高度重视大模型安全可信问题，依托人工智能关键技术和应用评测工业和信息化部重点实验室大模型工作组和可信人工智能推进计划启动相关技术研究、标准编制及评估评测工作。

近日，大模型工作组顺利召开大模型安全可信标准首次研讨会，来自中国移动研究院、联通研究院、北银金科、中科院自动化所、华为、蚂蚁、百度、360集团、浪潮云、海康威视、贝壳、矽赫科技、马上消费等60余位行业专家参会。同时，本次研讨会特邀中国移动研究院安全技术研究所(安全管理中心)副所长杨凯，及北京交通大学计算机科学系主任、国家级青年人才桑基韬教授做主题分享。

中国信通院云计算与大数据研究所人工智能部主任曹峰在开场致辞中指出，当前大模型安全可信已收到各方广泛关注。然而，当前大模型仍存在隐私安全、数据投毒、恶意使用等问题，亟需通过标准制定、评估测试等工作进行引导。未来，工作组将以大模型标准体系2.0为中心与各方携手共推大模型工程化进程、共筑大模型可信生态。

中国移动研究院安全技术研究所(安全管理中心)副所长杨凯以《AI大模型可信安全研究初探》为主题，分享了中国移动对可信AI的思考和初步探索。中国移动AI大模型可信安全实施框架包含数据可信、模型可信和环境可信层面。综合各因素之间的相互作用及对AI大模型置信度的影响，中国移动自研的大模型可信综合评价体系将持续定量评价AI大模型的可信度，实现各项可信要素之间的动态平衡。

北京交通大学桑基韬教授带来《可信大模型评测：从实验室研究到工业生态建设》主题分享。桑教授指出，多模态预训练发展迅速、应用边界在不断拓宽，一定程度上代表了知识驱动认知智能的趋势。与此同时，多模态预训练模型本身存在着公平性、鲁棒性、数据隐私保护等可信问题，对应用造成风险。未来对于可信大模型的评价体系可从模型可信、模型安全、数据安全及内容安全等多个角度展开，构建面向大模型测试、诊断、修复的评测工作流。

中国信通院云大所人工智能部丁怡心对大模型安全可信前期调研情况、标准体系进行总体介绍。大模型安全可信标准分为基础设施安全可信、数据安全可信、算法模型安全可信、应用安全可信4个能力域，涵盖10个能力子域、近40个能力项，评价体系贯穿大模型研发、运营、应用全过程。与会专家对指标的定义、范围、测试可行性等方面提出建议，并就软硬件设施、数据、模型安全可信等方面展开讨论。