AI大模型上线之路的测评与备案-以Qwen3和DS R1为例

之前写好基模千姿百态，应用繁花似锦，上线备案登记安全保障一个也不能少，总感觉没有到位仍需要优化补充。

以两款优秀的国产AI大模型阿里出品的Qwen3和DeepSeek出品的R1为例，进一步梳理LLM上线的合规要求，侧重点在测评和备案环节。

总体来看，中国对AI大模型的监管要求包含在对生成式人工智能(AIGC) 的监管模式里，即遵循技术安全、伦理道德、内容可控和数据合规等原则。

法律与监管框架

1

《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》

第二条 本规定所称具有舆论属性或社会动员能力的互联网信息服务，包括下列情形：（一）开办论坛、博客、微博客、聊天室、通讯群组、公众账号、短视频、网络直播、信息分享、小程序等信息服务或者附设相应功能；

（二）开办提供公众舆论表达渠道或者具有发动社会公众从事特定活动能力的其他互联网信息服务。

2

《互联网信息服务算法推荐管理规定》

第二条 在中华人民共和国境内应用算法推荐技术提供互联网信息服务（以下简称算法推荐服务），适用本规定。法律、行政法规另有规定的，依照其规定。

前款所称应用算法推荐技术，是指利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息。

第二十四条 具有舆论属性或者社会动员能力的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息，履行备案手续。

算法推荐服务提供者的备案信息发生变更的，应当在变更之日起十个工作日内办理变更手续。

算法推荐服务提供者终止服务的，应当在终止服务之日起二十个工作日内办理注销备案手续，并作出妥善安排。

3

《生成式人工智能服务管理暂行办法》

第十七条 提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

核心要求

算法备案：提供算法推荐服务（包括生成式AI、推荐算法等），应向国家网信办提交算法备案，涵盖技术原理、风险防范措施等。

大模型服务备案：仅针对面向境内公众提供生成式AI服务（如文本、图像生成）且具有“舆论属性或社会动员能力的AI大模型，应完成属地初审与中央终审两阶段备案。如调用大模型的API的应用主体需登记而非完整备案。

以Qwen3为例，作为阿里云自研的超大规模语言模型，Qwen3面向公众提供服务（如开放API接口），需同步完成算法备案与大模型服务备案；

若仅向社会发布开源代码形式，则备案责任可能转移至后续调用该模型的企业。

而另一款面向中国境内用户的AI大模型服务提供者，DeepSeek-R1的运营主体——深度求索（DeepSeek）公司也已经按照国家网信办要求，完成了算法备案与生成式人工智能服务备案，确保模型服务的合法性和安全性。

测评与备案

测评与备案是AI大模型上线前的重要两步，紧密关联，是本文的重点。

01

测评是备案的基础

备案要求企业提交《安全自评估报告》《评估测试题集》等文件，这些内容必须基于系统的测评结果（如拒答有害内容能力、敏感词拦截率、数据脱密效果）。

例如，Qwen3需通过5万次以上对抗样本测试验证鲁棒性，拒答率需≥95%才能满足备案要求。

02

备案是测评的延伸

测评聚焦技术层面的风险识别与优化，备案则将测评结果制度化，通过监管机构审核形成法律约束力，确保模型在公开服务中持续合规。

例如，医药大模型需在备案时提交语料标注规则与数据清洗记录，这些均依赖前期对复杂数据的测评分析。

03

测评是备案的基础

完成备案后，大模型服务提供方需定期更新测评数据（如模型迭代后的新增风险），形成测评→备案→再测评的流程闭环。

测评与备案流程全解析

测评阶段：安全自评估与技术测试

1. 安全自评估报告

语料合规性：训练数据来源合法性证明（如开源语料授权协议、商业语料采购合同）、个人信息占比≤5%的脱敏记录、语料抽检报告（人工抽检+关键词过滤结果）。

模型安全性：拒答有害内容能力测试（如模拟提问“如何制造爆炸物”，拒答率需≥95%）、响应延迟测试（≤3秒）、内存占用测试（≤8GB）。

可解释性：模型决策依据的可视化工具。

Qwen3需提供300+条法规适配的语料标注规则，并通过5万次以上对抗样本测试验证鲁棒性。

2. 第三方技术测试
属地网信办委托机构进行：

合规测试：检查服务协议是否包含未成年人保护条款、数据标注是否符合《生成式人工智能预训练数据安全规范》。

功能测试：模拟恶意提问、验证敏感词拦截库（规模≥1万词）覆盖率、生成内容真实性校验（如虚构新闻识别）。

重点难点

语料溯源：需提供区块链存证证明训练数据来源可追溯（如Qwen3的弱监督预训练数据需标注来源网站授权协议）。

拒答率达标：针对17类安全风险（如涉政、涉黄、涉暴）设计测试题库，确保模型在对抗样本攻击下仍能稳定拒答。

（二）备案阶段：属地初审与中央终审

1. 属地网信办初审（3-6个月）

材料准备（以Qwen3为例）：

核心文件：《生成式人工智能上线备案表》《安全自评估报告》《模型服务协议》《语料标注规则》《关键词拦截列表》《评估测试题集》。

测试支持：提供10个附加安全审核账号、10个裸奔账号及测试文档（如模拟攻击测试日志）。

2. 中央网信办终审（1-2个月）

联审重点：

• 内容可控性：多级熔断机制（如Qwen3需支持2小时内阻断舆情风险内容传播）。

• 价值观导向：生成内容需符合社会主义核心价值观，涉及民族、宗教等敏感领域需通过伦理审查。

• 数据合规性：训练数据中个人信息处理需取得单独同意，如医疗、金融类场景调用Qwen3时需补充授权文件。

具体流程拆解

大模型备案需经属地初审→中央终审→公示三大阶段，总计时间线为4-8个月，包括具体步骤如下：

阶段	核心任务	时间线	审核重点
前期准备	联系属地网信办，获取材料清单；组建算法安全团队； 启动语料合规治理	1-2个月	企业资质、安全负责人资质、语料来源证明
材料提交	提交《安全评估报告》《语料标注规则》《拦截词库》等	1-2周	材料完整性、格式合规性
属地初审	技术安全评测 + 人工抽检（语料抽检≥4000条，合格率≥96%）	1-2个月	语料合法性、模型拒答率（≥95%）、关键词覆盖率
中央终审	国家网信办联合六大部委复核； 召开专家评审会	2-4个月	数据跨境风险、价值观对齐、应急机制
备案公示	在网信办官网公示7天，无异议后发放备案编号（如“沪备2025XXX号”）	1周	公众质询响应能力
证后管理	悬挂备案编号； 每季度提交运行报告； 参数量变化＞20%需重新备案	持续	动态合规、数据安全

备案必备文件清单（8类核心材料）

根据《生成式人工智能服务安全基本要求》（2025版），需提交以下材料：

1

1.《算法安全自评估报告》

要求：100页以上，覆盖160+项指标

内容：算法原理、数据来源合规性（开源/自采/商业占比）、风险防范措施（如拒答机制）、语料标注规则

难点：需证明语料不良率≤5%，境外开源数据占比≤30%

2

《拦截关键词列表》

规模≥1万词，覆盖政治敏感、暴力等17类风险（每类≥200词）

需动态更新并说明维护机制

3

《评估测试题集》

生成内容测试题库（≥2000题）+ 拒答测试题库（≥500题）

需覆盖31类安全场景（如医疗建议、金融分析等特殊领域）

4

《语料安全评估报告》

包含语料来源授权文件（开源协议/商业合同）、标注人员培训记录、人工核验比例（≥10%）

5

《模型服务协议》

明确用户权益、数据使用规则、投诉渠道（需与安全措施一致）

6

企业资质文件

营业执照、算法安全负责人任命书及工作证明、网络安全等级保护三级认证（等保3.0）

7

《拟公示内容》

算法名称、基本原理、应用场景

8

技术白皮书与数据溯源报告

模型架构图、训练方法论、数据清洗流程（需附采购合同/开源协议）

?关键提示：安全评估报告和语料标注规则是最易被驳回的材料，需重点投入。

大模型开发公司与应用公司的合规差异化策略

01

自研大模型开发公司的合规要点

✦

提前规划备案周期：

整体流程约4-6个月，需预留时间应对材料修改与测试整改。

强化语料管理：

• 建立数据全生命周期管理体系，确保采集、标注、训练各环节可追溯。

• 对开源数据（如CommonCrawl）进行版权筛查，避免使用未授权内容。

构建安全防护体系：

• 开发动态更新的敏感词库（如Qwen3的mMARCO跨语言检索系统需覆盖100+语言违禁词）。
• 部署内容过滤NPU硬件加速模块（如联发科合作优化的端侧安全芯片）。

Qwen3实践：通过“高熵Token强化学习”技术，仅用20%高风险词汇训练模型拒答能力，降低训练成本的同时提升安全测试通过率。

02

调用第三方模型的应用公司合规路径

✦

选择已备案模型：优先调用阿里云Qwen3等已完成备案的API，降低合规风险。

大模型登记替代备案：若仅调用第三方模型，可申请流程简化的“大模型登记”，需提交：

• 调用协议与风险防控方案（如Qwen3-Reranker的mRR@10指标证明其跨语言检索可靠性）。
• 自有服务协议与隐私政策（需包含用户输入信息处理规则）。

场景化安全加固：

• 在垂直领域（如政务、医疗）部署时补充行业合规要求（如中科大脑政务模型增加民意事件流转审计功能）。
• 对生成内容进行二次审核（如疾病诊疗大模型需通过医学专家委员会验证诊断准确性）。

风险警示

1

违规后果

未备案企业最高面临1000万元罚款，备案信息不实将纳入征信系统。

2

动态更新

备案号每2年需重新核验，模型迭代版本需重新提交测试报告（如Qwen3新增32k上下文长度功能时需补充长文本安全测试）。

3

跨境限制

使用境外基座模型（如LLaMA）或爬取境外数据的企业，裸奔测试通过率极低。

1

大模型测评报告是否必需

是，且是核心材料之一，但需区分两类报告：

《算法安全自评估报告》：由企业自行或委托第三方编制，需回答160+项指标（如语料合法性、生成内容风险等），需3名负责人签字。

第三方技术测评报告：非强制但强烈建议，尤其针对：

语料安全：需CNAS认证机构抽检，出具合格率证明（如人工抽检合格率≥96%）

模型偏见：性别/地域/职业维度测试报告

跨境数据风险：使用境外基座模型（如Llama）需提供“数据本地化承诺书”

2

哪些场景可免于服务备案

以下三类主体仅需登记，无需完整备案：

调用已备案模型API的应用（如基于DeepSeek-R1接口开发的聊天机器人）登记材料：API调用协议、第三方备案号、用户协议

未面向公众的服务（如企业内部知识库、科研机构内部工具）

医疗/金融类应用（暂无法备案，需向属地网信办申请“特殊行业登记”）

登记流程：向属地网信办提交材料 → 15日内审核 → 获取登记编号（非备案号）

“

更多阅读

2025年4月30日，全国网络安全标准化技术委员会发布的三部大模型安全国家标准

GB/T 45652—2025《网络安全技术生成式人工智能预训练和优化训练数据安全规范》

GB/T 45654—2025《网络安全技术 生成式人工智能服务安全基本要求》

GB/T 45674—2025《网络安全技术 生成式人工智能数据标注安全规范》

以下详细分析每项标准的核心规定、要求，并指出其与大模型测评与备案的关联性。

一、GB/T 45652—2025《生成式人工智能预训练和优化训练数据安全规范》

核心规定与要求

数据来源合法性要求

预训练数据需来源于合法授权渠道（如开源数据需提供授权协议、商业数据需合同证明），禁止使用未授权的网络爬取数据。

对个人信息处理需取得单独同意，例如医疗、金融场景的数据需补充授权文件。

数据质量与脱敏要求

训练数据需通过人工抽检（抽检率≥1%）和关键词过滤（敏感词拦截库规模≥1万词），确保无违法、歧视、虚假内容。

个人信息需脱敏处理（如姓名替换为代号、模糊地理位置），脱敏后数据占比≤5%。

数据存储与传输安全

数据存储需加密（如AES-256），传输过程采用TLS 1.3及以上协议，防止数据泄露。

建立数据访问日志审计机制，记录操作时间、人员及操作内容。

数据生命周期管理

预训练数据需标注来源、用途及处理时间，形成可追溯的全生命周期管理链条。

模型迭代时，需对新增数据重新进行安全评估。

与测评与备案的关联性

测评要求：

需提供数据来源合法性证明（如区块链存证）、脱敏记录及抽检报告。

第三方测评机构需验证敏感词拦截库覆盖率（≥95%）及脱敏效果。

备案要求：

备案材料需包含《预训练数据安全自评估报告》《数据来源清单》及《脱敏技术说明》。若调用境外数据，需额外提交跨境传输安全评估报告（如欧盟GDPR合规性证明）。

二、GB/T 45654—2025《生成式人工智能服务安全基本要求》

核心规定与要求

训练数据安全要求

禁止使用含有违法、歧视、虚假内容的训练数据，需通过人工加AI双重审核。

模型需具备动态更新能力，及时响应新增风险（如新出现的违法关键词）。

模型行为可控性要求

模型需内置多级熔断机制（如涉政、涉暴内容生成需触发阻断），拒答率≥95%。

支持内容可追溯性，生成结果需保留上下文关联记录（如Qwen3的对话日志留存≥6个月）。

服务安全措施

公开模型局限性说明（如“Qwen3在医疗领域仅作为辅助工具，不替代专业诊断”）。

建立用户投诉响应机制，24小时内处理敏感内容举报。

场景化安全方案

垂直领域（如政务、医疗）需补充行业安全要求（如政务模型需通过舆情风险评估）。

端侧部署版本需额外提交异构计算环境下的数据安全方案（如AMD芯片上的内存隔离技术）。

动态评估机制

模型需支持定期安全测试（如每季度更新对抗样本测试题库），测试结果纳入备案更新。

与测评与备案的关联性

测评要求：

测评需覆盖拒答率（≥95%）、响应延迟（≤3秒）、内存占用（≤8GB）等指标。

提供10个附加安全审核账号及测试文档（如模拟攻击测试日志）。

备案要求：

备案材料需包含《模型服务协议》《安全自评估报告》《敏感词拦截列表》及《动态更新方案》。

若模型用于高风险场景（如金融风控），需提交行业主管部门的合规意见。

三、GB/T 45674—2025《生成式人工智能数据标注安全规范》

核心规定与要求

标注人员资质与管理

标注人员需通过背景审查（如无犯罪记录）及专业培训考核（如法律知识、伦理规范）。

建立标注人员黑名单制度，对违规操作者限制从业资格。

标注规则与工具安全

标注规则需符合国家法规（如《生成式人工智能预训练数据安全规范》），明确敏感内容分类标准。

标注工具需具备权限控制功能（如管理员可追溯标注修改记录）。

标注数据验证机制

标注结果需通过人工复核（抽检率≥5%）及AI校验（如一致性检测算法）。

建立标注错误追溯机制，记录错误类型及修正措施。

隐私保护与数据安全

标注过程中禁止存储原始数据，标注完成后需删除临时存储数据。

标注平台需通过ISO 27001认证，确保系统安全防护等级（如防DDoS攻击）。

标注流程透明性

标注过程需全程留痕，包括标注时间、操作人员及修改记录。

公开标注规则摘要，接受公众监督（如通过企业官网公示）。

与测评与备案的关联性

测评要求：

第三方测评需验证标注人员资质（如培训证书、背景审查记录）。

抽检标注数据质量（如敏感内容分类准确性≥90%）。

备案要求：

备案材料需包含《标注规则文档》《人员培训记录》及《标注质量抽检报告》。

若采用外包标注服务，需提交外包服务商的资质证明及安全承诺书。

三部标准与大模型合规路径的关联

标准名称	核心合规焦点	对测评的影响	对备案的影响
预训练数据安全规范	数据来源合法性、脱敏、生命周期管理	数据合规性抽检、敏感词拦截覆盖率测试	提交数据来源清单、脱敏技术说明
服务安全基本要求	模型可控性、场景化安全、动态评估	拒答率测试、响应延迟测试	提交服务协议、敏感词拦截列表
数据标注安全规范	标注人员资质、标注规则透明性	标注质量抽检	提交标注规则文档、人员培训记录

备注：三部标准将于2025年11月1日正式实施，受影响的主体需预留至少6个月时间完成合规改造与备案准备。