山东大学   王超等

四、数字化手段在新一轮审核评估中的应用

《方案》出台后，教育部教育质量评估中心（以下简称“教育部评估中心”）对新一轮审核评估的落地实施工作进行了系统设计和统筹谋划，并在清华大学、上海交通大学、中国农业大学、安徽大学、辽宁石油化工大学、常熟理工学院、衢州学院７所高校分别开展了评估试点。从试点的总体情况来看，新一轮审核评估中的数字化手段应用主要体现在建设线上工作平台、充分利用数据资源和优化专家队伍管理等三个方面。

（一）建设线上工作平台，推动部省协同，实现一站服务

教育部评估中心针对新一轮审核评估工作建设了全国统一、分级使用、开放共享的全国普通高等学校本科教育教学院校评估管理系统（以下简称“评估管理系统”），评估管理系统是部省校三级协同开展评估工作的重要平台，对新一轮审核评估各流程、各环节起到了重要的支撑作用。

１．服务评估参与主体，保障部省协同评估质量

评估管理系统设计了部长账号、教育部评估专家委员会、教育部教育督导局、教育部评估中心、地方教育行政部门、地方评估机构、评估专家、高校、专家组秘书、项目管理员等十大用户角色，并对各用户角色权限进行了合理划分。

根据《方案》要求，教育部和地方教育行政部门依托全国统一、开放共享的专家库，协同开展新一轮审核评估工作。受教育部委托，教育部评估中心具体组织实施中央部门所属高校第一类、第二类审核评估和地方高校第一类审核评估工作；省级教育行政部门组织所属高校第二类审核评估及推荐高校参加第一类审核评估工作。教育部对各地各校审核评估工作进行统筹协调和指导监督。教育部评估中心按照《方案》要求搭建了部省校三级协同开展审核评估工作的大平台，各组织管理部门在其职责权限内开展相关工作。教育部依托该平台，能够全面掌握全国高校审核评估开展情况。在横向的宏观维度，实现全国范围内高校审核评估“全景式”动态管理；在纵向的微观层面，实现各高校审核评估全流程实时跟踪，从而保障部省评估质量实质等效。

２．支撑全部评估流程，助力线上入校评估考察

评估管理系统实现了对评估申请、学校自评、线上评估、入校评估、反馈结论、限期整改、督导复查等评估全流程的信息化支撑，为高校、评估专家、评估组织管理部门提供分角色登录、导向操作、集成管理的一站式服务。

在评估申请和学校自评环节，评估管理系统除了为参评学校提供申请材料和自评材料上传提交等常规功能外，还有效支撑了《方案》“自主套餐＋自主配餐”这一亮点特色的落地实施。“自主套餐”是高校可在两类四种方案①中选取一种方案进行评估，“类”跟“种”都可选择。一旦选择“套餐”，还可“自主配餐”，即每种评估方案的评估指标还可再选。评估管理系统以模块化、菜单式设计，引导高校依据自身办学定位，制定“一校一案”个性化指标体系和评估方案。

在线上评估与入校评估环节，数字化赋能实现了对传统评估模式的革新，打造了网络化、智能化的评估新模式。评估试点期间，专家通过评估管理系统不仅能够线上审阅自评材料，还可以开展线上听课看课、线上访谈座谈、线上调阅材料等多种考察活动，充分发挥了线上评估考察不受时间、空间限制的灵活优势，更加全面、深入地对参评学校本科教育教学工作进行审核。根据评审情况，评估专家在线填写《个人线上评估意见》，系统自动进行汇总。专家组组长根据汇总材料整理形成《线上评估问题清单汇总表》，并按需选配入校评估专家，在线分配入校核查任务，制定入校评估方案。入校评估专家依据线上评估产生的“问题清单”靶向考察、深入印证，在线完成《入校考察问题核查表》。评估管理系统自动汇总线上评估与入校评估专家递进式考察意见，有效服务专家评估、学校整改和后续督导工作，筑牢“评价－反馈－持续改进”闭环链条。

３．挖掘评估过程数据，实现评估管理清晰可溯

评估管理系统充分利用审核评估过程中产生的数据资源，从宏观、中观和微观层面，对审核评估工作进行数据化统计分析和图表化直观展示。在宏观层面，着重统计全国和地方审核评估进度，可视化展示已评、在评、未评高校数量及比例；在中观层面，着重统计每所参评学校审核评估过程数据，如专家组工作量、专家组报告中问题清单数量、学校整改进度等；在微观层面，可分类统计参评学校自评材料准备情况、专家组成员评审工作开展情况等。

（二）利用数据资源，丰富评估工具，促进多元评价

在云计算、大数据时代，传统“拍脑袋”决策模式或者定性指标已很难有效地把控质量内涵，需要用数据化的手段，推动评估走向科学化、客观化，打造数据密集型评估。因此，新一轮审核评估增设定量指标，并借助数字化手段，加强对各类数据资源的深度挖掘和合理利用。

１．增设定量指标和各类常模，提升评价精度

新一轮审核评估指标体系，在定性指标的基础上，新增了定量指标。第一类审核评估包含３５个定量指标，其中必选指标22个，可选指标13个。第二类审核评估包含46个定量指标，其中必选指标30个，可选指标16个。除定量指标外，参评学校还需自主选择常模类型，包括世界一流大学常模、“双一流”建设高校常模、拥有一级学科博士点高校常模、全国常模、３１个省（区、市）常模、12种类型高校常模（理工类、综合类、语言类、医药类、财经类、体育类、艺术类、师范类、民族类、农业类、军事类和政法类）以及自定义常模（可任选不超过３组高校，每组高校数量不少于５所）等。国家数据平台利用学校年度填报数据和指标计算公式，自动计算参评学校所选定量指标值和常模值，为学校开展自评自建工作和评估专家开展评审工作提供数据参考。

２．构建“1+3+3”数据报告，拓展评价维度

在上轮审核评估中，国家数据平台建成并投入使用，基于评估目的所采集的所有本科高校的教学状态数据在审核评估中发挥了积极作用。新一轮审核评估加大了对国家数据平台教学状态数据进行深度挖掘的力度，进一步拓展时间维度，描绘高校相关数据历年变化趋势，对《本科教学状态数据分析报告》作了进一步优化和完善。同时，新搭建了全国高校师生调研分析系统，并依托该系统开展师生调研，形成《教师教学体验调查报告》《学生学习体验调查报告》，与《本科教学状态数据分析报告》一起形成３份教学状况报告。基于教育部学生服务与素质发展中心的相关系统和数据库，形成《本科生就业数据分析报告》《用人单位跟踪调查报告》《本科毕业生跟踪调查报告》３份就业状况报告。教学层面和就业层面双向联动，构建了以自评报告为中心，以３份教学端过程性报告和３份就业端结果性报告为两翼的“1+3+3”多元评价体系，进一步丰富了专家评估工具。  

“1+3+3”报告体系的有效落地，需要互联网和大数据技术的有力支撑。一是借助相关信息系统和平台，收集被评高校的相关数据信息。例如，国家数据平台每年定期向高校开放，对高校本科教学状态数据进行全面收集；全国高校师生调研分析系统在学校自评阶段向参评学校师生发放调查问卷，对教师教学体验和学生学习体验数据进行全面收集等。二是借助大数据等数据处理技术，对收集的数据进行深度挖掘、多维处理和关联分析，形成有价值、效度高的信息和结论。三是由系统根据既定模板自

动、批量生成相关报告，降低人力成本，提高工作效率。

（三）优化专家管理，构建“全息画像”，实现智能选派

评估专家是审核评估工作中的关键角色，是为高校本科教育教学情况“把脉开方”的“体检医生”。高水平、广来源的专家组构成能够有效提升审核评估的权威性、客观性和规范性。教育部评估中心已启动院校评估专家库建设，着力建成全国统一、开放共享的专家库，形成数量充足、结构合理、政治过硬、业务精湛的专家队伍，为高质量开展新一轮审核评估工作奠定坚实基础。

１．顶层设计专家库系统，实现全流程数字化管理

为做好专家库建设工作，教育部评估中心在做好顶层设计的基础上，研发了专家管理系统，其中包含高等院校、教育行政部门、科研院所、行业组织等多类专家推荐角色以及教育部评估中心、教育部评估专家委员会等专家信息审核角色，在严把专家政治关、业务关的前提下，进一步拓宽专家推荐渠道，把更多懂评估、爱评估、敬评估的专家吸纳到新一轮审核评估工作中。

专家管理系统搭建了专家在线培训模块，教育部评估中心负责维护培训资源、制定培训规则。新推荐的专家首先进入专家预备库，通过参加线上线下培训，完成规定学分后，在线授予评估专家证书并正式进入评估专家库。

此外，依托专家管理系统实现了专家多元评价和动态退出机制。专家每参加一次审核评估工作后，由教育部评估中心、参评学校、专家组专家、专家组秘书、项目管理员等在线给予评价，系统按照不同权重综合计算，作为评价专家评估工作质量的参考依据。

２．构建专家“全息画像”，实现智能化精准选派

为了充分发挥线上评估不受时间和空间限制的灵活优势，调动更多专家资源对高校本科教学状况进行更加全面评审，新一轮审核评估专家组在人数方面较上轮审核评估有较大提升，由15-21组成，这也为选派一支结构合理的专家队伍留足了空间。

专家管理系统建立了一套全面、细致的专家字段信息，覆盖专家单位类型、学科背景、职务职称、专业特长、工作经历、评估经历等与院校评估工作相关的各个方面。依据专家个人填写的相关信息，初步构建专家“全息画像”，形成覆盖德智体美劳不同领域、政产学研不同职业及国际国内不同地域，专长鲜明、类型丰富的专家队伍，在方便专家日常管理的同时，也为开展智能化专家选派奠定了基础。

在进行专家选派时，系统根据参评学校办学定位、类型特色、学科专业布局等，结合专家队伍年龄、职务职级、学科背景、专业特长、地域分布等多种因素，实现专家队伍的智能选派、精准选派，形成一支对接学校类型和办学特色、覆盖主干学科、涵盖德智体美劳“五育”范畴的结构合理的专家队伍，配齐配准“体检医生”，有效进行“联合会诊”和“把脉开方”。

３．多维分析专家字段信息，实现专家管理数据化

字段信息丰富、成员数量充足的专家库为开展专家信息数据挖掘和多维分析创造了条件。专家管理系统借助数据挖掘技术，从专家年龄结构、地域分布、学科分布、选派次数、专业特长等不同角度对专家库整体结构进行多维分析和报表呈现，实现了专家日常管理的数据化和可视化。

四、审核评估工作数字化转型的展望

数字化手段为新一轮审核评估的开展提供了重要支撑，新一轮审核评估的方案设计和落地实施也对评估工作的数字化转型起到了重要的推动作用。以新一轮审核评估为契机，进一步筑牢信息平台基础，强化数据应用赋能，持续加强数据文化和信息技术应用能力建设，深入探索新技术赋能评估工作的途径，数字化将在高校审核评估工作中发挥更大效能。

（一）提升平台智能化水平，打造智慧评估空间

一是进一步提升平台的可扩展性和智能化水平。根据《方案》要求，省级教育行政部门可结合实际，制定本地区审核评估的具体实施方案。也就是说，在国家层面审核评估的统一框架下，各地区在审核评估指标、程序等具体细节方面可能各具特色。在上轮审核评估工作中，有一些省份建设了专门针对本省审核评估工作的管理信息系统，方便了本省审核评估工作的开展，但不利于全国范围内的统筹管理。为此，评估管理系统还需要在可扩展性和灵活性上下功夫，实现不同评估指标体系、不同评估程序的个性化定制。

二是着力打造评估参与主体共建共享的智慧空间。一方面建立健全培训模块，将与审核评估相关的慕课、微课等优质在线培训宣介资源纳入平台中，完善在线辅导答疑，拓展培训时空，扩大培训覆盖面，提升培训受益面和效果；另一方面建立案例共享平台，将各高校审核评估中的计划方案、工作措施、典型案例等不涉密的数据汇聚起来，供高校互学互鉴，共同提升。

（二）破解数据孤岛难题，健全数据管理机制

新一轮审核评估强化了数据手段的运用，从试点过程来看，“1+3+3”报告体系在为参评学校和评估专家提供多元评估视角的同时，也出现了某些数据项不一致的现象，给学校自评自建和评估专家开展评审工作造成了一定的困惑。数据不一致问题的产生，一方面源于数据孤岛的存在，另一方面也归咎于统计口径、计算方式等数据管理因素。“1+3+3”报告数据来源于不同的信息系统，如本科教学状态国家数据平台、全国高校师生调研分析系统、全国高校毕业生就业管理系统等，这些系统之间尚未实现数据的互联互通，无法自动进行数据一致性校验。

近年来，区块链技术的快速发展为破解审核评估领域的数据孤岛难题、健全数据管理机制提供了一种可能的途径。区块链是一种由多方共同维护，使用密码学保证传输和访问安全，能够实现数据一致存储、难以篡改、防止抵赖的记账技术，也称为分布式账本技术。将区块链技术应用于审核评估，能够提升评估数据的客观性、完整性，强化数据共享与应用。展望未来，可以探索利用区块链共识机制来构建相互信任的教学状态数据和就业数据开放与共享网络，以确保不同来源的数据保持一致，促进数据分层分级的开放与共享。同时，也要加强制度供给，健全数据采集、存储、整合、呈现与使用、分析与应用、归档和销毁的全生命周期管理机制，保障数据的真实性、准确性和一致性。

（三）加强数据文化建设，提升技术应用能力

靠数据支撑、用数据说话，教育教学评估工作的开展，数据是重要的驱动力。落实教育评价改革要求，要创新数据先行的评估认证方法，加强评估领域的数据文化建设，帮助参评学校、评估专家、评估机构和社会公众树立数据意识、建立数据思维、提高数据素养，多方协力提高数据质量。同时，还需要通过培训等手段，提升参评学校、评估专家、评估机构相关人员的信息技术应用能力，利用评估指标和评估工具引导高校进一步提升自身的数字化建设水平和数据分析能力。做好这些基础工作，审核评估的数字化赋能效果才会真正落地见效，数字化转型进程也会加快推进。

五、结语

当前，教育部正在大力实施教育数字化战略行动，旨在以高水平的教育信息化引领教育现代化。在数字化的赋能下，新一轮本科教育教学审核评估迈向了“云＋数”的新阶段，实现了“云端考察”“数中评估”，这是贯彻党的二十大精神、落实教育部教育数字化战略行动、顺应互联网和大数据时代高等教育发展趋势，实现审核评估信息化、数据化、智能化转型的必然要求。进入新时代，以5G、人工智能、虚拟现实等为代表的各类新技术层出不穷，如何进一步用好、用巧数字化手段，充分发挥技术对审核评估工作的支撑、赋能乃至变革引领作用，是值得深入思考和持续研究的问题。然而，无论技术如何发展、如何应用，都要始终秉持对国家负责、为学校服务的根本宗旨，遵循学生中心、产出导向、持续改进的基本理念，从审核评估工作实际需求出发，让技术服务于人、服务于业务，服务于中国特色、世界水平的本科教育教学质量保障体系建设。