风险评估方案范例【参考5篇】
【路引】由阿拉题库网美丽的网友为您整理分享的“风险评估方案范例【参考5篇】”文档资料,以供您学习参考之用,希望这篇范文对您有所帮助,喜欢就复制下载支持吧!
风险评估方案【第一篇】
随着经济的发展、社会的进步,移动通信得到进一步的发展。现今,我国移动化通信市场竞争激烈,对于移动通信工程的建设要求越来越高。对于移动通信工程的建设而言,其建设过程存在诸多不稳定的因素,导致传统的移动通信工程的建设方式不再满足现今移动通信工程的建设要求。因此,本文通过对移动通信工程项目风险具体体现、移动通信工程项目风险管理的内涵进行分析,提出移动光缆传输骨干网项目风险管理的具体办法。
关键词
风险管理;移动通信;工程项目系统设计
前言
对于移动通讯企业而言,移动通讯工程的平稳建设,是企业平稳运行的保障。科学技术的发展使移动通信行业快速发展,不断增设新的业务部门,新业务的产生必将需要新技术的运用,在新技术运用过程中必将产生不稳定的因素,使项目的运行存在巨大的风险。因此,风险管理在移动通信工程项目系统设计中的作用越来越突出。
1移动通信工程项目风险具体体现
在移动通信工程项目中其风险主要体现在管理人员缺乏相应的项目管理意识,在具体的项目工作中导致员工工作环节出现问题,造成严重的脱节现象,也体现在项目计划的实施中。在计划形成后,具体的工作人员不按照计划实施建设行为,导致项目的计划性不高,还体现在对市场情况研究不足,在形成项目报告时过于理想化,使整个项目报告缺乏实践性,从而使项目在具体建设中随意更改,使整个项目的建设费用远远大于预期费用,造成资金的浪费,使项目的经济效益进一步下降,导致项目整体的失败。
2移动通信工程项目风险管理
移动通信工程项目风险管理是风险管理部分针对项目进行风险识别、风险评价、以及风险分析,并利用这些风险评估的数据,对潜在的风险进行有效的预防,妥善的处理由于风险造成的人员伤亡、财产损失。通过减少损失实现移动通信企业管理成本的下降,从而提高移动通信企业的经济效益。移动通信工程项目风险管理要与项目建设完美融合,贯穿于项目建设的始终,才能使风险管理发挥其应有的作用。
3移动光缆传输骨干网项目风险管理
以中国联通的省际光传送系统工程建设为例,其建设目标主要是为了建设WDM系统,其部署计划是将其系统建设广布中国30个地区的中国联通公司。
进行风险评估方案
由于中国联通的省际光传送系统工程的建设范围比较广,涉及到中国30个地区[1]。因此,需要安装的硬件设备众多,对设备的调测量巨大,使整个工程建设异常复杂。在面对复杂的工程建设中,要掌握项目建设的主动权,将工程建设中有可能出现的问题进行记录,采用专家调查法等多种形式的调查方法,将建设中存在的风险点进行风险评估,根据风险评估的大小进行不同方案的制定,根据方案解决问题。
利用AHP进行风险评估
AHP是一种项目风险管理层次分析方法,在进行风险记录、风险评估之后,采用这种分析方法,对相应环节的风险进行整理,设定相应的属性进行分析,其中的属性是项目工程建设的子目标。在中国联通的项目工程建设中系统总风险度评价包括技术风险、组织和管理风险、采购风险、工期风险、费用风险、质量风险、安全风险等其他风险等。其中技术风险包括地域差异、施工质量、施工人员、安全措施、方案。
风险评估的指标
对于工程建设的风险评估指标的判定,首先要建立上下级关系的风险判断矩阵,然后采用SRI软件进行风险的计算[2]。该软件包括计算各种风险的工具包,通过事先形成的风险判断矩形对各种风险进行计算,生成相应的风险权重报告。使各个环节的风险数据一目了然。根据权重系数进行风险的分级,0~之间属于轻微风险,~之间是一般风险,~1之间属于严重风险[3]。其结果和风险分级的描述,使工程建设的质量和工程进度得以提高,使具体的建设人员对工程的总体把握程度也随之提高,对于处于严重风险的环节,要进行深入的探讨,制定相应的措施和办法,将风险性降到最低。对于轻微的风险而言,按照风险处理的一般程序稳步进行便可。
4结论
综上所述,风险管理在移动通信工程项目建设中的作用突出。风险管理首先要进行风险评估方案的制定,利用AHP进行风险评估,对风险环节进行合理的分级,通过风险评估的指标,对内部风险环节进行标准的划分,从而使移动通信工程项目建设的风险降到最低,使整个工程建设能够平稳进行,减少因风险带来的财产损失,从而增加企业经济效益。
作者:范风 单位:玉溪师范学院信息技术工程学院
参考文献
[1]魏时莉。移动通信工程项目的风险管理分析[J].甘肃科技,2012,22(01):119~120.
风险评估方案范文【第二篇】
一、强化责任,进一步提高贯彻执行环保事项社会稳定风险评估的自觉性
(一)明确重大环保事项社会稳定风险评估的工作范围。凡涉及广大人民群众切身利益的环境权益方面的重大决策、重大政策、重大项目、重大改革等事项均纳入环保工作社会稳定风险评估的工作范围。主要包括:有可能存在较大环境污染隐患的重大建设项目;制定出台新的环境管理措施;存在较大环境风险的重点工业污染源等。
(二)落实领导责任和职能科室责任。为加强对环境保护领域社会稳定风险的预防工作,成立市环保局环保事项社会稳定风险评估领导小组。
(三)纳入目标管理。坚持把环保系统事项社会稳定风险评估工作,纳入各科室、站、队的年度工作目标管理,列为重要工作内容,确定目标,加重分值,严格考评。
二、细化措施,进一步增强重大环保事项社会稳定风险评估的工作实效
(一)认真开展评估。凡列入社会稳定风险评估工作范围内的重大环保事项在出台或实施之前,都按要求认真做好社会稳定风险评估工作。坚持把是否开展评估作为重大环保事项能否出台或实施的前置条件,坚决做到未经稳定风险评估的重大环保事项不审批,未经批准或虽经批准的重大环保事项不实施。
(二)形成专题报告。风险评估工作结束后,由分管领导牵头与职能科室一道,将开展评估工作的情况、出台或实施重大环保事项可能存在的风险和环保矛盾的具体措施等,形成书面专项报告,逐级分别报送。
(三)呈请初审。由领导小组按要求组织开展重大环保事项社会稳定风险评估并形成专项报告后,要连同决策建议或政策草案、项目报告、改革方案,报机关党工委予以初审。
(四)集体会审,作出决定。根据评估报告和初审意见,按照法定程序和民主集中制原则,由领导小组机关党工委召开会议,并邀请人大、政协和社会各界的代表参加,对重大事项社会稳定风险程度进行集体会审,作出实施、暂缓实施、暂不实施的决定。
三、加强监督,进一步促进社会稳定风险评估各项措施落实
(一)加强督促协调,推动工作落实。要在市维稳领导小组的指导下,督促本机关重大事项责任部门及时研究制定评估对象的维稳措施,切实抓好落实。
(二)实施全程监督,提示稳定风险。市环保局负责项目审批、监察和的干部要随时了解社会稳定风险评估机制的落实情况,注意收集和听取社会各方面对重大环保事项问题的反映,对重大环保事项社会稳定风险评估工作实施全程监督,并及时向本机关专项工作领导小组负责人反馈情况、提示稳定风险,提出调控风险的对策建议。
(三)召开联席会议,研究防范措施。在重大环保事项出现严重稳定风险的情况下,环保局及时召开联席会议,邀请人大代表、政协委员和相关部门人员出席会议,分析形势,通报情况,形成共识,商议共同做好防范化解稳定风险的具体措施。
(四)建立报告制度,发现和纠正偏差。按照要求,定期将开展社会稳定风险评估化解工作的情况报告市维稳办。根据市委、市政府及市维稳办反馈和指出的问题,认真督促本单位专项工作领导小组办公室落实整改措施。
风险评估方案【第三篇】
关键词:安全风险评估;D-AHP;TOPSIS;控制系统;电厂
0引言
随着智能化、信息化、网络化技术的不断发展,工业控制系统信息安全问题成为亟需解决的问题并引起国内外的广泛关注。“Petya”勒索病毒在电厂的肆虐进一步加剧了国家和社会对电厂控制系统信息安全的关注。目前,国内电厂全网设备已经实现互联互通,非法入侵成文电厂控制系统极大的安全隐患,非常有必要研究电厂控制系统的安全问题并进行风险评估。电厂控制系统信息安全问题在2012年之后呈明显上升趋势,典型案例有2016年德国核电站发现由USB驱动带入得恶意程序,使得核电站人员关闭电厂并进行全面检测;2018年台积电被WannaCry病毒攻击,使得工控机不断重启,造成直接经济损失约亿美元[1-2]。为保障工业控制系统信息安全,利用科学的评估方法对系统进行评估,如定量评估、定性评估以及综合评估等。基于工业控制系统信息评估现场数据信息的特殊性,多采用模糊层次分析、DS证据理论、BP/RBF神经网络预测等方法构建工业控制系统信息安全评估模型,预防黑客、病毒攻击,构建安全、稳定、高效的工业控制系统[3-4]。文章在分析电厂工业控制系统安全风险内容、评估流程、评估算法的基础上,建立基于D-AHP构建电厂控制系统信息安全风险评估体系,结合TOPSIS算法计算预见的准确度以及评价权重并获得该电厂控制系统的安全风险值,从定量、定性两方面制定安全风险决策依据。
1安全风险分析
国内电厂工业控制系统主要分为分散控制系统、可编程控制系统以及现场总线控制系统3种,常用的控制器包括西门子、InterControl、BeckHoff、ABB以及艾默生等,通过TCP/IP、CAN、CanOpen、Modbus、RS485等多种通讯模式进行组网并完成设备间的数据传。电厂控制系统构成封闭局域网,设备间的数据进行透传,存在很大的安全隐患。构建电厂控制系统物理、网络、终端等多维多角度保护,能够确保电厂控制系统生命周期安全性[5]。对电厂控制系统的资产、威胁、脆弱性、已有安全措施四方面记性评估,得到准确的电厂控制系统风险综合值,并提出安全整改意见和改进措施。图1所示为电厂控制系统安全评估结构模型,由目标层、准则层以及指标层组成。目标层体现安全风险的目标,准则层体现完成目标所需要定义的准则和规则,指标层体现完成准则所需要定义的指标,三者相辅相成,共同影响电厂工业控制系统安全风险。资产体现数据未非授权更改、破坏、访问、使用的特性,体现控制系统数据的保密性、完整性以及可用性。威胁体现数据被自然不可抗因素、物理因素破坏的特性,包括环境、人为两方面。脆弱体现数据在技术脆弱性、管理脆弱性层面的安全漏洞,包括物理、网络、系统、应用、病毒侵入等多个层次。已有安全措施是指降低数据受到威胁的预防性安全措施,针对脆弱层面采取的保护性以及安全处理方案。根据IEC62443工业控制系统信息安全风险评估规范,电厂控制系统安全评估规范根据风险目标可分为实用性、完整性以及保密性3部分,其中实用性目标包括系统数据包重放攻击、网络病毒侵入、网络拒绝服务或者服务中断;完整性目标包括非法网络设备机械性侵入、非法获取设备的访问权限和登录权限、登录信息并篡改、控制信息被非法获取、交互信息丢失;保密性目标包括木马病毒被植入、蠕虫病毒被植入、网络连接未被授权,详细如表1所示。
2安全风险评估
评估流程
电厂控制系统安全风险评估流程如图2所示,涉及到的主要方面包括确定评估范围、制定工作计划、制定应急计划、资产/威胁/脆弱性评估、风险计算、风险决策以及安全整改等[6-7]。图2所示的流程中的必要基本配置包括:(1)安全分区,即将电厂控制系统内部分为生产控制区、管理信息区两部分,设置简单化且不出现纵向交叉;(2)网络专用,控制系统网络必须独立且与其他网络进行隔离。该网络内部分为实时子网,与控制器连接;非实时子网,与非控制区连接;(3)横向隔离,控制系统内部设置横向安全隔离装置,分布在生产控制区、管理信息区之间,并进行安全逻辑隔离;(4)纵向认证,在生产控制区与外部网络连接处设置纵向认证安全装置,机行加密认证、数据互锁。
评估算法
电厂控制系统安全风险评估的目的是对资产、威胁以及脆弱性进行综合估算,主要估算方法有基于层次分析法(AHP)、基于D-S证据理论分析法、基于BP神经网络分析法、基于攻击树分析法以及基于攻击图分析法5种。AHP分析法的优点是定量化数据使用较多,使得思维过程清晰化、数量化;缺点是结果依赖主观性的程度较大[8]。D-S法的优点是存在能较好处理认为因素、不确定因素较大的场景去,缺点是理论支持较弱、合理性有待验证。BP神经网络法的优点是可消除主观因素影响,缺点是正确性需大量样本数据的支撑。攻击树分析法的优点是可发现系统的薄弱之处,缺点是主观因素影响较大。攻击图法的优点可实时在线反应攻击者的攻击过程,缺点是构建该方法需要大量人力、财力的支持。因此,采用D数优化曾分析法(D-AHP)并结合电厂控制系统特点、评估标准建立基于控制系的安全风险评估系统,使得评估结果更加客观、公正,同时有效计算出电厂控制系统的安全风险值。
数理论定义
Ω为有限性连续非空集合,设D数为映射,即Ω→[0,1],且满足条件∑B⊂ΩD(B)≤1,且有D(ϕ)=0,ϕ为空集,B为Ω的子集。若∑B⊂ΩD(B)=1,则标识D数表示的信息完整,否则为不完整信息[9-11]。当Ω为有限性非连续非控集合时,Ω={b1,b2,…,bn},且有bi∈R,则如果i≠j时,有bi≠bj,D数可表示为:D{b1}=v1D{b2}=v2...D{bx}=vx(1)则有D={(b1,v1),(b2,v2),…,(bi,vi),…,(bn,vn)},且需满足vi>0、∑i=1nvi<1。
评估方法
假设电厂控制系统安全风险评估一级指标资产为U1,二级指标保密性为U11、完整性为U12、可用性为U13;一级指标威胁为U2,二级指标环境因素为U21、人为因数为U22;一级指标脆弱性为U3,二级因数技术脆弱性为U31、管理脆弱性为U32;已有安全措施为U4、二级预防性安全措施为U41、保护性安全措施为U42。计算电厂控制系统安全风险各指标权重的步骤为[12]:(1)比较资产、威胁、脆弱性一级已有安全措施的指标特性,并建立D的偏好矩阵RD;(2)利用式(1)将偏好矩阵RD转换为实数矩阵RC;(3)根据实数矩阵RC建立概率矩阵Rp;(4)按照Rp中的行排列由大到小的顺序依次可得到三角化实数矩阵RTC(5)计算RTC指标重的资产、威胁、脆弱性以及已有安全措施的相对权重。
评估方法
TOPSISI评估方法即计算并评估所选样本与理想解的接近度,找到离正理想解距离最近,离负理想解最远的方案。TOPSISI评估方法的步骤为:(1)令电厂控制系统安全评估风险对象指标集为U={U1,U2,…,Uα],专家组集为h={h1,h2,…,hα},建立初评矩阵MA=[ai]m×m;(2)求矩阵MA的极大性指标为式(2),极小性指标为式(3);(3)构建加权规范矩阵MC,且有MC=[cij]n×m;(4)求MC的安全风险评估理想解;(5)求解每隔评估样本与理想解的距离;(6)求安全风险评估系统的贴进度大小并完成相对优劣排序,利用归一化方案求出专家权重。bij=aij-min(aij)max(aij)-min(aij)(2)bij=max(aij)-aijmax(aij)-min(aij)(3)
3实例分析
为验证D-AHP评估方法、TOPSISI评估方法的正确性和有效性,以某电厂的控制系统为例机型研究,建立简单电厂控制系统安全风险评估指体系并构建;评估指标的D数偏好矩阵,即根据电厂控制系统资产识别、威胁识别、脆弱性识别以及已有安全措施建立指标体系,用D数理论改进层次分析法,求解各层次指标影响;使用逼近理想解方法计算各专家意见的准确度;综合指标权重、专家权重以及专家评价指标确定电厂控制系统的安全风险等级。基于D-AHP一级TOPSISI评估方法得到的电厂控制系统安全风险评估权重统计数据如表2所示。由表可得电厂控制系统安全风险评估二级指标综合权重向量为:W=(,,,,,,,,)(4)由式(4)可知,电厂控制系统安全风险值处于中等水平,需采用措施保护局系统安全,降低风险等级,其中面临的最大风险为威胁性,权重为,需对控制系统中的恶意软件、拒绝服务攻击、通信参数篡改、数据窃取等威胁性动作进行排查与管理,如加入入侵检测系统、加强防火墙过滤、建立统一服务管理平台等,保证电厂控制系统的安全性。
4结束语
风险评估方案【第四篇】
传统信息安全风险主要包括3个要素:①资产,它是信息系统内部需要保护的重要资源或信息;②威胁,它是来自攻击者的恶意攻击,可能造成信息资产重大损失或外流的潜在因素;③脆弱性,它是信息系统内部容易被攻击的薄弱环节。实际的信息安全风险评估建立的模型对这3个要素有所深化和发展,并应用于信息安全的标准化制定中。
(1)国际标准ISO15408。
该标准强调人为因素的作用,将信息系统的“属主”从笼统的“资产”要素中分离出来,将“攻击者”从笼统的“威胁”要素中分离出来。该标准除了上述3个要素以外,还考虑漏洞、风险和措施这3个要素。
(2)国际标准ISO13335。
该标准细化了风险评估指标体系。它除了考虑“资产”要素以外,还考虑“资产价值”要素;除了考虑“防护措施”要素以外,还考虑“防护需求”要素,进一步强调了系统中要素的属性。此外,该标准还考虑到威胁、脆弱性、风险等3个一级指标,7个要素。
(3)国务院信息化工作办公室制定的《信息安全风险评估指南》。
它引入了“使命”要素,从源头上强调了信息风险管理工作的驱动力;引入了“残余风险”要素,强调了安全防范不可能一蹴而就,需要不断改进;同时引入了“事件”要素,强调了对突发事件的预判,比ISO13335扩展了3个要素,建立了适合中国国情的10个要素的信息安全风险评估标准。开展信息安全风险的评估一般分为5个步骤。①评估准备阶段,主要是明确风险评估的目的和意义,制定评估方案,确定评估模型等。②要素识别阶段,主要是按照上级制定的标准,结合被评估对象的实际情况,识别信息安全风险评估的各个要素,同时根据权威标准的一级指标体系合理扩展为可以测度的二级指标体系。③测度汇总阶段,主要是使用二级指标体系进行测度,给出评估分值,并使用合适的数学模型进行汇总评分。④风险分析阶段,主要是根据二级指标体系的评分结果和数学模型计算分析结果,综合进行风险判断,分析外部威胁和内部漏洞的危险程度,计算各指标蕴含的安全风险。⑤落实整改阶段,主要是通过评估工作的汇报验收,找到风险根源,落实整改措施,不断调整完善,提高系统抗风险的能力。
2两类信息安全风险综合评估指标体系
安全风险评估和预警工作中,指标体系的建立既很重要,也有很强的科学性。构建信息安全风险评估指标体系需要掌握以下7项原则:①目的性原则。建立评估指标体系的根本目的是有效防范信息安全风险。②科学性原则。指标体系必须科学有效地反映信息安全风险的所有特点。③系统性原则。建立的评价指标体系必须协调统一,层次合理,最大限度地反映信息安全风险的基本特点。④重要性原则。抓住反映信息安全风险本质特点的主要因素来设计指标,该指标体系必须能突出主要风险因素,建立重点突出,简明实用的指标体系。⑤互斥性原则。要求指标间相互独立,避免太多的涵盖等出现而导致指标内涵的重复。同时指标相互间又有密切联系,需要一些不同角度指标的设置来互相检验、弥补。⑥层次性原则。对评估的目标进行层次分解,使结构清晰,容易分析,逻辑性和科学性强,提高评估结论的可信度。⑦操作性原则。指标体系的各指标必须是可以采集的和可以量化的,数据应通过可靠来源直接或间接的获取,评估指标应尽量避免难以获得的参数。根据上述信息安全风险评估标准和评估原则,结合被评估对象的实际情况,将两类安全风险综合起来,建立综合评估的指标体系。技术风险按照资产/业务、技术脆弱性、威胁3个方面组织指标设计。在一般计算机系统中,其脆弱性方面也可以进行展开。之所以列出两个表格,旨在指出这方面的指标系统设计不是唯一的,可以根据上述原则,结合具体环境和条件进行设计。非传统的信息安全风险的评估,主要是指利用人的弱点产生的风险,一般体现在内部管理上的疏忽与过失,以及外部的蓄意攻击和阴谋策划。一般计算机系统可以进行展开。建立两类信息安全评估二级指标体系是一个方面,运用数学模型进行安全风险分析是更重要的一个方面。李成耀很早就研究了多层协议和多层结构的网络信息安全分层模型;罗帆等运用N-K模型分析了安全耦合风险;杨亚东等使用一般层次分析法(AHP)为安全监管系统建立了风险评价指标体系和综合评估模型。结构方程模型在这些模型中独树一帜,它既可以进行指标体系的汇总与路径影响分析,还可以深入分析某些因素之间的中介效应、调和效应和交互效应。笔者采用结构方程模型(SEM)进行两类信息安全风险综合评估,其数学表达和计算可以参见文献[13]。其提出了一种新的确定性算法,克服了传统的偏最小二乘算法与协方差拟合算法需要反复迭代的弱点,并且可以使用DASC软件实现计算。结构方程模型是针对一般信息系统的非传统信息安全风险评估而设立的,它很容易改写为适应其他二级指标体系的模型,使用DASC软件很容易实现数学计算。
3两类信息安全风险的综合防范
信息安全风险评估的目的在于防范,不同的信息系统在不同的环境下,风险防范措施很不一样。最近制定的信息系统安全风险评估的国内标准(GB/T9387-2)以及国际标准(ISO7498-2)都明确规定,信息安全实现主要以构筑防火墙、建立入侵检测系统、灾难备份和应急响应系统、物理隔离系统、杀毒软件包等方式实现。物理隔离系统是绝对的隔离,效果比较理想。防火墙以及网关主要应用于专用网络与公用网络的互联环节,技术复杂并在不断改进更新。入侵检测系统把系统的安全管理能力扩展到新的范围,引入了模式匹配、实时检测与响应等技术,使得信息系统建设得越来越复杂和庞大。非传统信息安全风险的防范,从宏观管理的角度主要考虑如下几个方面:①健全法规标准,加强高层对于信息安全的统一协调,加快安全标准制定。②建立信任机制,建立服务商之间、服务商与用户之间的信任关系,将是解决信息系统外部交流安全问题的根本。③发展关键技术,建立保证信息安全的技术体系,包括数据安全、可信计算和隐私保护技术等关键技术。④加强监督管理,着眼长效监管,完善应急机制,强化日志审计管理,提高溯源审查能力。非传统信息安全风险的防范,从个体心理的角度主要考虑如下几个方面:①加强心理防范,主要克服攻击者往往利用人的好奇心和虚荣心等弱点。②定期安全培训,让全体员工熟悉了解新的攻击者利用社会工程学的伎俩,学会防范非传统信息安全风险。③区分友谊责任,明确友谊必须有一定的信任基础。④提高安全意识,管理部门要制定更为严格的安全方案,同时落实到每一个员工。⑤实时事故响应,一旦发生信息安全事故,立即启动应急方案,除了检查技术漏洞和损失以外,特别要对利用社会工程学的攻击做出实时反应。
4结论
风险评估方案范文【第五篇】
关键词:元评估;档案安全;风险评估;评估指标
档案安全风险评估,是对档案实体和档案信息资源所面临的威胁及其可能造成的影响的可能性的评估。[1]档案安全风险评估的目的就是通过科学的方法、程序查找档案安全隐患和漏洞、薄弱环节,及时采取必要的措施,最大可能地规避和降低风险,确保档案的安全。因此,评估的科学与否、评估质量的高低直接决定着评估效果的好与坏。因而,判断档案安全风险评估本身的科学性就成了档案安全保障体系建设不可缺少的一个重要环节。而元评估就是评估的评估,是判定原评估科学性的方法。美国学者丹尼尔・L・斯塔弗尔比姆(Daniel L. Stufflebeam)非常形象地指出:“元评估对评估领域的重要性,就如审计制度对于会计领域的重要性一样。”[2]鉴于此,本文将从元评估的角度来解析档案安全风险评估科学性的问题。
1 档案安全风险评估元评估的涵义及其开展的必要性
档案安全风险评估元评估的涵义。元评估的产生与发展得益于元科学(科学的科学,Meta-science)[3]发展的推动,是元科学研究方法和研究成果应用于评估学领域的结果。元评估(Meta-evaluation)即对评估本身进行评估。[4]20世纪以来,随着评估学发展成为社会科学研究的重要领域,元评估研究亦逐渐成为推进评估学发展的重要途径。1940年皮多・奥若塔(Pedro Orata)提出“评估的评估”(evaluation of evaluation),是元评估概念的雏形。1969年迈克尔・斯克里文(Michael Scriven)首次提出“元评估”概念。[5]
元评估又称为“元评价”[6]“再评价”[7]“再评估”[8]“后设评估”[9]等。美国学者丹尼尔・L・斯塔弗尔比姆(Daniel L. Stufflebeam)将其定义为“经由记述、获取及运用关于评估的效用性、可行性、适当性及精确性等描述性信息和判断性信息的过程,据以引导评估,并公开报导其优点和缺点。” [10]国内学者张道民认为“元评估亦称为评估的评估。它是以已有的评估(原评估,primary-evaluation)活动及结果为对象,从整体上多视角地进行反思认识,进而对其可信度(可靠性)和有效度(功效性)作出客观、科学、全面的评估结论。”[11]
元评估,同样适用于档案安全风险评估领域。在档案安全风险评估领域,元评估是指按照一定的理论框架,运用可行的科学方法和价值标准,对档案安全风险评估标准、评估方案、评估过程、评估方法和评估结果的科学性和有效性进行分析,从而对档案安全风险评估做出价值判断的过程。从我国在天津[12]、河南[13]等地开展的档案安全风险评估实践来看,在评估结束后开始注重对档案安全风险评估活动本身的经验总结,从评估的组织领导、评估标准、评估方案、评估方法、程序、结论等方面提出意见和建议。整个过程虽然缺乏严格的元评估程序与标准,但从某种程度来说,这实际上已经迈出了元评估探索的步伐,对档案安全风险评估技术方法的改进、评估质量的提高,起到了重要的作用。
档案安全风险评估元评估开展的必要性。档案安全风险评估元评估开展的必要性主要体现在以下两个方面:
第一,档案安全风险评估误差的客观存在,需要元评估对原来的评估进行偏差控制,使偏差控制在合理的范围,提高评估的信度和效度,从而提高评估的整体质量。档案安全风险评估过程中,一些客观因素的影响,使得评估不可避免存在误差,影响评估的质量。这些因素主要有:由于评估指标体系本身(包括评估指标及评估内容的选择、评估权重的确定等方面)设计不科学产生的误差;由于评估专家组成员结构不合理、不良心理因素产生的误差;由于风险本身的动态性、复杂性而产生的误差。
偏差控制是元评估的一项重要功能,元评估首先检测与识别档案安全风险评估偏差。元评估通过方差法、肯德尔和谐系数法等分析原评估数据和流程,识别原来评估的偏差环节。在偏差识别的基础上运用统计方法和其他各种方法,对原来评估的偏差原因进行分析,对偏差值进行计算,从而对评估偏差予以纠正,保证档案安全风险评估的质量。
第二,元评估是档案安全风险评估科学理论形成和完善的推进器。由于风险的复杂性,它处在一个动态的不断变化的过程中:未知的、新的风险随时有可能发生,已识别出来的风险其发生的可能性和产生的后果严重性也不是一成不变的。因此,在风险控制的过程中,需要定期或不定期的对已经识别的风险发生的可能性和产生的后果进行重新评估。风险的复杂性、风险评估的周期性决定了档案安全风险评估科学理论的形成是一个及其复杂的过程。马克思主义认识论科学地揭示了认识的规律,档案安全风险评估科学理论的形成与完善也需要经历一个由实践到认识、由认识到实践的多次反复的过程,需要在实践中不断的检验、修正与完善。元评估则是连接实践与认识的链条,元评估通过对风险评估方案、评估指标、评估方法、评估过程的检验来验证风险评估理论的正确性,在不断修正与完善基础上形成科学的评估理论。
2 档案安全风险评估元评估主体及模式
元评估主体。元评估主体是指元评估行为的实施者,主要回答由谁来进行元评估的问题。可以有几种选择:一是原评估者,二是原评估组织者,三是外部专业评估者。第一种可信度不高,第二种受理论与技术的限制,第三种理论上科学高效、客观公正,需要较高的花费,但即便如此很大程度上也受该行业发展成熟度的影响。理想化的选择是元评估主体要比原评估主体素质更高,不但能胜任原评估还能对原评估进行优劣评价。因此,档案安全风险评估元评估主体的选择,需要考虑各方面的因素,选择最适当的元评估主体,可以采取内部评估专家与外部评估专家相结合的方式。
元评估模式。关于元评估的模式,不管是Cook和Gruder(1978)的七种元评估模式,还是stufflebeam(1974)的元评估模式,或是Gowin的QUEMAC模式,所依据的分类标准共同的地方是元评估与原评估是同时实施,还是在原评估完成后实施,即形成性元评估(pro-active meta-evaluation)和总结性元评估(retro-active meta-evaluation)。形成性元评估强调在评估的不同阶段,尤其是各个阶段的衔接处,应及时进行元评估,以便及时修正评估的方案、技术或操作中可能出现的问题;若等到评估结束,某种无效甚至有害的评估已产生不良影响,此时进行元评估为时已晚。总结性元评估强调元评估作为经验总结性质的总结性评估的作用,即在评估结束后,对此次评估的方案设计、技术方法、实施程序、结论质量及其产生的作用和影响做出全面的分析、评估和估价,为最终的决策提供咨询建议或施加影响,也为改进评估活动提出意见和建议。在档案安全风险评估的元评估中可以将元评估两种模式各自的优势结合起来,加强原评估的过程管理,通过对原评估过程的评估,发挥内部监控的作用,做好对评估过程的评价与监控,做到结果监控与过程监控相结合,外部监控与内部监控相结合。
3 档案安全风险元评估的内容、方法及程序
元评估内容。档案安全风险元评估的内容主要包括对档案安全风险评估标准、评估方案、评估过程、评估方法和评估结果的可信度和有效度进行整体、综合的评估。具体主要包括:(1)评估目的是否明确;(2)评估标准是否合理;(3)评估指标体系是否完整,指标权重系数是否准确;(4)评估实施方案是否合理;(5)评估方法是否科学;(6)评估结果是否真实、合理、有效;(7)评估功效能否发挥等。
元评估方法。档案安全风险评估元评估除了采用内容分析法、经验总结法等常用的定性评估的方法之外,还可以采用效度检验和信度检验等定量的方法来判断。效度(Validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。如果一项评估的效度很低,则其实际效果肯定不佳。信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。如果评估的信度很低,则其结果就缺乏可靠性。在档案安
全风险评估的元评估中,可以运用肯德()和谐系数法对专家的评分差异进行检验。肯德尔和谐系数法计算公式[14]如下:
W=S/[(1/12)n2(m3-m)],
式中,n为评估者人数;m为被评项目(指标)的个数;s为各种被评因素秩和的离差平方和:S=∑(Rj-Rj)2=∑Rj2-(1/m)(∑Rj)2。W值越接近1,则表示专家的评分越一致,差异性越小。
元评估程序。根据丹尼尔・L・斯塔弗尔比姆(Daniel L. Stufflebeam)后设评估的十个步骤[15],结合档案安全风险元评估的实际情况,元评估可以按照以下程序开展:(1)建立一个合格的元评估小组;(2)决议元评估的判断标准;(3)收集和检视适当可用的信息;(4)必要时收集新信息,包括实地访谈、观察及问卷调查等;(5)分析定性和定量信息,并判断评估符合所选定评估标准的程度;(6)形成元评估报告;(7)解释及应用元评估结果。
4 搞好档案安全风险评估元评估的几点建议