首页 -> 2007年第1期

高职院校教学网站的评价研究

作者：缪桂英　俞立平

　　
　　指标权重的确定
　　
　　教学网站测评指标体系反映测评对象的质量水平状况和特征，而每一测评指标的变化对教学网站综合评价指数变化的影响程度是不同的。反映影响程度的重要性尺度就是权重。为了明确各项指标在测评指标体系中所具有的不同的重要性程度，需要分别赋予各项指标以不同的权重数。权重确定与分配是测评指标体系设计中非常关键的一个步骤，对于能否客观、真实地反映用户对高职院校教学网站的满意度起着至关重要的作用。
　　（一）层次分析法
　　层次分析法[7]（Analytic Hierarchy Process，简称AHP）是对一些较为复杂、较为模糊的问题作出决策的简易方法，它特别适用于那些难于完全定量分析的问题。它是美国运筹学家T. L. Saaty教授于20世纪70年代初期提出的一种简便、灵活而又实用的多准则决策方法。
　　运用层次分析法建模，大体上可按下面四个步骤进行：（1）建立递阶层次结构模型；（2）构造出各层次中的所有判断矩阵；（3）层次单排序及一致性检验；（4）层次总排序及一致性检验。
　　层次结构反映了因素之间的关系，但准则层中的各准则在目标衡量中所占的比重并不一定相同，在决策者的心目中，它们各占有一定的比例。要比较n个因子B1，B2，…，Bn对某因素F的影响大小，通常采取对因子进行两两比较的办法，建立成对比较矩阵。如设aij表示因子Bi和Bj对因素F的影响大小之比，再设矩阵A＝（aij）n×n，称A为判断矩阵或成对比较矩阵。显然，矩阵A具有性质：
　　
　　满足这两个性质的矩阵称为正互反矩阵。根据心理学的研究结果，若分级太多，则会超越人们的判断能力，因此通常用数字1～9及其倒数作为矩阵A的标度（表1）。
　　
　　由于客观世界的复杂性以及人类主观判断差异，每一个判断难以达到完全一致，需要对各判断矩阵进行一致性检验，因此，层次分析法中引入判断矩阵最大特征根以外的其余特征根的负平方值作为判断矩阵的一致性的指标：
　　CI=（2）
　　为了检验不同的判断矩阵是否具有一致性，同时引入判断矩阵的平均随机一次性指标RI值，对n＝1，…，9，Saaty给出了表2的RI值。
　　
　　当CR＜0.10时，认为判断矩阵的一致性是可以接受的，否则应对判断矩阵作适当修正。
　　对层次总排序也需作一致性检验，这是因为虽然各层次均已经过层次单排序的一致性检验，各层对比较判断矩阵都已具有较为满意的一致性。但当综合考察时，各层次的非一致性仍有可能积累起来，引起最终分析结果的较严重的非一致性。
　　总排序随机一致性比例为：
　　
　　类似地，当CR＜0.10时，认为层次总排序结果具有较满意的一致性并接受该分析结果。
　　（二）德尔菲法
　　德尔菲法也称为专家打分法，主要用背对背的判断代替面对面的会议，即采用函询的方式，依靠调查机构反复征求每个专家的意见，经过客观分析和多次征询反复，使各种不同意见逐步趋向一致。
　　计算结果
　　课题组联系了有关高校教育学、信息经济、图书情报等专业的7位教授与博士，让他们单独对指标的重要性进行设置，然后采用Expert Choice公司的Expert choice Trial11.1.3202软件进行计算，该软件能方便地根据层次分析法的原理迅速计算出指标体系中各指标的权重，并进行一次性检验。一轮结束后，将结果匿名反馈给所有专家，让他们继续进行调整，如此经过三轮循环以后，意见趋于一致，结果如表3所示。
　　从结果看，一级指标中网站内容权重最高，其次是知识结构和网站动态性，网站设计与艺术性权重最低。总体上，内容重于形式。总排序随机一次性比例为0.05＜0.1，检验通过。
　　从知识结构看，理论知识比实践环节重要，如果是单纯的理论或实践课程，应灵活设置权重。从网站内容看，教学内容、学习论坛、教学团队占有较高的权重，体现了教学、师资以及交互的网站教学原则。从网站设计看，安全可靠及知名度占有较高的权重，说明网站首先要保证能够检索到和能够打开，这是非常重要的基础。从网站动态性看，网站更新与反馈同等重要。从艺术性看，整体效果与色彩搭配权重最高。所有二级指标的单排序一致性检验全部通过。
　　
　　总之，根据高职院校的教学特点，从内容、形式、交互性等方面对高职院校教学网站进行全方位评价，克服了过去教学网站评价中单纯重形式的弊病。在指标权重设定上，通过层次分析法结合德尔菲法进行分析，能最大限度地减少随意性，使评价更加科学合理。另外，网站评价没有通用模式，不同行业、不同性质的网站评价方法可能完全不同，应根据某类网站的内容进行个性化评价。
　　
　　参考文献：
　　[1]徐世浩.中美两国高等学校教育网站比较研究[J].中国电化教育，2004，（2）：62-66.
　　[2]顾琼莹，周树红.目前国内教育网站现状的调查与分析[J].中国电化教育，2004,（4）:43-45.
　　[3]周梅群，吴华.教育网站评价指标体系设计之研究[J].开放教育研究，2004，（2）：55-57.
　　[4]律原，荣燕.远程教育的特点与教学网站的评价[J].中国远程教育，2002，（2）：62-64.
　　[5]王丽珍.信息技术与研究生学习整合专题学习网站评价体系的设计[J].中国电化教育，2005，（2）：81-83.
　　[6]王海燕，鲍洪晶.教学网站有效性评价问题研究[J].现代教育技术，2004，（4）：28-33.
　　[7]Saaty T L.层次分析法[M].许树柏，等，译.北京:煤炭工业出版社，1988.
　　作者简介：
　　缪桂英（1966—），女，扬州职业大学经济贸易系讲师。
　　俞立平（1967—），男，浙江泰州人，扬州职业大学经济贸易系副教授，主要从事信息经济与情报科学领域的教学科研工作。
　　
　　“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文”。
　　

[1] 2

本文为全文原貌　请先安装PDF浏览器　 原版全文