• 中国科技论文统计源期刊
  • 中国科技核心期刊
  • 中国高校优秀期刊
  • 安徽省优秀科技期刊

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于CIPP模型和层次分析法的临床线上教学质量评价体系的构建

张衡 李克放 王红玉 胡玥玥 刘媛媛 刘扬 陈辉 陈卫东

引用本文:
Citation:

基于CIPP模型和层次分析法的临床线上教学质量评价体系的构建

    作者简介: 张衡(1987-),男,博士,副教授
    通讯作者: 陈卫东, cwd2012@163.com
  • 基金项目:

    蚌埠医学院校级本科教学质量工程项目 2019jyxm91

    安徽省教育厅质量工程支持疫情防控期间重大线上教学改革研究项目 2020zdxsjg221

  • 中图分类号: R192

Construction of evaluation system of clinical online teaching quality based on CIPP model and analytic hierarchy process

    Corresponding author: CHEN Wei-dong, cwd2012@163.com
  • CLC number: R192

  • 摘要: 目的应用CIPP模型和层次分析法构建临床线上教学质量评价体系。方法通过文献复习、Delphi法,从CIPP模型的背景评价、输入评价、过程评价和结果评价四个方面建立临床线上教学质量评价指标,并运用层次分析法计算各指标权重,构建临床线上教学质量评价体系。结果建立了包含4个一级指标、19个二级指标、45个三级指标的临床线上教学质量评价体系。结论基于CIPP模型和层次分析法的临床线上教学评价体系可基本反映临床线上教学与管理情况,对评价临床线上教学质量和探索、完善临床线上教学模式具有一定的参考价值。
  • 图 1  研究流程图

    图 2  层次分析法模型

    表 1  被函问专家一般情况

    项目 n 构成比/%
    性别
       男 9 45.00
       女 11 55.00
    年龄/岁
        < 40 17 85.00
       40~ < 50 2 10.00
       ≥50 1 5.00
    职称
       中级及以下 8 40.00
       副高 10 50.00
       正高 2 10.00
    工作岗位
       部门负责人 2 10.00
       教师 15 75.00
       教务管理人员 3 15.00
    工作年限/年
       11~15 17 85.00
       16~20 1 5.00
       >20 2 10.00
    下载: 导出CSV

    表 2  判断依据及熟悉程度分类

    判断依据 赋值/分 熟悉程度 赋值/分
    理论依据 1 不熟悉 0.2
    实践经验 0.8 不太熟悉 0.4
    国内外资料直觉 0.6 0.2 一般熟悉 0.6 0.8
    很熟悉 1
    下载: 导出CSV

    表 3  专家对三级指标的评分

    三级指标 专家打分
    平均值 标准差 变异系数
    办学目标 0.925 0.145 0.114
    办学规划 0.810 0.192 0.137
    专业课程资源 0.855 0.167 0.195
    课外学习资源 0.830 0.187 0.125
    线上教学经费 0.790 0.186 0.136
    线上师资力量 0.920 0.115 0.125
    政府支持力度 0.910 0.152 0.167
    政策完善程度 0.840 0.179 0.113
    学生学习设备 0.895 0.157 0.176
    教师教学设备 0.880 0.161 0.183
    教学时间安排 0.905 0.139 0.154
    教学人员组织 0.885 0.153 0.173
    网络质量评价 0.835 0.153 0.183
    网络学习平台 0.890 0.137 0.154
    发表学术论文数 0.760 0.182 0.139
    获科技成果奖数 0.670 0.153 0.128
    教学实施能力 0.860 0.179 0.108
    教学研究能力 0.750 0.176 0.135
    教学创新能力 0.765 0.173 0.126
    高职授课情况 0.815 0.181 0.123
    教学模式 0.770 0.172 0.123
    教学方法 0.850 0.157 0.185
    教学手段 0.820 0.167 0.104
    考核方式 0.845 0.173 0.105
    考核内容 0.895 0.154 0.172
    考核结论 0.840 0.170 0.202
    教师课堂表现 0.825 0.177 0.115
    网课教学秩序 0.855 0.161 0.188
    学生在线情况 0.890 0.161 0.188
    学生学习状态 0.780 0.177 0.126
    学习质量监管 0.765 0.193 0.152
    线上课程安排 0.820 0.177 0.115
    教师各院系部的满意度 0.905 0.119 0.132
    教师对院校管理的满意度 0.835 0.166 0.199
    组织机构 0.790 0.197 0.149
    专家参与重大决策 0.800 0.172 0.115
    学生思维与信息搜寻 0.800 0.175 0.118
    学生线上学习自主性 0.785 0.181 0.131
    学生专业成绩考核 0.800 0.149 0.186
    学生实践能力 0.730 0.156 0.114
    同行工作评价 0.855 0.167 0.195
    学生工作评价 0.825 0.162 0.196
    教师自我评估 0.890 0.148 0.167
    专业建设 0.865 0.163 0.189
    教材建设 0.775 0.171 0.121
    下载: 导出CSV

    表 4  各级指标权重及变异系数

    一级指标 权重 变异系数 二级指标 权重 变异系数 三级指标 权重 变异系数
    教学背景 0.23 0.173 办学定位 7.66 0.257 办学目标 47.72 0.225
    办学规划 52.28 0.158
    线上资源 39.78 0.128 专业课程资源 69.79 0.137
    课外学习资源 30.21 0.195
    教学投入 37.25 0.116 线上教学经费 40.52 0.187
    线上师资力量 59.48 0.156
    政策环境 15.31 0.149 政府支持力度 49.25 0.101
    政策完善程度 50.75 0.098
    教学组织 0.24 0.168 教学设备 28.79 0.156 学生学习设备 52.18 0.115
    教师教学设备 47.82 0.131
    教学安排 13.85 0.137 教学时间安排 46.54 0.128
    教学人员组织 53.46 0.117
    网络空间 12.85 0.194 网络质量评价 31.19 0.157
    网络学习平台 69.81 0.126
    学术能力 11.21 0.136 发表学术论文数 49.22 0.115
    获科技成果奖数 51.88 0.107
    教学能力 33.30 0.075 教学实施能力 30.89 0.124
    教学研究能力 20.78 0.208
    教学创新能力 24.82 0.103
    高职授课情况 23.51 0.176
    教学实施 0.27 0.076 课程实施 11.55 0.181 教学模式 28.41 0.197
    教学方法 39.25 0.091
    教学手段 32.34 0.156
    课程考核标准 8.96 0.193 考核方式 17.86 0.217
    考核内容 50.23 0.103
    考核结论 31.91 0.139
    教师教学 25.53 0.106 教师课堂表现 59.47 0.079
    网课教学秩序 40.53 0.082
    学生学习 35.04 0.065 学生在线情况 47.74 0.092
    学生学习状态 52.26 0.056
    学校管理 5.33 0.194 学习质量监管 59.46 0.087
    线上课程安排 40.54 0.193
    教学服务水平 4.32 0.187 教师各院系部的满意度 49.29 0.189
    教师对院校管理的满意度 50.71 0.171
    专家治学 9.27 0.199 组织机构 65.32 0.146
    专家参与重大决策 34.68 0.175
    教学效果 0.26 0.073 学生能力 60.58 0.067 学生思维与信息搜寻 48.67 0.078
    学生线上学习自主性 37.93 0.069
    学生专业成绩考核 10.24 0.193
    学生实践能力 3.16 0.057
    教师评估 29.35 0.146 同行工作评价 27.21 0.068
    学生工作评价 40.57 0.052
    教师自我评估 32.22 0.135
    建设效果 10.07 0.165 专业建设 54.74 0.194
    教材建设 45, 26 0.191
    下载: 导出CSV
  • [1] JSIC. The future of assessment for Five Principles, Five Targets for 2025[EB/OL]. https://www.jisc.ac/reports/the-futureofassessment, 2020-03-20.
    [2] 胡晨霞, 李耿, 陈贤春, 等. 中医院校双语教学CIPP模式评价体系构建探讨[J]. 中国高等医学教育, 2015, (3): 28.
    [3] 董颖, 郑友取, 李俊, 等. 高校创业教育CIPP评价模型体系构建及实证研究[J]. 中国软科学, 2017, A1: 314.
    [4] TABRIZI JS, FARAHBAKHSH M, SHAHGOLI J, et al. Designing excellence and quality model for training centers of primary health care: A Delphi method study[J]. Iran J Public Health, 2015, 44(10): 1367.
    [5] 苗亚杰, 王君俏, 梁燕, 等. 基于CIPP评价模式构建护理学高仿真模拟教学评价框架[J]. 护理学杂志, 2016, 31(7): 58.
    [6] 薛成龙, 李文. 国外三所大学线上教学的经验与启示[J]. 中国高教研究, 2020(4): 12.
    [7] 李克寒, 刘瑶, 谢惠旭, 等. 新冠肺炎疫情下线上教学模式的探讨[J]. 中国医学教育技术, 2020, 34(3): 264.
    [8] 张芮. 我国STEM教育项目评价指标体系研究[D]. 北京: 北京邮电大学教育技术研究所, 2019.
    [9] 柳芳, 陶丝雨, 谢俊大, 等. 基于德尔菲法构建中药饮片处方点评内容[J]. 中国医院药学杂志, 2020, 40(12): 1.
    [10] 黄惠. MATLAB在高职线性代数教学中的应用研究[J]. 中阿科技论坛, 2020, (9): 164.
    [11] 胡晓辉, 韩芳, 董大奎, 等. 基于CIPP模式的高职专业教学质量评价指标体系构建研究[J]. 中国职业技术教育, 2015, (3): 27.
  • [1] 魏芳祝晓光葛敏 . 药理学双语教学及考试情况调查分析. 蚌埠医学院学报, 2010, 35(11): 1162-1163.
    [2] 许孝凤邹兵兵李正红周平 . 医学留学生临床实习导师制教学模式研究. 蚌埠医学院学报, 2018, 43(6): 840-841. doi: 10.13898/j.cnki.issn.1000-2200.2018.06.042
    [3] 耿建杨清玲周继红石玉荣 . 分子诊断学研究型实验教学模式的探索与实践. 蚌埠医学院学报, 2018, 43(9): 1217-1220. doi: 10.13898/j.cnki.issn.1000-2200.2018.09.029
    [4] 邱兆磊赵小彦王振杰程峰李磊张振海窦贺贺宋琦徐志鹏张福龙赵亨王世杰 . 整合医学教学模式在急诊医学住院医师规范化培训中的应用. 蚌埠医学院学报, 2022, 47(7): 987-989. doi: 10.13898/j.cnki.issn.1000-2200.2022.07.036
    [5] 杨宇清宋海南刘玮严继贵 . 病案教学法在药理学教学中的应用及效果评价. 蚌埠医学院学报, 2016, 41(2): 247-248,251. doi: 10.13898/j.cnki.issn.1000-2200.2016.02.036
    [6] 阮晓蕾曹凤龙 . 医学院校研究生专业英语教学中的同级反馈. 蚌埠医学院学报, 2013, 37(2): 212-214.
    [7] 杨杰 . 模糊综合评价法在急诊科护理质量评价中的应用. 蚌埠医学院学报, 2021, 46(12): 1772-1776. doi: 10.13898/j.cnki.issn.1000-2200.2021.12.033
    [8] 张永高山闫志陈辉陈卫东谈燚郝博 . 基于思维导图的新型线上教学模式在临床医学专业本科生中的教学效果分析. 蚌埠医学院学报, 2022, 47(7): 979-983. doi: 10.13898/j.cnki.issn.1000-2200.2022.07.034
    [9] 周平杨葛君许华山 . 学生视角下线上教学效果影响因素分析. 蚌埠医学院学报, 2021, 46(10): 1467-1469. doi: 10.13898/j.cnki.issn.1000-2200.2021.10.036
    [10] 张凤朱凯刘林李佳佳陈卫东陈辉高涌 . CPPT教学模式在血液病临床教学中的应用研究. 蚌埠医学院学报, 2022, 47(10): 1445-1447. doi: 10.13898/j.cnki.issn.1000-2200.2022.10.025
    [11] 王文艳熊韵波李胜泽李群李玉芝孙蕊李燕华马玲 . 《妇科肿瘤学》教学模式改革初探. 蚌埠医学院学报, 2011, 36(1): 91-92,95.
    [12] 于影张蔚屏胡杰杨丽娟叶红伟马善峰 . 疫情防控下生理学SPOC教学模式参与度分析及实施效果评价. 蚌埠医学院学报, 2021, 46(8): 1152-1155. doi: 10.13898/j.cnki.issn.1000-2200.2021.08.042
    [13] 李金芝白洁刘敏张静 . 基于临床案例的多元化教学模式在妇产科护理学教学中的应用. 蚌埠医学院学报, 2021, 46(12): 1796-1799. doi: 10.13898/j.cnki.issn.1000-2200.2021.12.040
    [14] 官建中王照东梁冰吴敏陈笑天高许斌刘亚军 . 临床病理生理及治疗教育模式在骨科临床实习教学中应用. 蚌埠医学院学报, 2016, 41(6): 823-824. doi: 10.13898/j.cnki.issn.1000-2200.2016.06.038
    [15] 李莉徐凌忠 . 失效模式与效应分析法在手术体位安置管理中的应用. 蚌埠医学院学报, 2017, 42(5): 691-693. doi: 10.13898/j.cnki.issn.1000-2200.2017.05.041
    [16] 王安生王祖义张从利任志桑海威李其才 . 线上交互式教学联合标准化病人在胸外科教学中的应用. 蚌埠医学院学报, 2023, 48(4): 554-557. doi: 10.13898/j.cnki.issn.1000-2200.2023.04.031
    [17] 郭晓磊关宿东 . PBL教学模式对医学院校教师教学能力要求探讨. 蚌埠医学院学报, 2010, 35(11): 1164-1165.
    [18] 贾贤杰付连国吴学森庄颖韩慧姚荣英周纯先 . 基于TCE教学模式的卫生统计学实验课教学效果评价. 蚌埠医学院学报, 2011, 36(10): 1122-1124.
    [19] 郭书法吴俊英明泽权继振夏娟严发萍 . 项目学习教学模式在医学专业英语教学中的应用. 蚌埠医学院学报, 2013, 37(11): 1493-1496.
    [20] 谢虹朱宁宁白洁张艳芳 . 临床学院教学模式对护理学专业学生学习效果的影响. 蚌埠医学院学报, 2017, 42(6): 835-838. doi: 10.13898/j.cnki.issn.1000-2200.2017.06.045
  • 加载中
图(2)表(4)
计量
  • 文章访问数:  2267
  • HTML全文浏览量:  1257
  • PDF下载量:  8
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-11-19
  • 录用日期:  2021-06-17
  • 刊出日期:  2023-11-15

基于CIPP模型和层次分析法的临床线上教学质量评价体系的构建

    通讯作者: 陈卫东, cwd2012@163.com
    作者简介: 张衡(1987-),男,博士,副教授
  • 1. 蚌埠医学院第一附属医院 骨科, 安徽 蚌埠 233004
  • 2. 蚌埠医学院 临床医学院, 安徽 蚌埠 233030
基金项目:  蚌埠医学院校级本科教学质量工程项目 2019jyxm91安徽省教育厅质量工程支持疫情防控期间重大线上教学改革研究项目 2020zdxsjg221

摘要: 目的应用CIPP模型和层次分析法构建临床线上教学质量评价体系。方法通过文献复习、Delphi法,从CIPP模型的背景评价、输入评价、过程评价和结果评价四个方面建立临床线上教学质量评价指标,并运用层次分析法计算各指标权重,构建临床线上教学质量评价体系。结果建立了包含4个一级指标、19个二级指标、45个三级指标的临床线上教学质量评价体系。结论基于CIPP模型和层次分析法的临床线上教学评价体系可基本反映临床线上教学与管理情况,对评价临床线上教学质量和探索、完善临床线上教学模式具有一定的参考价值。

English Abstract

  • 受新型冠状病毒感染(corona virus disease 2019, COVID-19)疫情的影响,教育部要求各高校开展线上教学。随着线上教学逐步开展和趋于正轨,线上教学的关注点从最初的恢复教学活动和秩序逐渐转移到提高教学水平质量[1]。然而,目前的线上教学实践存在一些弊端: 教师激励和监管机制不足、课程质量良莠不齐、学生“逃课”现象时有发生、师生之间交流减少等。临床医学专业的教师多为在疫情防控和临床诊疗中肩负一线工作的医生,同时面临繁重的科研任务,投入到临床教学工作的时间和精力相对较少,且临床教学强调理论与实践结合,临床医学线上教学质量难以保证。因此,建立一个科学、完整的临床线上教学质量评价体系,客观评价教师教学活动,监督学生学习过程,提高教学质量是目前亟待解决的问题。本研究通过文献复习、Delphi法,运用CIPP模型建立临床线上教学质量评价指标,运用层次分析法计算各级指标权重,构建临床线上教学质量评价体系。

    • 首先通过查阅资料建立临床线上教学质量评价指标,然后应用层次分析法计算各级指标权重, 构建临床线上教学质量评价体系,流程图见图 1

      图  1  研究流程图

    • 通过中国知网、万方、维普、Pubmed、Medline等中英文数据库,搜集国内外关于CIPP模型用于临床教学、线上教学质量评价的论文,提取质量评价指标后应用Delphi法向专家咨询。

    • CIPP模型也称决策导向型评价模型。美国著名教育评价专家Stufflebeam1965年在分析总结“教育评价之父”泰勒提出的行为目标模式的基础上提出了决策导向型评价模式[2]。CIPP评价模式包括背景、输入、过程评价和结果评价,各种评价英文的首字母构成CIPP。背景评价是评估研究对象周围的环境、分析存在的问题、确定研究的需要和明确研究的目标。输入评价是在确定研究目标后,评估实现目标所需要的条件、资源和所设计方案的可行性和优缺点。过程评价是对方案实施过程中的执行效率、不利因素等进行及时地评估,不断地反馈和修正。结果评价是对所达到的目标进行衡量与解释,探讨付出与产出的关系,为扩展或终止研究提供依据[3]

    • Delphi法[4]是将所研究的问题函询该领域的专家,收集所有专家意见并进行总结,再匿名反馈给专家,经过多次重复直至获得统一的意见。应用Delphi法向专家咨询。该方法向每个成员征求意见或看法,在实施的时候,采取背对背方式,并且利用多次征求的方式进行,最后将不同意见综合在一起。本研究在蚌埠医学院第一附属医院中选取临床、教学和管理专家20名,专家工作年限均在10年及以上,具有中级以上职称和线上临床教学管理经验,并同意支持配合完成咨询工作,专家基本信息见表 1。将提取质量评价指标进行专家咨询,并对结果进行整理、归纳和总结,初步建立临床线上教学临床在线教学质量评价各级指标。

      项目 n 构成比/%
      性别
         男 9 45.00
         女 11 55.00
      年龄/岁
          < 40 17 85.00
         40~ < 50 2 10.00
         ≥50 1 5.00
      职称
         中级及以下 8 40.00
         副高 10 50.00
         正高 2 10.00
      工作岗位
         部门负责人 2 10.00
         教师 15 75.00
         教务管理人员 3 15.00
      工作年限/年
         11~15 17 85.00
         16~20 1 5.00
         >20 2 10.00

      表 1  被函问专家一般情况

    • 层次分析法是一种把定性分析和定量分析相结合的层次权重决策分析方法。它是把复杂问题中的各个因素划分为目标、准则、方案等层次,利用数学方法对每一层次的因素的重要性权重进行计算和排序,根据计算结果选择相应的决策。建立层次结构模型是指把分析的问题分解成三至四层。第一层是目标层,即要解决的具体问题;第二层是准则层,即衡量目标层问题的具体实现方法;子准则层是对准则层的细化;最底层的方案层是决策时从中选出一个最佳方案。是否需要子准则层,需要根据具体的问题而定。示意图见图 2。本研究通过层次分析法构建临床线上教学质量评价指标层次结构模型,计算各级指标权重,提高临床线上教学质量评价指标体系的科学性和权威性。

      图  2  层次分析法模型

    • 积极系数是指专家参与调查的积极程度,一般用回收的有效问卷数与发放问卷的总数比值表示。权威系数(Cr)是指专家的代表性,反映调查结果的可靠性和权威性,主要用判断程度(Ca)和熟悉程度(Cs)计算。Ca是指专家对每个问题的判断依据,通常包括理论依据、实践经验、国内外资料、直觉四类。Cs表示专家对每个问题的熟悉程度,分为5个等级。CaCs在本研究中的赋值详见表 2Cr≥0.7一般认为研究结果是可靠的。权威程度计算公式: Cr=(Cs+Ca)/2。

      判断依据 赋值/分 熟悉程度 赋值/分
      理论依据 1 不熟悉 0.2
      实践经验 0.8 不太熟悉 0.4
      国内外资料直觉 0.6 0.2 一般熟悉 0.6 0.8
      很熟悉 1

      表 2  判断依据及熟悉程度分类

    • 变异系数为标准差和平均值之比。一般认为,变异系数 < 0.2,说明可信度较高。本研究中可进行多轮咨询,直至发现赋值的变异系数 < 0.2。Kendall′sW系数,是一个等级相关系数,可用于计算多个等级变量的关联程度。对各级指标的评价由专家自由评分,分值限定在0~1分,专家给出的分值越高说明专家对该项指标的认可程度越高,反之越低。一般情况下,0≤W≤1。W值越大,说明专家的协调度和对指标的认可度越高。

      同一评价者无相同等级评定时,W的计算公式:

      $ W=\frac{12 S}{K^2\left(N^3-N\right)} $

      其中,N指被评价的对象数,本研究中指各级指标数;K为评分者人数或评分所依据的标准数,本研究中指20位专家;S为每个被评价对象所评等级之和与所有这些和的平均数的离差平方和。

    • 权重是指每个指标在总体中所占有的比重或地位等。指标中的权重具有下列特点: 同一级指标的权重之和为1;同级指标被分解为各个子系统时,每个子系统中各指标权重之和为1。本研究用层次分析法计算各级指标权重,同时我们引入了变异系数来判断计算出来的权重结果合理性分析。若变异系数波动幅度较小,说明计算出的权重可靠程度更高。层次分析法计算方法如下: (1)构建判断矩阵。收集数据后构建判断矩阵,判断矩阵的标度 Mij可以是1~9及其倒数。当2个因素相比,1表示2个因素同样重要,3表示一个元素比另一个元素稍微重要,5表示一个元素比另一个元素明显重要,7表示一个元素比另一个元素强烈重要,9表示一个元素比另一个元素极端重要,2、4、6、8表示上述两相邻判断的中间值,倒数表示相应2个因素交换次序比较的重要性。(2)利用matlab法进行层次排序和一致性检验。当n阶矩阵A=(aij)n×n的最大特征值λ≈n时,可以确定判断矩阵具有一致性,则它对应的特征向量W=(w1w2,⋯,wn)能够反映各个因素的比重。其中,CI=(λmax-n)/(n-1), 是一致性指标;RI是平均随机一致性指标,对应1~9阶的矩阵,RI∈(0,0,0.58,0.90,1.12,1.24,1.32,1.41,1.45);CRCIRI是一致性比率,当CR < 0.1,可以认为判断矩阵具有满意的一致性。如果判断矩阵不具有满意的一致性,则需要调整判断矩阵以使CR < 0.1。(3)根据综合权重分析结果建立指标体系。经过反复调整判断矩阵,以及专家的咨询确认,最后确定判断矩阵。利用上面的matlab程序判断矩阵进行层次排序和一致性检验。从结果分析,CR均 < 0.1,表明通过了一致性检验,该层次结构模型和各个指标的权重合理,可以作为临床线上教学质量评价的指标体系。

    • 对各级各项指标进行集中和离散程度分析,集中程度主要采用(x±s),离散程度主要通过对专家意见的变异系数和协调系数进行分析[5]

    • 发放问卷20份全部收回且均有效,积极系数为100 %;专家提出意见的比率为90%(18/20)。本研究中Cs=0.752,Ca=0.865,Cr=0.809。

    • 本研究构建的临床线上教学质量评价指标体系共有一级评价指标4个,包括19个二级评价指标和45个三级指标。专家对三级指标的评分见表 3。本轮咨询最终一级指标的肯德尔协调系数为0.580(χ2=130.01,P < 0.01), 说明专家意见协调较好,指标评估的结果可信度较高。

      三级指标 专家打分
      平均值 标准差 变异系数
      办学目标 0.925 0.145 0.114
      办学规划 0.810 0.192 0.137
      专业课程资源 0.855 0.167 0.195
      课外学习资源 0.830 0.187 0.125
      线上教学经费 0.790 0.186 0.136
      线上师资力量 0.920 0.115 0.125
      政府支持力度 0.910 0.152 0.167
      政策完善程度 0.840 0.179 0.113
      学生学习设备 0.895 0.157 0.176
      教师教学设备 0.880 0.161 0.183
      教学时间安排 0.905 0.139 0.154
      教学人员组织 0.885 0.153 0.173
      网络质量评价 0.835 0.153 0.183
      网络学习平台 0.890 0.137 0.154
      发表学术论文数 0.760 0.182 0.139
      获科技成果奖数 0.670 0.153 0.128
      教学实施能力 0.860 0.179 0.108
      教学研究能力 0.750 0.176 0.135
      教学创新能力 0.765 0.173 0.126
      高职授课情况 0.815 0.181 0.123
      教学模式 0.770 0.172 0.123
      教学方法 0.850 0.157 0.185
      教学手段 0.820 0.167 0.104
      考核方式 0.845 0.173 0.105
      考核内容 0.895 0.154 0.172
      考核结论 0.840 0.170 0.202
      教师课堂表现 0.825 0.177 0.115
      网课教学秩序 0.855 0.161 0.188
      学生在线情况 0.890 0.161 0.188
      学生学习状态 0.780 0.177 0.126
      学习质量监管 0.765 0.193 0.152
      线上课程安排 0.820 0.177 0.115
      教师各院系部的满意度 0.905 0.119 0.132
      教师对院校管理的满意度 0.835 0.166 0.199
      组织机构 0.790 0.197 0.149
      专家参与重大决策 0.800 0.172 0.115
      学生思维与信息搜寻 0.800 0.175 0.118
      学生线上学习自主性 0.785 0.181 0.131
      学生专业成绩考核 0.800 0.149 0.186
      学生实践能力 0.730 0.156 0.114
      同行工作评价 0.855 0.167 0.195
      学生工作评价 0.825 0.162 0.196
      教师自我评估 0.890 0.148 0.167
      专业建设 0.865 0.163 0.189
      教材建设 0.775 0.171 0.121

      表 3  专家对三级指标的评分

    • 一级指标的权重分别是: 0.23、0.24、0.27、0.26,说明一级指标均有重要作用,二级指标重要性开始出现分化(见表 4)。

      一级指标 权重 变异系数 二级指标 权重 变异系数 三级指标 权重 变异系数
      教学背景 0.23 0.173 办学定位 7.66 0.257 办学目标 47.72 0.225
      办学规划 52.28 0.158
      线上资源 39.78 0.128 专业课程资源 69.79 0.137
      课外学习资源 30.21 0.195
      教学投入 37.25 0.116 线上教学经费 40.52 0.187
      线上师资力量 59.48 0.156
      政策环境 15.31 0.149 政府支持力度 49.25 0.101
      政策完善程度 50.75 0.098
      教学组织 0.24 0.168 教学设备 28.79 0.156 学生学习设备 52.18 0.115
      教师教学设备 47.82 0.131
      教学安排 13.85 0.137 教学时间安排 46.54 0.128
      教学人员组织 53.46 0.117
      网络空间 12.85 0.194 网络质量评价 31.19 0.157
      网络学习平台 69.81 0.126
      学术能力 11.21 0.136 发表学术论文数 49.22 0.115
      获科技成果奖数 51.88 0.107
      教学能力 33.30 0.075 教学实施能力 30.89 0.124
      教学研究能力 20.78 0.208
      教学创新能力 24.82 0.103
      高职授课情况 23.51 0.176
      教学实施 0.27 0.076 课程实施 11.55 0.181 教学模式 28.41 0.197
      教学方法 39.25 0.091
      教学手段 32.34 0.156
      课程考核标准 8.96 0.193 考核方式 17.86 0.217
      考核内容 50.23 0.103
      考核结论 31.91 0.139
      教师教学 25.53 0.106 教师课堂表现 59.47 0.079
      网课教学秩序 40.53 0.082
      学生学习 35.04 0.065 学生在线情况 47.74 0.092
      学生学习状态 52.26 0.056
      学校管理 5.33 0.194 学习质量监管 59.46 0.087
      线上课程安排 40.54 0.193
      教学服务水平 4.32 0.187 教师各院系部的满意度 49.29 0.189
      教师对院校管理的满意度 50.71 0.171
      专家治学 9.27 0.199 组织机构 65.32 0.146
      专家参与重大决策 34.68 0.175
      教学效果 0.26 0.073 学生能力 60.58 0.067 学生思维与信息搜寻 48.67 0.078
      学生线上学习自主性 37.93 0.069
      学生专业成绩考核 10.24 0.193
      学生实践能力 3.16 0.057
      教师评估 29.35 0.146 同行工作评价 27.21 0.068
      学生工作评价 40.57 0.052
      教师自我评估 32.22 0.135
      建设效果 10.07 0.165 专业建设 54.74 0.194
      教材建设 45, 26 0.191

      表 4  各级指标权重及变异系数

    • 2020年, 英国联合信息系统委员会发布的报告《评价未来: 面向2025的五个原则和目标》指出,随着数字教育时代的到来,未来的教育评价应遵循真实性、无障碍获取、适当地自动化、持续性及安全性五大原则,需要提高教师的数字化技能,增强教师用新的方法评估教育的信心并允许教师有更多的时间去实践,从而推动数字教育的发展[6]。临床医学教学质量直接影响到医学生的临床思维、技能水平和医疗服务质量。在疫情背景下开展的临床线上教学,这种新的教学模式的出现使得教学质量评价无章可循,无法可依。因此,构建临床线上教学质量评估体系,有助于对教学方法设计、教学活动实施、教学结果反馈等方面进行全面监管和评估[7]。CIPP评价模式是在综合分析行为目标模式、目标游离评价模式等的基础上,建立起来的具有全面性、过程性、发展性等特点的教育评价模式。行为目标模式过于关注预期的目标,目标游离评价模式过于注重实际效果。CIPP模式则融合多种评价方式于一体,不仅仅局限于结果评价,可以较全面地反映线上教学的实际情况。它具有决策导向功能,可以为统计者提供决策信息[8]。本研究建立了一个含4个一级指标、19个二级指标、45个三级指标的临床线上教学评价体系,为线上教学评价提供丰富的指标和参考标准等。

    • Delphi法应用的具体流程包括成立专门研究小组,制作咨询表,挑选专家并进行多轮函问,统计数据并进行计算,初步建立评价体系。本项目共询问了20位专家,集中了众多优秀教师的观点,增强了研究结果的可信度和说服力。本研究将提取的质量评价指标制作成问卷发放给专家,采用匿名搜集信息法,减少了专家之间的横向联系,得出数据相对真实可靠。从咨询表的统计结果来看[8],咨询表的回收率为100%,说明专家参与该项目的积极性较高,并且大部分专家积极地对指标提出了意见和看法。专家的权威系数为0.809,提示本研究的专家权威程度相对较高,给出的意见比较可靠,有相当大的参考价值。变异系数多数 < 0.2,说明专家协调程度很高。肯德尔协调系数为0.580,>0.5,说明专家的协调度较高。同时,该方法也存在一定局限性,如存在主观判断性、忽视小部分人的看法而可能使结果与实际不符等。首轮调查问卷中纳入的评价指标内容(如教学实施评价)部分来源于已发表文献[9],存在时间局限性,不知是否会对结果产生影响,所以本点评表内容仍需在后续实践中考核并进一步优化。

    • 本研究应用matlab软件进行层次分析法相关因素的权重计算。应用matlab法计算权重具有简便易用、处理强大、程序可视化、提高研究效率等优点[10]。权重反映专家对评价指标的认可度和该指标存在的合理性。从权重计算结果来看,本研究中一级指标权重相差较小,而二级、三级指标权重相差较大。若评价指标权重越高,说明该指标在教学评价体系中的重要性越高,用于评价线上教学情况更合理且更具代表性。从整体水平上分析,各指标变异系数大都集中在0.052~0.250, 一级指标权重大小几乎相当(分别是0.23、0.24、0.27、0.26),说明专家对指标评价的一致性较高且认为这四个指标的重要程度大致相同。从局部分析,如在教学背景评价方面,可以发现线上资源和教学投入评价权重占比相对较高,而办学定位、政策环境方面评价占比相对较低。这说明线上教学评价应更侧重于从专业课程资源,课外学习资源等方面进行评价。最后,对于权重较高的指标,说明越应从这些方面进行线上教学评价。

      综上,基于CIPP模型和层次分析法的临床线上教学质量评价体系可基本反映临床线上教学与管理情况,对评价临床线上教学质量和探索、完善临床线上教学模式有一定的参考价值。CIPP评价模式对于评价临床线上教学质量具有重要意义,有极大的探索和推广价值。它和层次分析法有机结合、互相补充,构建了一个较完备的质量评价体系。本研究也可说明线上教学作为一种新教学模式,既有广受欢迎之处又有亟待完善之处,需要进一步改进和优化。本研究尚处于初步阶段,存在评价指标不够全面、研究样本量小、代表性不够强等问题,其科学性及可行性也有待进一步验证。在进一步研究中,可以采取扩大试验范围、不断丰富和完善评价指标、及时科学反馈评价信息、有效运用评价反馈结果等[11]方式,增强评价体系的合理性和科学性。

参考文献 (11)

目录

    /

    返回文章
    返回