大学考试质量评价质性研究

发布时间:2012-06-02 15:38:39

大学考试命题质量的质性研究

——以河西学院为例

王映学 2 段宝军1 赵爱2

1.河西学院教育系;2.河西学院教务处 甘肃 张掖 734000

要:命题质量的质性研究是使用归纳法分析资料并形成理论,通过与研究对象互动对其行为和意义建构获得解释性理解的一种活动。本文以河西学院2007—2008学年第二学期的16考核课程为研究样本,从命题类型与知识类型、命题范围以及命题的知识类型与课程目标几个方面系统考察了大学考试命题中存在的问题,并结合这些问题提出了改善命题质量的若干建议。

关键词:大学考试命题质量;质性研究;知识类型;课程目标

质性研究qualitative research是一个较为宽泛的概念,是与量性研究quantitative research相对而言的,指以研究者本人作为研究工具,在自然情境下采用多种资料收集方法对社会现象进行整体性研究,使用归纳法分析资料和形成理论,通过与研究对象互动对其行为和意义建构获得解释性理解的一种活动。[1]在研究设计上,质性研究强调尽可能在自然情境下收集原始资料。与量性研究相比,质性研究比较适合在微观层面对个别事物进行细致、动态的描述和分析;擅长于对特殊现象进行探讨,以求发现问题或提出新的看问题的视角;质性研究使用语言或图像作为表述的手段,在时间的流动中追踪事件的变化过程。[1]相比于量性研究,质性研究试图弥补前者研究存在的不足:将数量化的描述所蕴含的本质问题通过文字叙述、图表揭示的方式呈现出来。

本研究是我们课题组继《大学考试试题质量的量化研究》[2]之后的后续研究。研究样本仍以河西学院2007—2008学年第二学期考核课程为基础,我们分文理科各4各系,每个系抽取两门课程共16门课程的期末考试试卷作为研究的试题样本,试题抽取的限定条件是:课程必须是专业基础课或专业课;课程考核方式是闭卷测验;研究课程的抽取方式是随机的。可以认为,试卷的样本采集是科学有效的。

对本次命题质量的质性分析,我们将从命题类型与知识类型、命题范围、知识类型与课程目标三个方面进行论述。

一、命题类型与知识类型之间关系的分析

在本问题框架内,我们关心的问题是:文理科的命题各有哪些题型?这些题型与知识类型之间是何关系?不同知识类型的命题所占的分值如何?

我们将文理科的命题类型分开来进行讨论,表1是我们本次研究样本的8份文科类试题题型及赋值统计。

1 8文科试题命题类型及赋值统计

说明:表中8门课程均为专业课,其中括号内形式为题数,为相应分值,总分以百分制计,表同。

从表1可知本次抽检到的8份文科类试题的题型包括名词解释、填空、选择、判断、问答、论述和设计(或案例分析)七种类型,其中前六种类型是常规性的命题类型,多是对基本知识的考查;设计或分析题是一种较好的试题类型设计,也是本次抽查到的文科类试题编制中广为采用的一种试题类型,多为学习者对所学知识点转化为能力的考查,是一种对学生学习结果的综合性考查。

从不同题型的赋值看,常规性的命题类型占54%100%之间,设计分析类试题占0%46%之间,不同课程之间在题型设计方面存在较大差异。

文科类试题类型、赋值与知识类型之见的关系见表2

2 文科试题类型与知识类型之间的关系

试题类型与知识类型之间的关系看,两者之间存在复杂的不对称关系:名词解释、填空、问答大都要求学习者将其通过记忆、背诵方式获得的信息呈现出来,属于对学习者知识的考核;同样是论述题,有的试题编制以知识类型考查,有的则以理解的方式进行考查;尤其值得关注的是设计题或案例分析题,从字面意义上看,这种题型理应是对学习者学习能力的考核,可实际情况是:有的分析设计题是以知识的方式对学习者进行的考核(《中国近代史》、《世界现代史》、《语言学概论》),有的则是以理解的方式设计分析题(《世界现代史》、《语言学概论》),有的设计题(《心理治疗》、《民法学》、《刑法学》)的编制则要求学习者应用所学的相关知识解决相应的问题。

从知识类型的分值比例看,知识类题型所占的比例在40%~80%之间,理解类题型所占的比例在20%~40%之间,运用类题型在0%~46%之间。不同知识类型所占的分值比例固然与课程的性质有关,但课程考核中对知识的考核过多,对知识的理解和运用考核偏少,与教师缺乏知识分类的思想及对人才培养的专业目标和课程培养目标的把握不准有很大关系。课程考核过于偏重知识的考核,导致的衍生性问题主要有二:一是鼓励学生死记硬背,学生将自己的主要学习时间放在考试前的短时期内而非较长时间的学习准备;二是鼓励学生的记忆能力,导致知识与能力的分离,助长“高分低能”现象的出现。

3是本次研究样本的8份理科类试题题型及赋值统计。

3 8理科试题命题类型及赋值统计

从表3可以看出,本次抽检到的8份理科类试题题型有名词解释、填空、选择、判断、问答、论述、设计或分析、计算、证明九种题型,其中八种类型是常规性的命题类型,设计或分析题在理科类试题的编制中是相对较少的一种题型设计。本次抽检到的8份理科试卷中,只有两份试卷涉及设计或分析题,其中《中学数学研究》中有一道作图题,我们将其归入设计题,《化学教学论》中的58分设计题分别是教学片段设计和教案设计。

从不同题型的赋值看,理科类试题编制中常规性的命题类型占42%100%之间,设计分析类试题占0%58%之间,设计类试题主要见于不同课程的教法或课程研究中。

理科类试题类型与知识类型之间的关系见表4

4 理科类试题类型与知识类型之间的关系

4表明,本次抽检到的8份理科类试题的题型与知识类型之间的关系较为复杂:与文科类试题一致之处在于,理科类试题中的名词解释一般都属于知识范畴的考核;与文科类试题不同之处在于,同样是填空、选择和问答,有的试题编制以知识的方式进行考查,有的以理解的方式考核,有的则以运用的方式进行测量;而判断题基本以理解的形式进行考核;理科类试题中涉及到的计算、证明与作图基本都属于运用的范畴。不过要注意的是,如果在理科运算类的测验题中出现与授课内容中完全相同的例题或习题,则有的学习者可能会通过背诵的方式应对测验,按照布卢姆(1956)对知识概念的界定,这样的测验实际上是对知识的测验,在这种测验中,学生是以“回忆”的方式而非“生成”的方式呈现获得的信息,理科运算类的测验中常有这样的事。

二、命题范围分析

命题范围分析即样题的代表性分析,是指考试试题在相应课程的分布广度和深度。命题是教师编制测验的核心环节,命题的基本要求有二:一是试题要符合测验的目的,二是测试题目要有足够的代表性。命题范围分析涉及的基本问题即上述两个基本要求。命题范围有两方面的含义:一是指测验样本的广度代表性,即教师编制的测题是否足够覆盖了课程的基本内容?反过来讲,命题是否存在过于集中的情况?二是指测验样本的效度代表性,即教师选定的测题能否真正测到自己希望测量的东西?换句话讲,教师编制的测验是否体现了课程大纲的基本要求?教师通过自己的测试能否将不同水平的学生有效甄别开来?下面我们分别论述这两方面的问题。

为了确保命题具有广泛的代表性,教师在命题前,应仔细分析并研究课程标准和教科书,据此列出教材内容和教学目标的双向细目表,一个典型的双向细目表见下[3]

5 测验双向细目表

双向细目表的左侧是课程考核的章节内容,一般以章为单元;顶行是学生学习之后所期望的能力变化类型或层次,即学生学习结果的知识形态;表内数字是以百分制计量学生成绩的具体分值大小,其大小表明命题人对相应教学内容及目标的重要性关注程度。

下面以本次抽检到的《世界现代史》和《结构化学》两份试题为例,说明命题范围问题,见表6

6 2份试题命题范围、题型及值大小的分析

从表6可以清晰看出两份试题在命题范围、题型与赋值大小之间的关联性。《世界现代史》共八章内容,只有一章(第三章)没有命题,其他七章不同题型的赋值均在520分之间,其中名词解释集中在四章内容,史料分析和论述题分别在第一、第六和第七章,简答题主要集中于第二、第五和第八章,命题范围涵盖教材各章内容,试题类型及赋值大小也较科学、合理。

从命题范围、题型及赋值大小之间的关系分析,《结构化学》则显得较为随意:在第五、第六和第八章没有命题,本次命题主要集中在前三章(占85%),其中第一章是优势关注章节,体现在:本次命题中的四种题型在本章都有,占总分的40%;第三章有三种题型共31%的内容。命题章节的赋值大小在340分之间。这样的命题出现的问题是:由于课程测验覆盖面过于集中,难以反映测试样本(试题)的代表性,因而难以有效考核学生对一门课程的整体学习成效;过于集中的命题范围会让学生将自己的精力集中到有限的章节,出现考前集中“突击”的学习倾向。

三、命题的知识类型与课程目标之间的关系分析

认知心理学所称的知识类型是一个具有特定含义的概念,是指根据一定标准对知识所进行的类型划分。知识类型可以从哲学、教育学和心理学等不同的视角来看[3],为清楚起见,我们将具有代表性的几种知识观呈列于下:

尽管不同的心理学家对知识类型的划分不尽相同,但其知识类型划分都遵循着一定的逻辑:Bloom(1964)的知识分类是从测量的角度进行划分的,即一定的学习发生之后,学习的关注者该怎样测量学习的效果?Bloom认为,这样的测量从简单到复杂可以依次从知识、领会、运用、分析、综合与评价六个方面来进行;Ausubel(1978)则根据他所称的意义的复杂程度将知识的获得分为表征学习(符号学习)、概念学习、命题学习、知识的运用(概念与命题的运用)和解决问题与创造。显然,Bloom是以学习心理过程的复杂程度进行知识类型划分;Ausubel则以意义表达的复杂程度进行的划分。与上述划分有所不同,Gagné(1985)从学习的结果,即从学习所引的变化的角度将认知领域的学习结果分为言语信息、智慧技能和认知策略,这种分类强调的是个人经验所引起的变化,强调知识不同类型及在教学中对不同类型知识获得的内外条件的安排。在前人知识分类的基础上,Anderson(1985)根据知识在头脑中的不同表征方式,将知识分为陈述性知识和程序性知识两类。前者以命题或命题网络的方式予以表征,后者则以产生式的方式进行表征。

知识类型与课程目标之间表现为相依性的顺次关系:即特定学科课程的知识类型不同,用以表达学习者课程学习之后所要求的课程目标亦不同。例如,如果一门课程某单元的知识类型以知识为主(中国近代史中的“鸦片战争”),则课程目标陈述主要限于基本事实、基本概念等逻辑关系的学习,学习所引发的结果主要为观念层面的变化,不一定表现为实际操作和解决问题的能力;如果某课程某单元的知识类型以运用为主(基于知识分类的“教学设计”),课程目标所强调的学习结果主要是某种操作和解决问题的能力。即便是某一确定的内容(学习英文单词“mink coat”与“rain coat”),可以在不同的学习层面提出教学目标:可以要求学习者正确拼读“mink coat”、“rain coat”(知识层面的学习);也可以要求学习者区分“mink coat”与“rain coat”的不同(理解层面的学习);还可以要求学习者围绕“mink coat”与“rain coat”进行书面或口头说话(运用层面的学习)。同样是“基于知识分类的教学设计”这一课程单元,尽管知识类型应以运用为主,但课程目标可以在知识层面(记住并复现不同知识类型“教学设计”的教学目标、教学过程和教学评价设计的程序、要点和适用条件)确定,也可以在运用层面(针对不同的知识类型进行教学全程的设计)进行编制,当然还可以在分析层面(比较 “概念”和“规则”两种不同知识类型教学设计的异同)和综合层面(“概念”和“规则”两种不同知识类型在教学设计上的逻辑关系)予以确定。可以看出,对于同样的学习内容,不同的教师会确定不同的课程目标。所以,知识类型与课程目标之间的关系是复杂的,其决定性的中介变量是教师——教师的学养、能力和水平。对于同样的学习内容,因教授者不同,所确定的课程目标会有不同:有的教师将所教内容定位于知识层面,将自己的教授方法限于系统讲授,学生的主要任务是识记和背诵;有的教师会将同样的教学内容定位于领会或运用:用自己的话转述所学内容或利用所学知识解决相关领域的问题。这就是为什么同样的课程内容,不同的教师可能会教出完全不同水平的学生来。

我们以本次研究样本中的《普通动物学》课程的命题为例,说明教师命题的知识类型与课程目标之间的关联性。

就知识类型讲,上述命题涉及两种知识类型:知识及对知识的理解。按照布卢姆(1956)的解释,知识是学生几乎是用一种非常接近于当初遇到的观念或现象的形式,回想起这种观念或现象。[4] 从测量学的角度看,我们接受这样的知识概念界定。界定知识的标准有两个:一是学习过程,凡知识,其学习的过程主要以背诵式记忆为主;二是知识的呈现方式,知识的输入状态和输出状态相同或相似,即学习者近乎以非常接近于当初遇到的观念或现象的形式回想起那种观念或现象。输入状态主要是学习者学习信息时的表现方式,而输出状态是学习者对信息学习结果的表达方式。根据这样两条基本的标准,上述名词解释、填图题、简答题和论述题都属于知识的范畴。从认知加工的角度讲,理解的水平要高于知识的水平,理解不仅要求学习者记住有关的信息,还要求自己能对相应的信息进行转换(文字-文字、文字-图表和数字符号-文字符号)、解释和说明、推断[4]。我们将“是非题”和“选择题”列入理解的范畴,是因为这两种类型的测验不是简单的学习内容呈现,而是有不同程度的信息加工和转换。

从本次测验的试题结构分析,该门课程的考核含有70分的知识测验,对知识理解(选择和判断)的考核有30分。该课程的课程标准对课程目标的界定是:使学生系统掌握各门几个主要纲的主要特征;重要代表动物的形态结构、生理机能和个体发育特点;基本掌握门(亚门)、纲(亚纲)及目(昆虫、鱼类、两栖类、鸟类、兽类)的分类、生态及经济地位;了解动物界发生发展的基本规律及各门与纲(脊椎动物各纲)的演化关系以及动物地理分布和生态的基本知识;掌握动物学实验的基本技能,增强独立操作能力,重视野外实习,提高对动物的观察能力以及分析问题和解决问题的能力;基本学会动物的采集、培养、标本的处理和制作机能;了解国外动物学发展的新成就。[5]从课程目标看,该课程对学生学习的结果更多属于知识及对知识理解层面的要求,但也有对学生课程学习的技能操作要求。《普通动物学》的教学包括两部分:理论教学和实验教学,两者是分开进行的。对该课程的考核也分两部分进行:本次抽检试卷是基于理论课教学的考核,更多偏重知识及对知识理解的考查;我们也查阅了与该课程对应的实验课教学考核试卷,试题类型及相关信息如下表。

可以看出,实验课教学的考核内容有填空题,涉及知识及对知识理解的考查;填图题更多是关于识记结果的呈现,属于知识的范畴;绘图题则是对学生操作能力的考核;思考题涉及学习该实验课程后的感受,是对知识的理解。这些题型看,试题类型设计较为注重对学生实验基本技能和独立操作能力的考查,属于知识的运用和生成。整个课程考核的试题类型与知识类型、课程标准的规定基本一致。课程考核做到了:试题设计反映了不同层次的学生学习结果,这些学习结果与课程标准的要求基本一致。本文认为,如果一门课程的课程标准是经过充分讨论、科学研究制订的,那么就要在其后的教学中严格执行,在测验编制中尤其要依据事先确定的课程目标来进行,这也就是我们提倡的目标导向的教学测验。

综上,本文从命题的试题类型与知识类型、命题范围、知识类型与课程标准三个方面分析了我校2007—2008学年第二学期文理科共计16门课程的命题质量,发现了多样化的各具课程特性的问题。基于上述的分析,研究人员建议:命题的题型设计要多样化,且一定要反映不同的学习结果类型,不同的学习结果类型一定要与课程标准的要求相一致;命题设计样本一定要有足够的代表性,能够含盖学习内容的基本方面,且能有效区分学生学习所期望引发的变化。

参考文献:

[1]陈向明.质的研究方法与社会科学研究[M].北京:教育科学出版社,200012

[2]段宝军,王映学,赵爱,王龙.大学考试试题质量的量化研究[J] .河西学院学报,20103):113-119

[3]王映学,章晓璇.知识分类与教学设计[M].兰州:甘肃教育出版社,200813-32

[4]B.S.布卢姆等著罗黎辉等译教育目标分类学<认知领域>[M]华东师范大学出版社,19862386-87

[5]河西学院生命科学与工程系动物学课程标准未出版,20051

大学考试质量评价质性研究

相关推荐