Chalmers Conferences, NU 2012

Bedömningar av vetenskaplig kvalitet i examensarbeten
Hans Ekbrand

Last modified: 2012-05-14

Abstract


Det övergripande temat för presentationen är ”Hur bedöms examensarbeten inom lärarprogrammet vid Göteborgs universitet?”. Och mer specifikt gäller saken: ”vilka kriterier förhåller sig examinatorer till när de bedömer examensarbeten inom lärarprogrammet?” Presentationen bygger på en pågående studie av examinationer som drivs med stöd av Vetenskapsrådet. Underlaget utgörs av ett stort antal skriftliga bedömningar, sk. examinationsprotokoll, som examinatorer vid Göteborgs universitet sedan 2004 avger i samband med betygssättning.

Inom forskningsprojektet studerar vi dels styrning av examinationsprocessen via betygskriterier och interutbildning, dels skillnader mellan examinatorer, dels konstruktioner av vetenskaplig kvalitet genom utformandet av de skriftliga bedömningarna. Denna presentation fokuserar på den sistnämnda problematiken.

Då bedömningen huvudsakligen kretsar kring arbetets vetenskapliga kvalitét bidrar examinatorerna till att definiera begreppet vetenskap - om än på en grundläggande nivå. Vetenskaplig kvalitét är ett notoriskt svårdefinierat begrepp, och även om bedömningsproceduren omgärdas av formella betygskriterier så har examinatorn ändå en betydande diskretionär makt att självständigt välja dels vilka aspekter som han eller hon lägger vikt vid, dels vilken nivå som ska anses vara tillräcklig för ett visst betyg.

Varje mening i examinationsprotokollen har av forskargruppen kategoriserats i sju övergripande kategorier: syfte/frågeställningar; tidigare forskning/teori; språk; metod; analys; helhet. Inom varje kategori skiljer vi vidare på om bedömningen är positiv, negativ eller neutral. Som analysredskap använder vi mjukvaran Atlas.ti, utan vilken bearbetningen av vårt omfattande material knappast vore möjligt.

Presentationen kommer att beskriva de sju övergripande kategorierna och ge en kvantitativ översikt över hur ofta de sju övergripande kategorierna används, samt annan beskrivande statistik över examinationsprotokollens innehåll, t.ex. i vilken omfattning texten är bedömande, beskrivande, imperativ, förklarande eller frågande. Ett andra tema i presentationen är hur vi arbetat med programmet Atlas.ti för att systematiskt koda ett så stort textmaterial, och vilka möjligheter och programmet erbjuder för textanalys.


References


Adcroft, Andy (2011) "The Mythology of feedback", i Higher Education Research & Development, 30:4, 405-419.

Hansford, B.C & Maxwell, T.W. (2006) "A Masters Degree Program: Structural Components and Examiners' Comments", Higher Education Research & Development, 12:2, 171-187.

Hornby, Wim (2003) "Assessing Using Grade-related Criteria: a single currency for universities?", i Assessment & Evaluation in Higher Education, 28:4. 435-453.

Power, Michael (2000) "The Audit Society - second thoughts", International Journal of Auditing, 4:1, 111-119.

Saunders, Mark, N.K & Davis, Susan, M. (1998) "The use of assessment criteria to ensure consistency of marking: some implications for good practice", i Quality Assurance in Education, 6:3, 162-171.

Yorke, Mantz (2011) "Summative assessment: dealing with the 'measurement fallacy'", Studies in Higher Education, 36:34, 251-273.