TERUGBLIK CENTRAAL EXAMEN GESCHIEDENIS VWO EERSTE TIJDVAK 2011
1
Inleiding 1. Quickscan Via WOLF (Windows Optisch Leesbaar Formulier) geven examinatoren per vraag de scores van hun kandidaten voor het centraal examen aan Cito door. Ten behoeve van de normering stelt Cito op basis van de WOLF-gegevens een toets- en itemanalyse van het centrale examen op. Via WOLF wordt de examinatoren gevraagd naar hun mening over de moeilijkheidsgraad, de lengte en de aansluiting op het gegeven onderwijs. Ook wordt de examinatoren gevraagd welk rapportcijfer zij aan dit centraal examen zouden geven. De resultaten van deze bevraging via WOLF worden weergegeven via de quickscan. De quickscan geeft een beeld van de mening van de docenten over het centraal examen nadat zij de eerste correctie hebben verricht. 2. De vragenlijst Bij enkele vakken zijn de examinatoren ook ná de normering middels een uitgebreidere vragenlijst over het centrale examen bevraagd. Deze vakken zijn geselecteerd op basis van de resultaten van de quickscan over het voorafgaande examenjaar. Met de combinatie van quickscan en vragenlijst beogen CvE en Cito om een representatief beeld te verkrijgen van de meningen van de docenten over het centrale examen. CvE en Cito kunnen dan bezien of in toekomstige centrale examens, met behoud van handhaving van het niveau, ingespeeld kan worden op de wensen en opvattingen uit het veld. Met uitzondering van het rapportcijfer maken de vragen uit de quickscan eveneens deel uit van de vragenlijst. Het is mogelijk dat dezelfde vraag verschillend beantwoord is doordat de quickscan vóór en de vragenlijst ná de normering is afgenomen. 3. Afnamegegevens Cito stelt jaarlijks een digitaal examenverslag op de centrale examens: www.cito.nl. Kies: voortgezet onderwijs → centrale examens → Examenverslagen Per centraal examen worden daarin afnamegegevens weergegeven die zijn ontleend aan de toetsen itemanalyse. Terugblik De resultaten van de quickscan en de vragenlijst vormen samen met een overzicht van de afnamegegevens de terugblik op het centraal examen. Hierna treft u de terugblik aan op het centraal examen geschiedenis vwo eerste tijdvak 2011 en de conclusies van CvE en Cito daaruit.
2
1 Resultaten van de quickscan Bron: www.cito.nl Kies: voortgezet onderwijs → centrale examens → Examenverslagen → Waardering per examen 2011 Wat is uw oordeel over de moeilijkheidsgraad van het examen? Ik vind het examen te moeilijk - 1
Abs. 11
Perc. 2%
moeilijk - 2 niet te moeilijk/niet te makkelijk - 3
53 296
10% 54%
makkelijk - 4 te makkelijk - 5
157 34
28% 6%
551
100%
N= Gemiddeld:
3,27
Wat is uw oordeel over de lengte van het examen in verhouding tot de tijd die de kandidaat ervoor beschikbaar heeft? Het examen is Abs. Perc te lang - 1 58 11% precies goed - 2 488 89% te kort - 3 5 1% N= 551 100% Gemiddeld: 1,90 Wat is uw oordeel over de inhoudelijke aansluiting van het examen bij het gegeven onderwijs? Abs zeer goed - 5 goed - 4 voldoende - 3 onvoldoende - 2 slecht - 1 N= Gemiddeld:
8 157 272 101 13 551
Perc. 1% 28% 49% 18% 2% 100%
3,08
Welk cijfer zou u dit examen geven? Ik geef dit examen een: 1 2 3 4 5 6 7 8 9 10 N= Gemiddelde:
Abs 1 1 4 24 80 182 224 34 1 0 551
Perc. 0% 0% 1% 4% 15% 33% 41% 6% 0% 0% 100%
6,26
3
2 Resultaten van de vragenlijst Voorbereiding op het examen en aansluiting bij de syllabus Welke documenten gebruikt u bij de voorbereiding van uw leerlingen op het examen? Altijd Meestal Zelden Nooit Een (combinatie van) methode(n) September- en/of Maartmededelingen van CvE (voorheen CEVO) Oude examens
206 68
26 48
183
48
8
2
131 Altijd
52 Meestal
38 Zelden
20 Nooit
Een (combinatie van) methode(n) September- en/of Maartmededelingen van CvE (voorheen CEVO)
85,5 % 28,2 %
10,8 % 19,9 %
2,1 % 27,8 %
1,7 % 24,1 %
Oude examens Syllabus (gepubliceerd door CvE)
75,9 % 54,4 %
19,9 % 21,6 %
3,3 % 15,8 %
0,8 % 8,3 %
Syllabus (gepubliceerd door CvE)
5 67
4 58
Beantwoordt het examen aan de eisen die in de door CvE gepubliceerde syllabus worden gesteld? Het examen beantwoordt volledig aan de eisen in voldoende mate aan de eisen in onvoldoende mate aan de eisen in het geheel niet aan de eisen Dit kan ik niet beoordelen Totaal
11 180
4,6 % 74,7 %
43 1
17,8 % 0,4 %
6 241
2,5 % 100,0 %
Wat is uw oordeel over de inhoudelijke aansluiting van het examen bij het gegeven onderwijs? zeer goed - 5 16 6,6 % goed - 4 98 40,7 % voldoende - 3 89 36,9 % onvoldoende - 2 34 14,1 % slecht - 1 Totaal
4 241
1,7 % 100,0 %
Gemiddeld: 3,37 Uitgangsmateriaal, bronnen en teksten Examenopgaven worden vaak geplaatst in een context. Deze context wordt weergegeven met behulp van tekst en andere vormen van uitgangsmateriaal: afbeeldingen, statistische bronnen, krantenberichten, beeld en geluid, diagrammen, schema's, grafieken en dergelijke. Wat is uw oordeel over het aantal verschillende contexten in dit examen? Ik vind dat in dit examen het aantal verschillende contexten te groot is precies goed is
12 188
5,0 % 78,0 %
te klein is Totaal
41 241
17,0 % 100,0 %
4
Het is de bedoeling om contexten zo te kiezen dat zij voor de kandidaten begrijpelijk zijn. Wat is uw mening over de begrijpelijkheid voor de kandidaat van de gebruikte contexten? De contexten zijn voor de kandidaat allemaal begrijpelijk grotendeels begrijpelijk
30 193
12,4 % 80,1 %
18 0
7,5 % 0,0 %
241
100,0 %
27 77
11,2 % 32,0 %
voldoende onvoldoende
102 35
42,3 % 14,5 %
Totaal
241
100,0 %
grotendeels niet begrijpelijk geen van alle begrijpelijk Totaal Wat is uw mening over de variatie in de gepresenteerde contexten? De variatie in de gepresenteerde contexten is goed ruim voldoende
Wat is uw mening over de functionaliteit van de contexten voor de beantwoording van de vragen? De contexten zijn allemaal functioneel grotendeels functioneel
10 195
4,1 % 80,9 %
36 0
14,9 % 0,0 %
241
100,0 %
grotendeels niet functioneel geen van alle functioneel Totaal
Wat is uw mening over het realistisch gehalte van de gebruikte contexten? Het realistisch gehalte van de contexten is goed ruim voldoende
34 86
14,1 % 35,7 %
voldoende onvoldoende
105 16
43,6 % 6,6 %
Totaal
241
100,0 %
Moeilijkheidsgraad Wat is uw oordeel over de moeilijkheidsgraad van het examen? Ik vind het examen te moeilijk - 1 moeilijk - 2 niet te moeilijk/niet te makkelijk - 3 makkelijk - 4 te makkelijk - 5 Totaal Gemiddeld: 3,41
3
1,2 %
13 134
5,4 % 55,6 %
65 26
27,0 % 10,8 %
241
100,0 %
5
Wat is uw oordeel over de mate waarin het examen de vaardige en minder vaardige kandidaten onderscheidt? Het onderscheidend vermogen is voldoende 108 44,8 % is onvoldoende kan ik niet beoordelen
128 5
53,1 % 2,1 %
Totaal
241
100,0 %
In het examen komen reproductieve vragen (kennis) en productieve vragen (inzicht en toepassing) voor. Wat is uw mening over de verhouding tussen het aantal reproductieve vragen en het aantal productieve vragen? Ik vind de verhouding tussen reproductieve en productieve vragen goed 132 54,8 % niet (zo) goed, ik heb liever een groter aantal reproductieve vragen niet (zo) goed, ik heb liever een groter aantal productieve vragen Totaal
45 64
18,7 % 26,6 %
241
100,0 %
Lengte Wat is uw oordeel over de lengte van het examen in verhouding tot de tijd die de kandidaat ervoor beschikbaar heeft? Het examen is te lang – 1 34
14,1 %
precies goed - 2 te kort -3
202 5
83,8 % 2,1 %
Totaal Gemiddeld: 1,88
241
100,0 %
Taalgebruik Hoe beoordeelt u de moeilijkheidsgraad van het taalgebruik in het examen? Ik vind het taalgebruik zeer moeilijk 2
0,8 %
moeilijk precies goed
41 185
17,0 % 76,8 %
te gemakkelijk Totaal
13 241
5,4 % 100,0 %
6
Vraagvorm Een gesloten vraag is een vraagvorm waarbij de kandidaat moet kiezen uit een beperkt aantal antwoordmogelijkheden die vooraf gegeven zijn. Een open vraag is een vraagvorm waarbij een kandidaat het antwoord zelf moet formuleren. In het examen komen vrijwel alleen open vragen voor. Wat vindt u van de verdeling van beide vraagvormen in het examen? Ik vind de verdeling van de vraagvormen goed 156 64,7 % niet (zo) goed, ik heb liever een groter aantal gesloten vragen niet (zo) goed, ik heb liever uitsluitend gesloten vragen niet (zo) goed, ik heb liever uitsluitend open vragen Totaal
67 2
27,8 % 0,8 %
16 241
6,6 % 100,0 %
Wat is uw oordeel over de verdeling kort-antwoordvragen / lang-antwoordvragen in het examen? Ik vind de verhouding kort-antwoord / lang-antwoord vragen precies goed 172 71,4 % onevenwichtig: te veel kort-antwoordvragen onevenwichtig: te veel lang-antwoordvragen Totaal
15 54
6,2 % 22,4 %
241
100,0 %
Correctievoorschrift Het correctievoorschrift bestaat uit een algemeen gedeelte en een vakspecifiek gedeelte. In het algemeen gedeelte staan de algemene regels voor de correctie van examenvragen. Het vakspecifieke gedeelte bevat het beoordelingsmodel met het bijbehorende scoringsvoorschrift. In welke mate geeft het beoordelingsmodel u voldoende houvast om bij de antwoorden van een kandidaat te bepalen hoeveel scorepunten u moet toekennen? Het beoordelingsmodel geeft mij bij alle vragen voldoende houvast bij de meeste vragen voldoende houvast bij de meeste vragen onvoldoende houvast bij alle vragen onvoldoende houvast Totaal
14 139
5,8 % 57,7 %
82 6
34,0 % 2,5 %
241
100,0 %
Hoeveel tijd hebt u gemiddeld per kandidaat besteed aan de correctie van het examen? minder dan 30 minuten 5 2,1 % tussen de 30 en 45 minuten meer dan 45 minuten
102 134
42,3 % 55,6 %
Totaal
241
100,0 %
7
Open vraag Op de open vraag hebben 123 van de 241 docenten een antwoord gegeven. Het overgrote deel (68 van de 123 respondenten) van de opmerkingen handelde over de moeilijkheidsgraad van het examen. Voor een vwo-examen werd het examen van 2011 een te laag niveau toegedicht, de daarbij passende lage N-term (0,1) was voor veel docenten zeer teleurstellend. De geringe differentiatie en het verschil met de eigen schoolexamens hierdoor bleek een bron van zorg en verontrusting. Een tweede groep reacties (26 van de 123 respondenten) ging over de correctie en het correctievoorschrift. Over het algemeen werden daar fouten in gezien, werden er meer voorbeelden van juiste antwoorden verwacht en werd er enerzijds gevraagd om grotere vrijheid en anderzijds om meer strikte correctieaanwijzingen. Dit correctievoorschrift leidt tot veel debat met tweede correctoren en tot te grote verschillen in de correctie. Vermeld moet nog worden dat een aantal opmerkingen betrekking had op de grote correctiedruk en de plaats van geschiedenis in het examenrooster. Er werd gepleit voor plaatsing van geschiedenis in de eerste examenweek. Voor een zorgvuldige uitvoering van de correctie was meer tijd nodig.
8
3 Analysegegevens Bron: www.cito.nl Kies: voortgezet onderwijs → centrale examens → Examenverslagen → Resultaten per examen 2011 Open de Excel-applicatie. Door de cel ‘P’-waarde totale steekproef’ aan te klikken vindt u een omschrijving van het begrip ‘P’waarde’.
Schooltype/Leerweg
VWO
Soort examen
CSE
Vaknaam
geschiedenis 18.929 Steekproefgrootte 12.212 Aantal vragen 27 P’-waarde totale steekproef 0,66 P'-waarde, alleen jongens 0,68 P'-waarde, alleen meisjes 0,65 Maximumscore 77 Gemiddelde score 51,1 Normeringsterm 0,1 Gemiddeld cijfer 6,1 Percentage onvoldoendes (<5,5) 26,2 Standaardafwijking 9,3 Betrouwbaarheid (asymp. GLB) 0,77 Standaardmeetfout 4,4 Totaal aantal kandidaten
Bron: www.cito.nl Kies: voortgezet onderwijs → centrale examens → Examenverslagen → Resultaten per examen 2011 Open de Excel-applicatie. Door de cel ‘P’-waarde totale steekproef’ aan te klikken vindt u een omschrijving van het begrip ‘P’waarde’.
4 Conclusies en aandachtspunten voor de toekomst In reactie op de grote teleurstelling van de docenten ten aanzien van de lage N-term heeft het College voor Examens gereageerd door begin 2012 in een uitgebreid artikel in Kleio de lage N-term toe te lichten. In 2015 zal het CE geschiedenis vwo en havo gebaseerd zijn op domein B, de Oriëntatiekennis, en domein A. Bij de ontwikkeling van dit geheel andere onderdeel van het examenprogramma zullen de punten die in deze enquête veelvuldig genoemd zijn als aandachtspunten meegenomen worden.
9
