A 2004-es próbaérettségi tapasztalatai – idegen nyelvek

Márciusi számunkban folytatjuk a 2004-es próbaérettségi eredményeiről, a feladatok megoldásáról készült jelentés közreadását. Az idegen nyelvi próbérettségi tapasztalatait Major Éva (angol nyelv) és Einhorn Ágnes (német nyelv) foglalta össze. Az elemzés szerint a vizsgázók mind közép-, mind emelt szinten az elérhető maximális pontszám közel negyven százalékát érték el, és jelentős eltérések mutatkoznak az egyes vizsgafeladat-típusok teljesítése terén. Érdekes eredmény, hogy az idegen nyelvi vizsgán elért teljesítmények sokkal erőteljesebben korrelálnak az iskolai osztályzatokkal, mint más érettségi tárgyak esetében.

Angol nyelv

Az új típusú angol nyelvi érettségi vizsga szerkezete a korábbinál sokkal összetettebb, hiszen mindkét szinten öt vizsgarészből¹ áll. A négy nyelvi készség (olvasott szöveg értése, hallott szöveg értése, íráskészség, beszédkészség) mindegyikét külön feladatsorral méri, és külön vizsgarészben vizsgálja a nyelv helyes és pontos használatát (nyelvhelyesség).

A 2004. évi próbaérettségi keretein belül kizárólag az írásbeli feladatsorok kipróbálására került sor, és ez nem kedvezett annak az alapelvnek, miszerint a komponensek mindegyike egyformán fontos, mivel egymástól eltérő, egymást kiegészítő információt adnak a jelöltek nyelvtudásáról. Ennek megfelelően az eredményeket részeredményeknek tekinthetjük, amelyek természetesen így is sokat elárulnak a feladatsorokról és a diákok felkészültségéről, de nem adnak teljes képet a vizsga működéséről.

Mivel a vizsgarészek mindegyike mindkét szinten legalább három feladatból áll, a teljes vizsga megtervezése komponensenként egy-egy önálló feladatsor összeállítását jelenti. A feladatsorokon belül külön-külön is biztosítani kell a témák, illetve a feladattípusok változatosságát, időszerűségét és a megfelelő szintek megjelenését is.

A feladatsorok előállításának legnagyobb nehézsége a nyelvi érettségi esetében a feladatok szintjének pontos meghatározása, amely a nyelvi vizsgáztatás elfogadott gyakorlata szerint csak jóval hosszabb feldolgozási időszakot igénylő, előzetes méréseken alapuló adatfeldolgozás és nyilvántartás esetében megbízható. A jelenlegi munkafolyamatok rendszere és ütemezése kizárólag azt teszi lehetővé, hogy a vizsgafejlesztők saját tapasztalataik alapján értelmezzék és állapítsák meg egy-egy feladat szintjét, miközben a követelményrendszer az Európa Tanács szintjeihez viszonyítva határozza meg a vizsga mindkét szintjének nyelvi követelményeit.

A 2004. évi angol nyelvi próbaérettségi feladatsorainak összeállítói mindkét szinten figyelembe vették, hogy a vizsgázók a 11. évfolyam tanulói, bár a nyelvi készségek vizsgálata esetében ez nem azt jelenti elsősorban, hogy bizonyos anyagrészekkel még nem találkoztak a diákok, hanem inkább azt, hogy a próbavizsgát általában nem előzte meg a készségfejlesztés intenzív, vizsgára felkészítő, összefoglaló szakasza.

Az elemzés mintája

Angol nyelvből középszinten 11 398, emelt szinten 3419 tanuló írt vizsgadolgozatot. Ezekből középszinten 1112, emelt szinten 718 dolgozatot dolgoztunk fel². Az 1. táblázat az elemzett minta háttéradatait foglalja össze.

Az elemzésre szánt dolgozatok mellé tehát igen kevés háttéradatunk volt. Nincs információnk például arról, hogy a tanulók milyen iskolatípusban végzik tanulmányaikat, pedig ebben a tekintetben érdekes összehasonlítást lehetne tenni a tavalyi próbaérettségi eredményeivel is.

Az iskolai osztályzatok megoszlása azonban szemléletesen illusztrálja azt az elgondolást, hogy az érettségi két szintjét különböző nyelvtudású diákok számára fejlesztették ki. Középszinten az iskolai jegyek átlaga kb. 3,39. A részletes eloszlásból láthatjuk, hogy 50% fölött van a (1-es), 2-es és 3-as osztályzatúak aránya. Emelt szinten ezzel szemben a vizsgázók 83%-a 4-es vagy 5-ös osztályzattal rendelkezik.

Eredmények

Az eredmények információtartalmát mindkét szinten erősen befolyásolta, hogy a próbaérettségi „nem tétre ment”, ezért nem mindenütt vették komolyan, illetve, hogy a közép- és emelt szintre való jelentkezést gyakran nem a tudásszint, hanem más, praktikus szempontok határozták meg.

Mindezt egyértelműen alátámasztja a vártnál jóval nagyobb mennyiségű üresen hagyott feladatlap, illetve meg nem oldott feladatrész. Különösen jellemző a produktív jellegű feladatok kihagyása, hiszen a feleletválasztós feladatok megoldása nyilvánvalóan kevesebb erőfeszítést és időt igényel.

Gyakori vizsgázói magatartásnak nevezhetjük – különösen középszinten – az íráskészséget vizsgáló feladatsor teljes elhagyását, amit valószínűleg a fenti okok magyaráznak, illetve még az, hogy ez az írásbeli vizsga utolsó része.

Mindezekre tekintettel a középszintű íráskészség vizsgarész eredményeinek feldolgozásakor csak a megírt (megkezdett) dolgozatok értékelését vettük figyelembe. Az összeredmények adatai azonban minden esetben tartalmazzák a meg nem kezdett, üres feladatlapok „nullás” eredményeit is. Az 1. ábra az írásbeli feladatsorban elért eredményeket mutatja közép- és emelt szinten.

1. ábra • Az angol nyelvi írásbeli feladatsorban elért eredmények készségek szerint közép- és emelt szinten

Középszint

A középszintű írásbeli feladatsor a négy vizsgált területnek (három nyelvi készség + nyelvhelyesség) megfelelően négy részből állt. A teljesítmények átlaga 39% (2. táblázat); ezt érdemes összevetni a tanulók iskolai érdemjegyátlagával: 3,39.

Az adatok a 2003. évi kisebb mintán történt felméréshez hasonlóan azt mutatják, hogy a vizsgázók a hallott szöveg értésében érték el a legjobb eredményt, a megszerezhető pontszámok százalékos arányában összehasonlítva: 53,42%-os értékkel. Az olvasott szöveg értésében (39,80%) és az íráskészség terén (38,50%) nagyon hasonló átlagteljesítmény született. A leggyengébb teljesítményt a nyelvhelyesség terén nyújtották (26,80%), az átlagteljesítmény mintegy fele a hallott szöveg értésében nyújtott teljesítménynek.

Bár a különbségek okainak vizsgálata a feladatonként és itemenként történő részletesebb elemzés feladata, már ebből az adatsorból is látszik, hogy a vizsgázók számára, érdekes módon, nem a – nyelvórákon empirikus felmérések szerint nem eléggé gyakoroltatott – hallott szöveg értése, hanem a nyelvhelyesség és az írás okozta a legnagyobb nehézséget.

Az eredmények a normál szóráshoz képest elsősorban lefelé eltérő szórást mutatnak, ami arra utal, hogy a vizsga a diákok egy része számára túl nehéz volt. Ugyanakkor a tavalyi próbaméréssel szemben kisebb azoknak az aránya, akiknek túl könnyű volt a vizsga; a magasabb szintű nyelvtudással rendelkezők közül valószínűleg többen választották az emelt szintű vizsgát.

Az egész írásbelin a 10%-ot el nem érők, vagyis a nem megfeleltek aránya 2,9%. Az ennél magasabb százalékot elért vizsgázók eredményét még módosíthatná az ebben az esetben nem lebonyolított szóbeli vizsga eredménye. A 2. ábra hisztogramja azonban világosan mutatja, hogy a gyenge, éppen elfogadható teljesítmények dominálnak az átlagteljesítményben.

2. ábra • A teljesítmények eloszlása az összpontszám alapján – középszint

Iskolai osztályzatok szerinti teljesítmények

Az iskolai eredmények szerinti eloszlás a jegyek növekedésével arányos eredményeket mutat az egyes vizsgarészek esetében. Az ötös tanulók eredménye majdnem minden vizsgarészben jóval 50% fölött van. Feltűnő, hogy a hallott szöveg értése esetében a kettes tanulók is közel 50%-os teljesítményt értek el (3. ábra).

3. ábra • Az iskolai osztályzatok szerinti teljesítmények százalékos aránya területenként – középszint (%)

Emelt szint

A négy vizsgált területen a vizsgázók átlagosan a maximális pontszám 39,93 százalékát érték el (3. táblázat). Annak ellenére, hogy a 2003. évi próbaérettségi mintája sokkal kisebb volt (összesen 79 fő), az eredmények megoszlása nagyon hasonló. A középszint eredményeihez képest feltűnő, hogy emelt szinten sokkal kiegyensúlyozottabb a teljesítmény, vagyis kisebbek az eltérések az egyes területek között. Ezt részben az is magyarázhatja, hogy a középszint populációjának nyelvtudása nagyon tág tartományban mozog – az Európa Tanács A2 és a B1 szintjét is átfogja –, míg az emelt szintű vizsga esetében a B2 szint összefogottabban és egységesebben határozza meg a követelményeket.

A középszinttől eltérően emelt szinten a vizsgázók nem a hallott szöveg értésében érték el a legjobb eredményt, hanem az íráskészséget vizsgáló feladatsorban 45,23% értékkel. A legalacsonyabb teljesítményt (35,20%) az olvasott szöveg értésében nyújtották, míg a nyelvhelyesség (40,76%) és a hallás utáni értés (41,60%) terén az eredmény a középszinthez hasonló volt (4. ábra).

4. ábra • A teljesítmények eloszlása az összpontszám alapján – emelt szint

Az eredmények ezen a szinten is a normáltól lefelé eltérő szórást mutatnak, tehát ebben az esetben is a vizsga a diákok egy része számára túlságosan nehéz volt.

A teljes írásbeli vizsgán 6,5% azoknak az aránya, akiknek a teljesítménye nem érte el a 10%-ot. Mivel ezen a szinten csak akkor érvényes a vizsga, ha a 10%-os minimumteljesítmény vizsgaterületenként is teljesül (3 pont), a meg nem feleltek arányát a 4. táblázat mutatja.

Az olvasott szöveg értése és az íráskészség terén a másik kettőhöz képest jóval magasabb ez az arány, ami valószínűleg nem a vizsgarészek színvonalával, hanem a már említett jellemző vizsgázói magatartással (produktív és gondolkodtató feladatok kihagyása) függ össze. Mégis érdemes kiemelni, hogy az íráskészség a legszélsőségesebb terület, itt született a legtöbb igen magas és a legtöbb alacsony eredmény is.

Az iskolai eredmények szerinti eloszlás az emelt szint esetében is a jegyek növekedésével arányos eredményeket mutat. Ebben az esetben azonban, mint ahogy ez a vizsgarészek eredményeinek összehasonlításából is kitűnik, az egyes területeken nyújtott teljesítmények jóval kiegyensúlyozottabbak, vagyis a diákok egy bizonyos szinten hasonlóbban, kiszámíthatóbban teljesítettek az egyes vizsgarészekben, mint középszinten (5. ábra).

5. ábra • Az iskolai osztályzatok szerinti teljesítmények százalékos aránya területenként – emelt szint (%)

A kettős (ellenőrző) javítás értékelése

Az adatokban 95 vizsgáztatói kód szerepel, tehát ennyien vettek részt a javításban. A javítás gyakorlata eltért a klasszikus értelemben vett kettős értékeléstől, mert a két javítás nem egymástól függetlenül történt, a második javító látta az első javítását, és azt hagyta jóvá vagy változtatta meg, tehát nem független értékítéletet alkotott.

Nem minden dolgozatnál, vagyis összesen 365 esetben volt ellenőrző javítás, ezekben az esetekben a pontszámeltérés minimális (a legtöbb esetben 1 vagy 2 pont) volt.

A számolási hibák kiküszöbölésén kívül, a kettős javítás valódi jelentősége az íráskészség komponens értékelésénél lenne, hiszen ebben az esetben összetett kritériumrendszer alapján döntést kell hozni az írásbeli teljesítményről, és ez csak akkor nevezhető megbízhatónak, ha egynél több megfelelően felkészített értékelő vesz részt a folyamatban. Az emelt szintű nyelvvizsga esetében, amely nyelvvizsga-bizonyítványt is adhat, ez alapvetően fontos szakmai elvárás lenne.

A nyelvvizsga szintjének való megfelelés

A rendelkező jogszabályok értelmében alapfokú nyelvvizsgával egyenértékű a 40–59%-os, középfokú nyelvvizsgával pedig a 60%-ot meghaladó teljesítmény. A rendelkezésre álló adatokban csak az írásbeli teljesítményt tudtuk vizsgálni. A maximális pontszám az írásbelin 120 pont volt, ennek 40%-a 48 pont, 60%-a 72 pont. Az adatok alapján a megfelelésre vonatkozóan a következő arányok állapíthatóak meg (lásd a 6. ábrát is).

A vizsgázók közül

• alapfokon megfelelt (40–59% között, 42–71 ponttal): 27,50%;
• középfokon megfelelt (60% felett, 72 pont felett): 20,30%;
• nem felelt meg nyelvvizsga szintjének (39% alatt, 48 pont alatt): 52,20%.

6. ábra • A nyelvvizsga szintjének való megfelelés

Tanulságok, következtetések

A javítás tapasztalatai

• A javítók többsége mindkét szinten elfogadhatónak, kellőképpen részletesnek, világosnak és jól használhatónak tartotta a javítási útmutatókat.
• Elsősorban az előforduló apróbb szerkesztési pontatlanságok okoztak problémát.
• Bár a javítást mindkét szinten részletes, közös javítások előzték meg, többen kérték, hogy még több különböző szintű, javított mintadolgozat legyen nyilvános és könnyen hozzáférhető.
• Az íráskészség vizsgarészhez kapcsolódó értékelési útmutató egyes részleteinek még alaposabb megvitatására és értelmezésére lenne szükség.
• Többen nagyon időigényesnek tartották különösen az emelt szintű dolgozatok javítását.

Tanulságok a vizsgafejlesztők számára

• A vizsga megbízhatósága mindkét szinten megfelelő volt (középszinten 0,8625, emelt szinten 0,9017).
• A vizsgaterületek átlageredménye középszinten túlságosan eltér egymástól. Minden területen világosabban kell hogy megjelenjen az A2 szintű feladat vagy ilyen szintű itemek. Emelt szinten kiegyensúlyozottabbak az eredmények.
• Az alacsony átlaggal teljesített feladatok esetében mindkét szinten részletesen meg kell vizsgálni, hogy egy-egy feladat a szöveg vagy a feladattípus miatt bizonyult-e túl nehéznek.
• A feladatsorok mennyisége miatt különösen fontos, hogy a szerkesztésre elegendő idő és megfelelő technikai háttér álljon rendelkezésre.

Tanulságok a felkészítő tanárok számára

• Bár az egész vizsga szövegközpontú, mégsem szabad elhanyagolni a mondatszintű nyelvhelyességet sem (középszint – nyelvhelyesség, 1. feladat).
• A szövegkohézió szempontjából fontos kulcselemek tudatosítása, ezek gyakorlása a nyelvórákon (középszint – nyelvhelyesség, 2. feladat).
• Az olvasott szöveg értésének különböző részkészségei (globális értés, speciális információ kiszűrése) nagyobb hangsúlyt kell hogy kapjanak a tanításban (középszint, minden feladat).
• Az olvasott szöveg értésének ellenőrzésére alkalmazzunk változatos feladattípusokat, ne csak kérdéseket, hanem például összefoglalást, újrafogalmazást is (emelt szint – olvasott szöveg értése, 3. feladat).
• Az íráskészség fejlesztésére fordítsunk több időt és energiát, hogy ne legyen ismeretlen és ijesztő az önálló produkció a diákok számára (középszint).
• Az írásműveket már a kezdetektől kritériumok szerint értékeljük (feladatteljesítés, szókincs, nyelvtan) (középszint).
• Az íráskészség fejlesztésénél emeljük ki a megtervezett, végiggondolt feladatteljesítést (szövegfelépítés, szövegkohéziós elemek, stílus), és értékeljünk egyre részletesebb kritériumok szerint (emelt szint).

Német nyelv

A próbaérettségire készített feladatsorok a vizsgakövetelményekhez és a vizsgaleíráshoz igazodnak. Mivel az idegen nyelvek esetében nincs olyan pontosan meghatározható, lineárisan kezelhető eleme a követelményeknek, amely alapján a 12. évfolyam anyaga egyértelműen elkülöníthető lenne, ezért nem volt olyan terület vagy részkészség, amelyet a feladatsorok összeállítása során szándékosan kerültünk vagy kihagytunk volna, tekintettel a 11. osztályos vizsgázókra. Ezen túlmenően igyekeztünk a feladatsorokat úgy elkészíteni, hogy azok szintje harmonizáljon az Európa Tanács szintleírásaiban meghatározott és az érettségi követelményekben megjelenített nyelvtudási szintekkel (középszint: A2–B1, emelt szint: B2). Mivel azonban a feladatok előzetes kipróbálás nélkül készültek, a feladatok nehézségéről semmilyen empirikus adatunk nem volt, a szintekkel való harmonizációt szakmai tapasztalataink alapján döntöttük el.

Az idegen nyelvi vizsgák olyan alapvető szemléleti változáson estek át, hogy néhány várható probléma már az alapelvekből levezethető. A jelenlegi vizsgához képest új elem, hogy a vizsga készségeket mér, a feladatok autentikus szövegre épülnek, a feladatsorok teljesen egynyelvűek és számtalan új feladattípust tartalmaznak. Ezek az új elemek azonban nem jelentenek alapvető újdonságot, hiszen az idegen nyelvek tanításának módszertana nagyon sokat változott az elmúlt évtizedekben, a vizsga csak követni próbálja ezt a fejlődést.

Az alapelvekből következően várható volt, hogy nemcsak a felkészítés szempontjából jelentkeznek nehézségek, hanem a lebonyolítás tekintetében is, hiszen az idegen nyelvek írásbeli vizsgája négy elkülönülő részből áll, a füzeteket ki kell osztani és össze kell szedni, továbbá alapvetően új elem a hallott szöveg értését mérő vizsgarész, amelynek mind a lebonyolítása, mind a hanganyag elkészítése számtalan nehézséget vetett fel.

Jelentős eltérés a jelenlegi állapottól az, hogy a vizsga értékelési rendszere megváltozott. Egyrészt alapvetően új, hogy a feladatokhoz megoldási kulcs készül, és ezt a javító tanárnak követnie kell. Fontos eltérés, hogy a nyelvhelyességi hibák tekintetében a különböző vizsgarészekben eltérően kell eljárni: a szövegértést mérő részekben nem kell figyelembe venni a nyelvhelyességi hibákat, ha a válasz érthető, más vizsgarészekben azonban ezeket is értékelni kell.

A produktív készségeket mérő vizsgarészeknél (írás, beszéd) értékelési skálákat kell alkalmazni, azaz az értékelőnek különböző szempontok alapján kell különböző minőségi szintekbe besorolnia a létrejött szöveget. Ez is eltér a jelenlegi gyakorlattól, amely szerint többnyire a nyelvi hibák száma volt az értékelés döntő eleme. Ez gyakorlatilag azt jelenti, hogy az értékelőnek a napi értékelői magatartását kell megváltoztatnia az új vizsga miatt.

Az elemzés mintája

Német nyelvből a próbaérettségit összesen 9112 tanuló írta meg középszinten és 2014 emelt szinten. A szakmai elemzésre kiválasztott minta: 1042 középszinten írott dolgozat és 680 emelt szintű dolgozat. A részletes adatok az 5. táblázatban találhatók.

Eredmények

A második próbaérettségi teljes körű lebonyolítása megerősítette az előző évben 42 iskolában szerzett pozitív tapasztalatokat arra vonatkozóan, hogy az írásbeli vizsga lebonyolítható. Az iskoláktól kapott visszajelzések alapján az okozott csak nehézséget, hogy a felügyelő tanárok óránkénti váltása nem esett egybe a vizsgarészek közötti átállással, illetve, hogy a füzetek kiosztása és beszedése a tiszta vizsgaidőből ment, erre nem volt előirányozva szünet.

A vizsgaeredmények értelmezhetősége szempontjából mindenképpen meg kell állapítanunk, hogy bár a kiválasztott minta mennyisége önmagában elegendő lenne ahhoz, hogy a teljesítményekre vonatkozó adatokat értelmezzük, ám több tényező is befolyásolta az eredményeket, ezért tehát a próbaérettségi teljesítettségi adataiból nem lehet egyértelműen következtetni arra, hogy a 2005-ös érettségin milyen tanulói teljesítmények várhatók. Jelentősen befolyásolja az adatokat, hogy 11. osztályos tanulók dolgoztak. Készségtárgyról lévén szó, nincs semmilyen információnk arra vonatkozóan, hogy a 12. évfolyamon milyen teljesítményváltozás várható. A résztvevők tét nélkül dolgoztak, bár ez természetesen minden eddigi próbamérésre és a 2003-as próbaérettségire is jellemző volt. Ugyanakkor egyetlen korábbi kipróbálás során sem kaptunk vissza ennyi üres vagy csak félig-meddig kitöltött dolgozatot, különösen jelentős volt ez a szám az íráskészséget mérő füzetek esetében. Feltételezhető továbbá a dolgozatok alapján, hogy az egyes szintekre való jelentkezés nem feltétlenül a tudásszint és az érdeklődés alapján történt, ez különösen az emelt szintű adatok értelmezését nehezíti meg. Az idegen nyelvek esetében nagyon jelentősen befolyásolja továbbá az eredményeket az, hogy csak az írásbeli részt lehetett lebonyolítani, így ugyanis a tanulók egy nagyon fontos képességterületéről nincsenek adataink, tehát a teljes tesztre vetített eredmények mindenképpen csonkák és kevéssé informatívak.

A próbaérettségi eredményei – csakúgy, mint 2003-ban – azt bizonyították, hogy a feladatsorok a 11. osztályosok számára teljesíthetők voltak. Az 7. ábra mutatja az egyes készségekre és az írásbeli vizsga egészére vonatkozó teljesítettségi adatokat. A teljes teszt eredménye a középszinten 48,8%, az emelt szinten 50,3% volt. Mindkét szinten a hallott szöveg értését mérő vizsgarész volt a legkönnyebb (középszinten 69%, emelt szinten 60,4%). Mindkét szinten a legnehezebbnek az íráskészség bizonyult (középszint: 23,4%, emelt szint: 37,8%). Ez részben összecseng a korábbi mérések adataival, ugyanakkor az eredményt jelentősen befolyásolja, hogy ezúttal nagyon jelentős mennyiségű üres vagy alig megkezdett dolgozatot kaptunk az íráskészség vizsgarészekhez, a 10%-ot sem elérő tanulók aránya 53,6% a középszinten, az emelt szinten 30,1% volt (lásd 6. táblázat). Megállapítható továbbá, hogy a középszinten a különböző készségek teljesítettsége között nagy a különbség, és ezt az eredményt mindenképpen értelmezni kell vizsgaszerkesztési szempontból is.

7. ábra • A német nyelvi írásbeli feladatsorban elért eredmények készségek szerint közép- és emelt szinten

A pontszámeloszlási grafikonok (8. és 9. ábra) arra utalnak, hogy a középszintű vizsgán nagyon sokan teljesítettek a 20–40%-os határ között, ezt azonban jelentősen befolyásolja az íráskészségfüzetek alacsony teljesítettsége. Az emelt szintű vizsga pontszámeloszlása sokkal kiegyenlítettebb, és ez arra utal, hogy a vizsgaeredmények alapján jól elkülöníthetőek egymástól a különböző teljesítménycsoportok.

8. ábra • A középszintű írásbeli feladatsor teljesítményeinek eloszlása

9. ábra • Az emelt szintű írásbeli feladatsor teljesítményeinek eloszlása

Egészében megállapítható tehát, hogy bár a középszintű vizsga eredményei rosszabbak voltak, mint az első próbaérettségin, a vizsga teljesíthető volt a 11. osztályosok számára. A 10%-os küszöbszint megváltoztatása – az a tény, hogy csak az írásbeli és a szóbeli vizsga számít külön vizsgarésznek a középszinten – javított a bukási arányon is (6 táblázat).

A vizsgaeredmények jól korrelálnak a tanulók iskolai osztályzataival is (10. és 11. ábra). A szóbeli vizsga hiánya miatt az írásbeli vizsgaeredményeket nem lehet végső vizsgajegyre váltani, de a százalékos teljesítmények arra utalnak, hogy a négyes és ötös tanulók vizsgajegyei általában nem feltétlenül érnék el ugyanezt a szintet, noha a javuló iskolai érdemjegy egyértelműen javuló vizsgateljesítménnyel jár.

10. ábra • Iskolai osztályzatok szerinti teljesítmények (középszint)

11. ábra • Iskolai osztályzatok szerinti teljesítmények (emelt szint)

A vizsgafeladatok elemzése

Mivel az idegen nyelvi vizsgák lényegi jellemzője, hogy minden egyes füzet alapvetően más képességterületet mér, ezért a tanulságok szempontjából nagyon fontos az egyes füzetek egyenkénti elemzése is.

A középszintű olvasási feladatsor három feladatból állt, az első öt rövid hirdetés globális megértését kívánta meg, a második egy tájékoztató jellegű szöveg fontosabb információira kérdezett rá igaz/hamis állítások típusú feladattal, a harmadikban pedig egy rövid történetet kellett rekonstruálni az összekevert szövegdarabokból a szöveg részletes megértése alapján. A feladatok megoldottsága részben eltért a várhatótól (1.: 67,7%; 2.: 69,6%; 3.: 37,3%), mert az első két feladat között nagyobb nehézségi különbségre számítottunk. Az emelt szintű feladatsor szintén három feladatból állt. Az elsőben három rövid hír lényegét kellett megérteni egy feleletválasztó feladat segítségével, a másodikban egy hosszabb interjúban a válaszok megértése alapján kellett megkeresni a megfelelő kérdéseket, a harmadikban pedig egy hosszabb leíró jellegű szöveghez készült hiányos szöveg-összefoglalást kellett kiegészíteni. A feladatok megoldottsága itt is eltért az elvárttól (1.: 56,9%; 2.: 55,9%; 3.: 38,8%), az első feladat nehezebb volt tehát, mint gondoltuk.

Mindkét szint esetében azt állapíthatjuk meg, hogy a jelenlegi gyakorlattól eltérő feladattípusok befolyásolják – teljesen természetes módon – a megoldottságot. Egészében azonban azt mondhatjuk, hogy az olvasott szöveg értése nem jelentett komoly nehézséget a tanulóknak, a teljes teljesítettség középszinten 56,6%, emelt szinten 49,2% volt.

A nyelvhelyességet vizsgáló füzetek mindkét szinten viszonylag nehezebbek voltak (középszint: 44%, emelt szint: 45,7%). A középszintű füzet négy feladatból állt, az első kettő feleletválasztó volt, izolált mondatokban, illetve egy összefüggő szövegben, és bár a feladatok csak nagyon egyszerű nyelvi jelenségekre kérdeztek rá, mégis mindkettő nehezebbnek bizonyult a feltételezettnél (1.: 67%; 2.: 54%). A 3. és a 4. feladatban egy-egy hiányos szöveget kellett kiegészíteni: megadott igéket kellett a megfelelő alakban beilleszteni (3. feladat), illetve kiemelt „mondatdarabokat” kellett a nyelvi szerkezet felismerése alapján a helyükre illeszteni (4. feladat). A 3. feladat viszonylag szokványosnak tekinthető, mégis csak 29%-os volt a megoldottsága, a negyediké 30%. A gyengébb teljesítmény egyik lehetséges magyarázata, hogy a nyelvhelyességi vizsgarészben is alapvetően szövegre épülő feladatokkal dolgozunk azért, mert a szöveg, a kontextus segít annak felismerésében, hogy milyen nyelvi jelenség helyes az adott helyzetben. Valószínű azonban, hogy a felkészítés során a nyelvi jelenségeket sokszor kontextus nélkül gyakorolják a tanulók, ezért lehetséges, hogy a szövegkörnyezet nem segíti, hanem gátolja a teljesítményüket. Az emelt szintű nyelvhelyesség füzet is négy feladatból állt. Az első egy viszonylag egyszerű feleletválasztó feladat volt (59,9%), a másodikban a megadott igéket kellett a szövegbe illeszteni a megfelelő alakban (56,1%). Kifejezetten problematikus volt a 3. feladat, amelyben hiányos szöveget kellett kiegészíteni. A feladat megoldottsági értékei egyben és itemenként is rendben vannak, viszonylag alacsonyak (45,7%), de szabályszerűen különbséget tesznek a különböző teljesítményű tanulók között. A tanulói megoldások elemezése során azonban kiderült, hogy sok olyan megoldás is felmerült a dolgozatokban, amely ugyan nem szerepelt az útmutatóban, mégis elfogadható lett volna. Ez a feladat tehát jól bizonyítja, hogy ha nincs mód a feladatok kipróbálására, akkor a feladatsorokban a legnagyobb jó szándék vagy gondosságra törekvés mellett is maradhatnak hibás feladatok, amelyek a vizsgázók számára méltánytalan pontveszteséget okozhatnak. A 4. feladat a német vizsgáztatási hagyományokban meglehetősen szokatlan: fölösleges szavakat kell azonosítani egy megadott szövegben. A feladat a szokatlansága ellenére viszonylag jól sikerült (55%).

A hallott szöveg értését vizsgáló feladatok teljesítettsége nagyon magas volt. A középszintű füzet három feladatot tartalmazott: az elsőben három egyszerű beszámoló lényegi információit kellett felismerni, és egy táblázatban beikszelni, a másodikban három rövid informálódó jellegű telefonbeszélgetés lényegi információit kellett leírni, a harmadikban pedig egy hosszabb beszámoló kiemelt tartalmi információit kellett megérteni és ennek megfelelően egy igaz/hamis állításokból álló feladatot megoldani. Bár a feladatok nehézségüket tekintve mutattak progressziót, a köztük lévő nehézségi különbség messze elmaradt attól, amit vártunk (1.: 63%; 2.: 66%; 3.: 70%). Az emelt szintű füzet két feladatból állt: egy interjú alapján kellett eldönteni megadott témákról, hogy azokról esik-e szó, továbbá egy interjú alapján készült szöveg-összefoglalót kellett kiegészíteni. Mindkettő viszonylag szokatlan feladattípus, de az első mégis kifejezetten könnyűnek bizonyult (80%). A második meglehetősen komplex feladat, hiszen egyszerre kellett az elhangzó szöveget megérteni és a szöveg-összefoglalást kiegészíteni, ezért teljesen jónak tekinthető a 42,6%-os megoldottság. Mindenképpen hathatott a feladatsorok megoldottságára az is, hogy a hanganyag beszédtempója egy kicsit lassúbb volt az előre tervezettnél. S bár az előkészítés során ezt érzékeltük, de a nagyon rövid határidők miatt már nem volt mód az újbóli felvételre. Ez azonban mindenképpen arra mutatott rá, hogy a hanganyag elkészítésére még több időt kell szánni.

Az íráskészséget vizsgáló füzetekben mindkét szinten két-két feladat volt. Ezt a középszinten az indokolta, hogy csak így tudtuk megoldani, hogy legyen az A2-es szinten lévő tanulók számára is megoldható feladat, az emelt szinten pedig különböző típusú tevékenységet várunk el a két feladatban. A középszint első feladatában egy e-mailre válaszolva kellett 40-50 szóban írni a legutóbbi osztálykirándulásról. A feladat átlagos megoldottsága 30,7% volt. A korábban említett két érték, mely szerint a tanulók 53,6%-a nem érte el a pontok 10%-át és 66,4%-uk a pontok 20%-át, nagyon lényeges. Ha ugyanis a vizsgázó erre a nagyon egyszerű feladatra képes volt két-három érthető mondatot írni, amely a témáról szólt, akkor az értékelési útmutató szerint már meg kellett kapnia a 33 pontot érő rész pontszámainak 10%-át. A 20%-os ponthatár eléréséhez pedig arra lett volna szükség, hogy a vizsgázó általában megfelelően írjon a témáról 30-40 szót, és a szövegben előforduló hibák csak kismértékben nehezítsék a megértést. A második feladat egy 80-100 szóból álló személyes levél volt, amelyet két lehetőség közül kellett kiválasztani. A feladat megoldottsága 23,4% volt. Emelt szinten az első feladat egy intézménynek szóló levél volt, a második pedig egy olvasói levél formájában történő véleménynyilvánítás, amelyet szintén két téma közül lehetett kiválasztani. Az átlagos megoldottsága 37,9% és 37% volt. A korábbi mérések egyértelműen bizonyították, hogy az íráskészség fejlesztése valószínűleg némiképp háttérbe szorul a nyelvórán, hiszen a tanulóknak ez okozza talán a legnagyobb nehézséget a különböző készségek közül, ezúttal azonban a számtalan meg sem kezdett dolgozat még tovább rontotta az eredményeket.

A korábbi tapasztalatainktól egy tekintetben eltérőek voltak a mostaniak: korábban az egyes értékelési szempontok szerinti pontszámok elemzése során mindig az derült ki, hogy a tanulók általában a tartalmi és a szövegalkotási szempontokon veszítik el a pontokat és nem a nyelvhelyességi szempontokon. Ezúttal a különböző értékelési szempontokon egyformán rossz teljesítményekkel találkoztunk.

Egy új jelenséget is megfigyelhettünk ezúttal. A második feladatra mindkét szinten két-két feladatot kínálunk fel, és azok közül kell egyet választania a tanulónak. Ezen a próbaérettségin nagyon sok olyan dolgozattal találkoztunk, amelyiken a tanuló a rövid vizsgaidő ellenére is megkezdte mindkét feladatot (azaz összesen három írásművet készített!). A javítás során úgy jártunk el, hogy ha nem lehetett eldönteni, melyik feladatot választotta a vizsgázó, akkor az első írást kellett értékelni. Ezután azonban a vizsgázónak külön jelölnie kell majd, hogy melyik feladattal kíván foglalkozni.

Az értékelés

Az értékelők munkáját nem ellenőriztük rendszerszerű ellenőrző javítással, a felmerülő problémákról csak a visszajelzéseik és a szúrópróbaszerű ellenőrzések alapján van képünk, illetve az emelt szinten volt 268 dolgozat, amelyeket két értékelő is kijavított. A javítók visszajelzései szerint még mindig nagy nehézséget jelentenek az értékelési skálák. Itt is jelentős szemléleti váltást jelent ugyanis, hogy például egy viszonylag hibás, ám érthető írásműre is pontot kell adnia az értékelőnek a különböző szempontok alapján, vagy ennek az ellentéte, amikor egy szinte hibátlan írásművet kell lenulláznia azért, mert a tanuló nem arról írt, ami a feladat volt.

Az emelt szintű kettős javítás arra is alkalmat nyújtott, hogy az értékelési skála használhatóságáról nyerjünk adatokat. Az értékelési skála jó működését bizonyítja, ha a különböző értékelők által meghatározott eredmények nem különböznek egymástól jelentősen. Az értékelési skála több szempontnál is egy minőségi szinthez két-két lehetséges pontot ad meg (pl. 4–3 pont; 2–1 pont), ami némi szabadságot nyújt az értékelőnek. A pontszámbeli eltérések közül tehát az tekinthető jelentősebbnek, ahol a két értékelő a dolgozatot különböző minőségi sávba sorolta. A 7. táblázat mutatja az emelt szintű dolgozatok javítása során tapasztalt eltéréseket. Az eredmények mindenképpen biztatónak tekinthetőek, hiszen a próbaérettségi javítását megelőzően nem minden értékelő vett még részt vizsgáztatóképzésen, és általában csak egy nagyon rövid (1-2 órás) egységesítő képzés után kezdték meg a javítást. Ennek tudatában kifejezetten jó eredménynek számít, hogy legfeljebb 10-15% azoknak az eseteknek az aránya, ahol a két értékelő különböző minőségi sávba sorolta be a dolgozatokat. Ezt azonban mindenképpen befolyásolja az is, hogy a második értékelő a javítás során ismerte az első értékelő döntését.

A javítás minőségét tekintve egy tapasztalat mindenképpen megfogalmazható: jelentős mennyiségű számolási hibát találtunk a dolgozatokban. Ezek alapvetően három okból keletkeztek: a tanár rosszul adta össze a részpontszámokat, rosszul használta az átváltási táblázatot, illetve az íráskészségnél rosszul alkalmazta a „lenullázási szabályt” (ha a vizsgázó bizonyos értékelési szempontok szerint 0 pontot kap, akkor az egész feladat eredménye 0 pont).

Tanulságok, következtetések

A próbaérettségi komoly tanulságokat jelent a vizsgakészítés, a vizsgára való felkészítés és a lebonyolítás szempontjából. A feladatok nehézségi szintjének pontosabb meghatározására lenne szükség, amely csak úgy lehetséges, ha a vizsgakészítés folyamata tartalmazza a feladatok kipróbálását is. Erre azért is szükség lenne, mert az értékelési útmutatónak még pontosabbnak kellene lennie abban a tekintetben, hogy a nyitottabb feladatoknál még több megoldási alternatívát jelenítsen meg.

A dolgozatok részletesebb elemezése alapján mindenképpen közelebb kellene kerülni annak a kérdésnek a megválaszolásához, hogy miért van ekkora különbség a középszinten a különböző füzetek teljesítettsége között.

Az előkészítés szempontjából fontos tanulsága volt a vizsgának, hogy a hanganyag elkészítésének mechanizmusán is változtatni kell, hogy a minősége jobban megfeleljen az elvárásainknak.

Nagyon megnyugtató volt, hogy ezt a – szervezési szempontból – bonyolult vizsgát sikerült nagyobb zökkenők nélkül kipróbálni, és a hanganyagok sokszorosításával és lejátszásával sem voltak komoly problémák. Fontos azonban, hogy az idegen nyelvi vizsgák esetében a felügyelő tanárok váltása a továbbiakban igazodjék a vizsgaszerkezethez.

Mindenképpen problematikusnak tekinthető a vizsgadolgozatok értékelésére való felkészülés. Az emelt szintű dolgozatok javítása szempontjából kifejezetten nehézséget jelentett az, hogy az értékelőket képző regionálisan felelős vezető értékelők képzésére akkor került sor, amikor még nem álltak rendelkezésre dolgozatok. Így természetesen nem volt mód arra, hogy néhány problematikus dolgozat alapján lehessen konszenzusra jutni. Ebben a tekintetben mindenképpen változtatni kellene a rendszeren.

Mivel a 2005. évi érettségi vizsgafeladatainak előzetes kipróbálására sem volt mód, várható, hogy a javítások során mindkét vizsgaszinten olyan esetek merülnek fel, amelyekre a javítási-értékelési útmutató nem reagál. Ezért szükséges lenne az, hogy a dolgozatok megírása után még lehetőség legyen a javítási-értékelési útmutatók kiegészítésére, és legyen mód arra, hogy ezek az információk – az iskolaigazgatókon keresztül – eljussanak az értékelő tanárokhoz a középszinten is.

A jelentős mennyiségű számolási és átváltási hiba kiküszöbölésére is megoldást kellene találni az iskolákban, illetve a vizsgaközpontokban. Az értékelési útmutatót ki kell egészíteni további magyarázó részekkel, amelyek az átváltással vagy a „lenullázással” kapcsolatos teendőket még egyértelműbbé teszik az értékelők számára.

A tanulók vizsgára való felkészítése szempontjából lényeges tanulságnak tekinthető, hogy egyrészt a nyelvhelyesség vizsgarészeknél a szövegek nehézséget jelentettek a tanulóknak, másrészt a feladattipológiai változatosság is problémát jelentett. Ebből a szempontból fontos megjegyezni azonban, hogy a vizsga semmilyen szélsőséges, kísérleti jellegű feladattípust nem tartalmaz, tehát ha a tanórán olyan tananyagokkal dolgoznak, amelyek a kommunikatív kompetencia fejlesztésére alkalmasak, azok ugyanazokat a feladattípusokat tartalmazzák a fejlesztés során, mint a vizsga. Fontos tanulság még, hogy az íráskészség fejlesztésére a dolgozatok tanulsága szerint nagyobb súlyt kell fektetni.

Az értékelők felkészülése szempontjából fontos tanulság, hogy a szemléletváltás a vizsga értékelési rendszerében is jelentős változásokat hoz. Nagyon fontos lenne, hogy az értékelő tanárok alaposan megismerjék és megértsék az értékelés alapelveit és elfogadják azokat, hiszen csak így tudják az előírásoknak megfelelően értékelni a dolgozatokat. Ehhez mindenképpen segítséget nyújt a vizsgáztatók képzése, amely mindkét vizsgaszintre vonatkozóan nagyon sok gyakorlási lehetőséget nyújt, továbbá az érettségi vizsgához készült tájékoztató kiadvány (Tanároknak az érettségiről 2005; http://www.om.hu).