Skip to content
 

Keď zvládneme korupciu, príde rad aj na nekvalitné testy?

Prijímacie konanie je jedným z boľavých miest nášho školského systému. V súvislosti s ním vo verejnosti už tradične rezonujú témy ako korupcia, únik informácií, netransparentnosť skúšok, vysoké poplatky, nedostatok miest, či prípravné kurzy organizované niektorými vysokými školami. Nepochybne ide o vážne problémy, ktoré by mali školy riešiť s plnou zodpovednosťou. Ako dlhoročný profesionál v oblasti tvorby a používania školských testov však chcem poukázať na to, že jestvuje celý rad ďalších problémov, ktoré sú z hľadiska dôsledkov pre výber uchádzačov rovnako závažné. Mám na mysli (ne)kvalitu testov, ktoré vysoké školy používajú ako nástroj výberu spomedzi uchádzačov.

Keby niekto vydal zbierku testov, ktoré naše vysoké školy používajú na prijímacích skúškach, vzniklo by smutné panoptikum najrozličnejších chýb a nedostatkov, ktorých sa možno pri tvorbe testu dopustiť. Túto problematiku si zatiaľ verejnosť neveľmi všíma, pretože nedostatky testov sú pre neodborníkov menej zjavné a zrozumiteľné ako iné problémy spojené s prijímacím konaním. Bežný uchádzač či rodič iste lepšie chápe problém korupcie ako problém nedostatočnej reliability či nízkej predikčnej validity testov. Situácia v zahraničí (vrátane Česka)  by však mala byť signálom, že takýto stav nebude ani u nás trvať dlho a len čo sa podarí akotak vyriešiť „hrubšie“ problémy (typu únikov informácií či transparentnosti skúšok), určite sa obráti pozornosť verejnosti a médií aj na „jemnejšie“ problémy, ako napríklad kvalita testov. Preto je aj v záujme vysokých škôl tento vývoj predbehnúť a včas pristúpiť k tvorbe testov, používaných vo výberovom konaní, s patričnou dávkou pozornosti a najmä odbornosti.
Sústredenie všetkej pozornosti na istý typ problémov viedlo k tomu, že viaceré vysoké školy úplne podriadili podobu a priebeh prijímacích skúšok snahe vyhnúť sa podozreniam z korupcie, únikov informácií a pod. Niektoré však pritom zvolili také postupy a procedúry, ktoré sú z hľadiska iných odborných aspektov nesprávne a nevhodné. Do tejto kategórie patrí napríklad:

  1. zverejnenie zoznamu niekoľko tisíc otázok spolu s informáciou, že „ostré“ prijímacie testy budú obsahovať iba otázky z tohto zoznamu,
  2. generovanie úplne odlišnej sady otázok pre každého uchádzača,
  3. zverenie tvorby testu jedinej osobe.

Či už je motiváciou pre takéto postupy snaha poskytnúť všetkým uchádzačom presne rovnakú možnosť prípravy (1) alebo zamedziť predčasný únik informácií (2, 3), v každom prípade sú uvedené postupy vážne spochybniteľné z mnohých iných hľadísk a určite z hľadiska teórie pedagogických meraní. Postup (1) vedie k výberu uchádzačov s najlepšou pamäťou (problematická predikčná validita testov), pri postupe (2) vôbec nie je zabezpečená rovnocennosť testov pre jednotlivých uchádzačov ani z hľadiska obsahu, ani z hľadiska obťažnosti. Postup (3) je najspoľahlivejšou cestou k vzniku obsahovo nevyvážených testov s chybami všetkých druhov (vecnými, štylistickými, typografickými).

Pokúsim sa rozobrať a zhrnúť najčastejšie nedostatky prijímacích skúšok na vysokoškolské štúdium, ktoré sa týkajú kvality používaných (písomných) testov. Pre väčšiu prehľadnosť sú rozdelené do piatich okruhov.

1. Obsah testov
Pri určovaní obsahu prijímacej skúšky by sa malo vychádzať z jej hlavného (a možno jediného) účelu. Zákon o vysokých školách je v tomto prípade celkom jasný – ak vysoká škola robí výber spomedzi uchádzačov, musí určiť pre prijímacie konanie také podmienky a spôsob overovania ich splnenia, ktoré umožnia výber uchádzačov s najvyššou mierou schopností na štúdium.
Testy používané na prijímacích skúškach by mali byť „pohľadom do budúcnosti“ a jednou z ich najdôležitejších vlastností by preto mala byť vysoká predikčná validita, t. j. vysoká korelácia medzi výsledkom uchádzača v teste a jeho následným úspechom pri vysokoškolskom štúdiu. Malo by platiť: uchádzači, ktorí dosiahnu v teste vysoké skóre, budú s veľkou pravdepodobnosťou úspešnými študentmi príslušného študijného programu (ak budú prijatí), uchádzači, ktorí dosiahnu v teste nízke skóre, by v prípade prijatia s veľkou pravdepodobnosťou boli neúspešnými študentmi príslušného programu. Zákonodarca dáva vysokým školám úplnú slobodu pri stanovení konkrétnej podoby prijímacích testov. O to zarážajúcejšie je, že mnohé fakulty túto slobodu nevyužívajú a uplatňujú v prijímacom konaní veľmi úzke, oklieštené, či dokonca nevhodné pojatie „potrebných schopností a predpokladov“. Je veľmi pravdepodobné, že predikčná validita mnohých používaných testov je pomerne nízka, a to z niekoľkých dôvodov:

  • v prevažnej väčšine sú zamerané na aktuálnu vedomostnú výbavu uchádzačov, absentuje zisťovanie všeobecných a špecifických kognitívnych predpokladov pre zvolený študijný program,
  • aktuálna vedomostná výbava je navyše často testovaná nevhodnou formou (s neúmerným akcentom na primitívnu faktografiu), ktorá ďalej znižuje predikčnú validitu testov,
  • testy majú často nízku reliabilitu, pričom vysoká reliabilita je nutnou (nie však postačujúcou) podmienkou vysokej predikčnej validity.

Presné údaje o predikčnej validite prijímacích testov na jednotlivých fakultách nie sú, žiaľ, dostupné a nie je mi známe, že by nejaký relevantný výskum v tejto oblasti vôbec prebiehal.

Podľa môjho názoru by prijímacie skúšky mali najvyššiu predikčnú validitu vtedy, keby boli svojím obsahom zamerané na diagnostikovanie štyroch hlavných „vrstiev“ dispozícií uchádzačov:

  1. všeobecné kognitívne predpoklady na (akékoľvek) vysokoškolské štúdium,
  2. špecifické kognitívne predpoklady na úspešné štúdium zvoleného študijného programu,
  3. motivácia na štúdium zvoleného študijného programu,
  4. aktuálna vedomostná výbava potrebná na začiatok štúdia zvoleného študijného programu.

Medzi všeobecné predpoklady na úspešné vysokoškolské štúdium patria také kognitívne schopnosti, ktoré sa uplatňujú pri akokoľvek zameranom vysokoškolskom štúdiu, napríklad: čítanie s porozumením, schopnosť orientovať sa v texte a analyzovať ho, znalosť frekventovanejších cudzích slov, schopnosť pracovať s rôznymi zdrojmi dát a informácií (napr. schopnosť vyhľadávať, triediť a hodnotiť informácie, interpretovať tabuľky a grafy), schopnosť osvojovať si nové (teoretické, abstraktné) pojmy a narábať s nimi, schopnosť chápať a tvoriť logické úsudky, kritické a hodnotiace myslenie atď.

Okrem uvedených všeobecných predpokladov môžu klásť jednotlivé študijné programy na intelektuálne predpoklady študentov rôzne špecifické nároky. Niektoré sú náročné na pamäť, iné na priestorovú predstavivosť, ďalšie na logické, abstraktné a analytické myslenie, iné na cit pre jazyk a komunikačné zručnosti. Aj z týchto hľadísk by preto mali byť uchádzači posudzovaní.

Veľmi významným predpokladom na úspešné zvládnutie zvoleného zamerania štúdia je motivácia. Jej zisťovanie by však nemalo byť obsahom prijímacieho testu, ale inej zložky prijímacej skúšky, preto sa v ďalšom motiváciou nebudem bližšie zaoberať. (Možno ju zisťovať napríklad osobným pohovorom, dotazníkom, rozsiahlejším písomným prejavom uchádzača.)

Istá vstupná vedomostná výbava je nepochybne nutná na štúdium ktoréhokoľvek odboru, preto je opodstatnené ju zisťovať. Ale konkrétna podoba, v akej sa to realizuje, je v mnohých prípadoch nevhodná. A rozhodne by nemalo ísť o jedinú kvalitu uchádzačov, ktorá je diagnostikovaná.
Uvedené poradie štyroch zložiek „ideálnej“ prijímacej skúšky nie je náhodné – odráža mieru dôležitosti a súvisí aj so „stabilitou“ uvedených aspektov a s možnosťou ovplyvniť ich u prijatých uchádzačov. Relatívne najľahšie a najrýchlejšie môže dôjsť ku zmene v aktuálnej vedomostnej výbave poslucháča, najťažšie (ak vôbec) sa dá dosiahnuť zmena v oblasti jeho všeobecných predpokladov pre štúdium.

Už som uviedol, že väčšina slovenských vysokých škôl sa v prijímacích testoch sústreďuje najmä na zisťovanie aktuálnej vedomostnej výbavy uchádzačov vo vybraných predmetoch, resp. vo vybraných témach. Často pritom dochádza k porušovaniu vysokoškolského zákona, ktorý doposiaľ v § 57 ods. 2 hovoril: „… podmienky určené vysokou školou na prijatie na štúdium podľa musia z hľadiska obsahu vedomostí zohľadňovať obsah úplného stredného vzdelania.“ Novembrová novela zákona o vysokých školách sa pokúsila túto mimoriadne vágnu formuláciu trochu spresniť: „(2) Ďalšie podmienky určené vysokou školou na prijatie na štúdium podľa § 56 ods. 1 nesmú z hľadiska obsahu vedomostí prekročiť obsah úplného stredného vzdelania. 37)“. Naďalej však toto ustanovenie zostáva v praxi ťažko aplikovateľné, nakoľko pojem „obsah úplného stredného vzdelania“ je veľmi vágny a pripúšťa celý rad odlišných výkladov.

Mnohé fakulty tradične zaraďujú do svojich prijímacích testov poznatky, ktoré nikdy neboli, nie sú a dúfam, že ani nikdy nebudú obsahom stredoškolského vzdelávania. Mnohé používané prijímacie testy by preto bolo možné úspešne napadnúť z hľadiska nedostatočnej obsahovej validity. Odkiaľ majú uchádzači testované fakty vedieť? A odkiaľ vôbec majú vedieť, že ich majú vedieť? Tento problém riešia fakulty jednoducho – vydávajú rôzne vlastné publikácie pre uchádzačov, z ktorých sa potom maturanti doúčajú to, čo sa na strednej škole nemohli naučiť, pretože to nie je v učebných osnovách. Ak nebudeme brať do úvahy výnosnosť tejto praxe pre autorov spomenutých publikácií, ťažko nájsť racionálne dôvody na takýto postup. Stredoškolské učivo totiž poskytuje dostatok (dokonca veľký prebytok!) „vedomostnej matérie“, ktorú možno testovať, keď už chceme testovať, predovšetkým vedomosti uchádzačov. Občas zaznie argument, že maturanti sa musia mnohé poznatky doučiť, aj keď sa na strednej škole nevyučujú, pretože sú potrebné na štúdium zvoleného programu. Takáto argumentácia je podľa môjho názoru nesprávna. Vysoké školy by mali prispôsobiť svoje učebné programy tomu, s čím k nim prichádzajú úspešní stredoškoláci po maturite.

Problém je však ešte zložitejší: nielen že sa mnohé fakulty sústreďujú iba na testovanie vedomostnej výbavy (na úkor všeobecných schopností) a že testujú vedomosti presahujúce stredoškolské kurikulum. Navyše pritom často postupujú tým najhorším možným spôsobom a jednoznačne akcentujú „primitívnu“ faktografiu na úkor otázok testujúcich porozumenie, vhľad, chápanie súvislostí, schopnosť použiť získané poznatky či vedomosti v konkrétnych situáciách. Porovnajme z tohto hľadiska nasledujúce dve otázky:

01 Už v období praveku vznikali diaľkové obchodné cesty. Jedna z najstarších obchodných ciest spájala baltické pobrežie s čiernomorským pobrežím. Obchodníci po nej zabezpečovali prevoz tzv. „zlata severu.“ „Zlatom severu“ nazývame:

A) cín
B) jantár
C) meď
D) železo

02 Už v období praveku vznikali diaľkové obchodné cesty. Jedna z najstarších obchodných ciest spájala baltické pobrežie s čiernomorským pobrežím. Pre archeológov je cenné poznať trasy diaľkových obchodných ciest najmä preto, že

A)  vypovedajú o stave rozvoja dopravných prostriedkov vtedajších kultúr.
B)  z ich smerovania vyplýva, s čím sa v určitej dobe obchodovalo.
C)  popri týchto trasách je pravdepodobný výskyt cenných archeologických nálezísk.
D)  popri trasách obchodných ciest spravidla viedli aj hranice štátnych útvarov.

Prvá otázka je typickou ukážkou položky, ktorá testuje výlučne faktografiu (navyše nie veľmi dôležitú). Žiak niekedy v procese učenia sa dejepisu dostal informáciu, že jantár sa nazýva aj „zlatom severu“. Tento fakt vzal na vedomie – nič iné sa s ním nedá urobiť – a uložil si ho do pamäti (v lepšom prípade). Uvedená otázka od žiaka vyžaduje iba to, aby túto informáciu vylovil z pamäti. Nič viac. Naproti tomu druhá otázka testuje porozumenie spôsobu života v minulosti a metód archeologickej práce.

2. Formát (typ) testov
Každá testová položka má svoj obsah (čo testujeme) a svoju formu (akým spôsobom sa na to pýtame a akým spôsobom má respondent odpovedať). Z hľadiska formátu položiek rozlišujeme predovšetkým otvorené a uzavreté otázky. Pri širokých otvorených otázkach respondent samostatne vypracúva rozsiahlejšiu odpoveď (niekoľko viet, celý odsek či dokonca dlhší text). Základným problémom tohto typu otázok je vysoká subjektívnosť ich hodnotenia, preto by sa v prijímacích testoch mali vyskytovať iba výnimočne, a to vtedy, ak je to z hľadiska zamerania študijného odboru nevyhnutné. Inak môže byť hodnotenie odpovedí na takéto otázky priveľmi subjektívne a vniesť do celkového hodnotenia uchádzača neakceptovateľne vysokú chybu. Ak škola považuje za nevyhnutné, aby v teste boli aj otvorené otázky, je vhodnejšie obmedziť sa na otvorené otázky s krátkou odpoveďou, ktorých hodnotenie je predsa len podstatne objektívnejšie.

V rozpore s bežne rozšíreným názorom je však v prevažnej väčšine prípadov plne postačujúce testovať uchádzačov uzavretými testovými otázkami, ktoré poskytujú najvyššiu možnú mieru objektívnosti hodnotenia. Nevyhnutnou podmienkou je však voľba správneho formátu položiek a, samozrejme, ich obsahová kvalita a dokonalé formulácie. Je napríklad nevhodné používať binárne otázky (v ktorých respondent odpovedá áno / nie, či posudzuje pravdivosť / nepravdivosť nejakého tvrdenia) ako plnohodnotné otázky v teste, pretože pravdepodobnosť náhodnej správnej odpovede je v tomto prípade neakceptovateľne vysoká. Ak sa nechceme vzdať niektorých predností binárnych otázok, možno niekoľko (3 – 4) binárnych položiek zlúčiť do „klastra“, ktorý spoločne tvorí jednu testovú položku a hodnotí sa ako celok. Napríklad:

03 O každom z nasledujúcich tvrdení rozhodnite, či je pravdivé alebo nepravdivé:

1)    Existuje prvočíslo s ciferným súčtom 9.
2)    Všetky prvočísla väčšie ako 2 sú nepárne.
3)   Existuje prvočíslo, ktoré je súčinom dvoch iných prvočísiel.
4)   Existuje prvočíslo väčšie ako 1 000 000.

Tieto štyri tvrdenia spolu tvoria jedinú testovú položku. Ak skúšaný správne posúdi pravdivosť všetkých uvedených tvrdení (teda odpovie N, P, N, P), presvedčí nás, že problematiku prvočísiel ovláda a získa za túto položku plný počet bodov. Ak čo len jedno z uvedených štyroch tvrdení posúdi nesprávne, nepresvedčil nás, že prvočíslam rozumie a za riešenie úlohy nezíska žiadne body. Takýmto spôsobom hodnotenia sa problém hádania eliminuje. (Ak chceme hodnotiť miernejšie, môžeme prideľovať nejaké body aj za tri správne posúdené tvrdenia. Nesmieme však prideliť žiadne body za menej ako tri správne posúdené tvrdenia, pretože už dve môžu byť náhodným výsledkom.)

Ak v teste používame „klasické“ otázky s výberom odpovede, mal by byť počet ponúkaných alternatív štyri alebo päť. Tri je málo, pretože pravdepodobnosť náhodnej správnej odpovede je neakceptovateľne vysoká. Väčší počet tiež nie je vhodný, pretože zbytočne predlžuje čas potrebný na prečítanie otázky.

3. Formulácie testových položiek
Zvolením vhodného obsahu testovej položky a jej formátu máme za sebou iba polovicu práce na prípravu testovej položky – ostáva otázku presne formulovať. Práve v tejto oblasti sa vyskytuje v prijímacích testoch vysokých škôl veľké množstvo nedostatkov. Správne formulovanie testových položiek je tak trochu „umenie“, ktoré sa rozvíja a kultivuje najmä praxou a bohatými skúsenosťami s touto špecifickou činnosťou. Z toho, že niekto je uznávaným odborníkom vo svojom odbore, žiaľ, vôbec nevyplýva, že bude vedieť správne formulovať testové otázky.

Každá otázka v teste by mala byť jasná a zrozumiteľná (nielen autorovi testu, ale aj respondentom!). Formulácie by nemali mať zložitú logickú štruktúru (s niekoľkými zápormi), mali by byť čo najjednoduchšie a najstručnejšie (bez zložitých súvetí). Znie to banálne a samozrejme, no v praxi je často ťažké to dosiahnuť. Problém je v tom, že každá položka musí byť nielen stručná, ale zároveň aj úplná (žiadna dôležitá informácia nesmie v zadaní chýbať) a jednoznačná (formulácia nesmie umožňovať rôzne výklady a interpretácie). Uvedené požiadavky sú však protichodné: dosiahnutie presnosti, úplnosti a jednoznačnosti je často na úkor jasnosti a stručnosti formulácie a naopak. Formulácia nesmie byť návodná a nemala by byť zavádzajúca. Respondentovi by malo byť jasné, čo presne sa od neho požaduje. Ako by ste odpovedali napríklad na takúto otázku?

04 Najstaršia univerzita v strednej Európe bola založená v ________________ .

Dopísali by ste rok, mesto, štát alebo epochu?

4. Technická kvalita testov
Pod technickou kvalitou testov rozumiem ich základné štatistické či psychometrické charakteristiky, akými sú reliabilita, štandardná chyba merania, ekvivalencia jednotlivých použitých foriem testu a ďalšie. Ide o dôležité kvality každého testu, ktoré však na teste „nevidno“ – dozvieme sa o nich iba ex post z psychometrickej analýzy výsledkov. Samozrejme iba za predpokladu, že ju urobíme, čo, žiaľ, nie je samozrejmosťou. Tieto parametre sú z hľadiska funkcie prijímacích testov mimoriadne dôležité, pretože vypovedajú o tom, akým spoľahlivým či presným meracím nástrojom je použitý prijímací test a aké spoľahlivé či presné sú rozhodnutia, ktoré na základe jeho výsledkov robíme. Ak má test nízku reliabilitu (t. j. veľkú štandardnú chybu merania), je hrubé skóre jednotlivých uchádzačov zaťažené príliš veľkou chybou. V takom prípade by sa nemali robiť závery z niekoľkobodových rozdielov, pretože vôbec nemusí ísť o skutočné rozdiely v úrovni uchádzačov. Hoci fakulty presné údaje nezverejňujú, je veľmi pravdepodobné, že reliabilita mnohých používaných prijímacích testov je nízka. Možno to usúdiť z niektorých dostupných informácií. Napríklad jedným z významných faktorov ovplyvňujúcich reliabilitu testu je počet položiek. Test s 20 položkami (a vyskytujú sa aj kratšie!) ťažko môže byť dostatočne reliabilný. Keďže vysoké školy (na rozdiel od stredných) nemajú zákonom obmedzený čas trvania prijímacej skúšky, mali by sa snažiť používať testy s minimálne 40 až 50 položkami. Ďalšou nutnou (nie postačujúcou) podmienkou vysokej reliability testu je optimálna obťažnosť jednotlivých položiek. Príliš ľahké a príliš ťažké položky neprispievajú k rozlíšeniu uchádzačov a znižujú reliabilitu testu. Maximálnu možnú reliabilitu testu pri minimálnom počte položiek možno dosiahnuť najmä tým, že všetky položky v teste budú vykazovať vysokú mieru citlivosti (diskriminačnej sily). Splnenie tejto podmienky patrí medzi najťažšie „oriešky“ aj pre profesionálnych tvorcov testov.

Ak fakulta používa rôzne formy testu (napríklad ak skúšky trvajú niekoľko dní) a výsledky všetkých uchádzačov sa posudzujú spoločne, ako keby písali rovnaký test, je veľmi dôležité, aby jednotlivé formy testu boli ekvivalentné najmä z hľadiska obsahu, skladby, obťažnosti. Táto ekvivalencia by mala byť psychometrickými metódami preskúmaná a následne verejne dokumentovaná, aby žiadny uchádzač nemusel mať nepríjemný pocit či podozrenie, že jeho test bol ťažší, ako test iného uchádzača.

5. Spôsob hodnotenia testov
Máloktorá oblasť tvorby testov a ich použitia je tak dobre rozpracovaná a preskúmaná ako problematika hodnotenia výsledkov testovania. Je preto prekvapujúce a smutné, že väčšina slovenských vysokých škôl uplatňuje iba ten najtriviálnejší (a zároveň najproblematickejší) spôsob hodnotenia testovania – výpočet hrubého skóre. Mnohé teoretické poznatky a praktické skúsenosti, ktoré sa v oblasti pedagogického merania za takmer sto rokov rozvoja nazhromaždili, pre naše fakulty akoby neexistovali. Štandardizované skóre, percentily, korekcie na hádanie, aposteriórne váhy položiek či moderné metódy hodnotenia (itemresponse theory, Raschov model), kalibrácia rôznych testových foriem – celý tento arzenál účinných metód objektivizácie a zefektívnenia testovania ostáva pri prijímacích skúškach nevyužitý.

Používanie nekvalitných testov na prijímacích skúškach na vysoké školy so sebou nesie viaceré negatívne dôsledky. Samotné vysoké školy sú „potrestané“ prijatím nesprávnych (rozumej perspektívne neúspešných) uchádzačov. Za ešte závažnejší považujem fakt, že nevhodný obsah prijímacích testov má negatívny a deformujúci vplyv na stredné školy. Mechanizmus tohto vplyvu je jednoduchý a v anglickej odbornej literatúre mnohokrát popísaný pod sloganom „what you test is what you get“: pretože stredné školy sú zo strany rodičov pod tlakom, aby maturanti uspeli na prijímacích skúškach, stredoškolskí učitelia prispôsobujú obsah a celkové zacielenie výučby obsahu prijímacích testov na vysoké školy. Pretože v nich dominuje nepodstatná faktografia a absentuje testovanie „rozumnejších“ schopností, aj na stredných školách sa kladie dôraz na nepodstatnú faktografiu a rozvíjanie „rozumných“ schopností a zručností ustúpilo do úzadia.

Zdá sa, že na mnohých vysokých školách sú obsah a forma prijímacích testov dané viac-menej tradíciou, ktorú možno nikto nevie zdôvodniť ani vecne podložiť. Na väčšine fakúlt otázku obsahu a formy prijímacích testov nikto systematicky neskúma, absentuje dôkladná každoročná analýza výsledkov (už nehovoriac o longitudinálnych štúdiách predikčnej validity). Podoba testov sa iba zriedkavo podrobuje inováciám. Chcem byť optimistom a nádejať sa, že situácia sa v najbližších rokoch zmení. Ak impulz nepríde zvnútra samotných vysokých škôl, nepochybne príde zvonku – od uchádzačov, od ich rodičov, či médií.

Vladimír Burjan
(časopis ACADEMIA, február 2004)

Leave a Reply