05 decembra 2007

PISA 2006

Včera prebehla správami zaujímavá informácia o výsledkoch testu PISA 2006, ktorého cieľom bolo zmerať školské vedomosti a schopnosti 15 ročných mládežníkov z krajín OECD (pozri napr. článok SME). Nebudem tu analyzovať príčiny neúspechu Slovenska a úspechu Fínska; tie chápu takmer všetci (pozri napríklad článok z Izraela), bohužiaľ okrem tých ľudí, ktorí majú/mali reálnu moc naše školstvo postaviť na nohy.

Upozorniť by som však chcel na stránku projektu PISA 2006, na ktorej je možné získať sumárne štatistiky o odpovediach na jednotlivé otázky vo všetkých zúčastnených krajinách. Zaujíma Vás napríklad, či v teste z matematiky dopadli na Slovensku lepšie chlapci alebo dievčatá? A čo by ste povedali: V čítaní dopadli lepšie tí, ktorí majú doma umývačku riadu, alebo tí, ktorí umývačku nemajú? Na uvedenej stránke sa dajú získať tieto a mnoho iných zábavných aj poučných štatistík.

Štatistická poznámka: Dôležitým údajom v tabuľkách databázy PISA je číslo SE (standard error), pomocou ktorého je možné počítať intervaly spoľahlivosti pre strednú hodnotu μ daného ukazovateľa v rámci celej populácie. Napríklad ak je priemerný výsledok (ktorý je iba odhadom hodnoty μ) v nejakej kategórii 454 bodov a príslušná SE je 6,07, tak 95 percentný interval spoľahlivosti pre hodnotu μ je 454 plus mínus 1,96 krát 6,07, t.j. približne 442 až 466. (Konštanta 1,96 pochádza z normálneho rozdelenia.)

Na presné pochopenie intervalov spoľahlivosti je vhodné absolvovať prednášku zo základov pravdepodobnosti a štatistiky, ale zhruba povedané čím väčšie SE, tým nespoľahlivejší je daný priemer nameraných hodnôt ako indikátor skutočnosti. Ako "rule of thumb" môžeme uvažovať takto: je skoro isté, že globálny priemer μ je v rozmedzí výberový priemer +- 2*SE.

Poznámka 6.12. A: Ohľadom výsledkov PISA 2006 sa rozbehla intenzívna diskusia (pozri napríklad nový článok na SME). Musím povedať, že ma zaráža, že je vôbec niekto našimi výsledkami prekvapený. Čo nadpriemerné sa na Slovensku robí v školstve, alebo pre školstvo, aby sme mohli dosiahnuť nadpriemerné výsledky? Podľa mňa nenájdete ani jeden reálne podložený argument, na základe ktorého by sme mali očakávať lepší výsledok.

Ak chce ministerstvo školstva vyvodiť z daného prieskumu podložené závery, mali by urobiť dôkladnú štatistickú analýzu dát PISA 2006, ktorá by odhalila tie charakteristiky školských systémov, ktoré najviac ovplyvňujú výsledok. Toho sa však zrejme nedočkáme pretože vážne hrozí, že ako absolútne rozhodujúci by sa ukázal politicky veľmi "nepríjemný" faktor, ako napríklad percento HDP idúce na školstvo.

Poznámka 6.12. B: Zbežne som si prezrel výber zadaní testov z matematiky a nadobudol som dojem, že viem prečo naši žiaci neuspeli. Totiž veľa príkladov bolo zameraných na to, ako rozumným spôsobom použiť matematické vedomostí v elementárnych, no naozaj reálnych situáciách a nie na mechanické dosadzovanie do vzorcov. V teste sa vyskytujú napríklad úlohy odhadnúť výšku budovy, kriticky zhodnotiť údaje prezentované grafom, alebo posúdiť výhodnosť nákupu pizze. Skrátka na úspešné zvládnutie takýchto testov je nutné dobre rozumieť jednoduchým matematickým princípom a pri ich aplikovaní, prekvapivo, premýšľať. Naopak, je skoro zbytočné vedieť naspamäť komplikované vzorce a úzke formálne schémy, kde sa tieto vzorce dajú mechanicky aplikovať.

4 komentáre:

gurama povedal(a)...

Ahoj pod dlhom case :-),
pekne 'rule of thumb'. :-) tak ma pritom napadlo nieco mierne odveci: ako by sa dal pekne tento vyraz prelozit? mna teraz nic nenapada,...asi vyzva pre anglictinarov.:-) svojho casu som pocula podobnu diskusiu o slove 'hint'...zial, vtedy to bolo bez vysledku. :-)

Radoslav Harman povedal(a)...

Ahoj gurama! Rád Ťa tu opäť vidím.

Našiel som na webe taký seriózne sa tváriaci slovník, kde je preklad zvratu "rule of thumb" ako "odhad od oka", čo je samozrejme veľmi nepresné. Asi nie je možné nájsť stručný a dokonalý preklad do slovenčiny. Je to skrátka "jednoduché, ale nie vždy úplne presné pravidlo, prípadne metóda". No možno by som to preložil ako "heuristické pravidlo". Na wikipedii vysvetľujú jednu teóriu ako ten zvrat vznikol; je to celkom zábava.

Inak čo sa týka toho "hintu", tak toto slovo som raz použil na zadaní písomky (v zmysle "návod", "pomôcka", "nápoveda", "tip" skrátka hint) a veľa študentov nevedelo, čo to znamená.

Jozef Hajnala povedal(a)...

Dobry den,

Velmi zaujimavy test. Podla mojho nazoru (a osobnej skusenosti) su nasi ziaci neschopni v oblasti aplikacii matematiky, pretoze im chyba elementarne pochopenie zakladnych pojmov uz niekde na prelome 1. a 2. stupna ZS. Skusanie a vyuka jednoducho od ziakov nevyzaduje ziadne prakticke uplatnenie vedomosti, ktore ziskali. Vedia vzorec, ale nevedia co to vlastne pocitaju.

Osobne si myslim ze problem (ked sa orientujem vseobecnejsie) je v snahe nasho skolstva urobit zo ziaka cloveka velmi vzdelaneho vo vsetkych oblastiach, co je nemyslitelne (urcite nie z dlhodobeho hladiska). Ak by som si mal dnes pamatat vsetky vedomosti z gymnazia a zo vsetkych predmetov tak by som musel mat naozaj uzasnu pamat.

K matematike konkretne. Naozaj nasi ziaci v aplikaciach su slabi. Otazka ale moze zniet trocha inak - maju vedomosti z matematiky sluzit iba v oblasti aplikacii? Ak by to tak bolo tak by som nepotreboval studovat napr. m. analyzu 4 semestre, staci tak ako napr. na EU, kde maju 2 semestre matematiky o pocitackach (stihnu analyzu aj algebru :D a ti lepsi vedia definicie a nejake vety, o dokazy malokedy zavadia .. Aplikovat vedia, ci vedia aj co aplikuju je otazne. Podobne je to aj so statistikou. Stretol som sa s panom ktory pocita bezne statistiky vo svojej firme, staci mu nato kniha "Statistika jednoducho", v ktorej vrcholom umenia je spocitat spominany interval spolahlivosti s kvantilom pre N(0,1) /co to je netusi, vie, ze je to 1,96/ pripadne standardnu chybu .. Opat, v aplikacii vo firme je dobry, ale je toto matematika ?? V oblastiach ako napriklad teorie okolo mnozin a kardinalnych cisel si celkom dobre ani konkretnu aplikaciu neviem predstavit .. a predsa je to velmi zaujimave.

Ale to uz som zasiel niekam uplne inam .. co podla mna chyba vyucovaniu matematiky na zakladnych a strednych skolach je ciel, teda odpoved na otazku "co chceme tych ludi naucit ?" .. poznam ludi, ktory povedia "naco mi je nejaky blby vzorec na aritmecku postupnost?" a ked mu poviem, ze spocitaj cisla od 1 po 100 tak sa ma spyta, co to s tym ma spolocne .. a z matematiky ma jednotku .. V skutocnosti som zacal stredoskolsku matiku skutocne a naozaj chapat az na FMFI a nehanbim sa to napisat. Ako mozme ludi na strednej skole ucit derivacie bez toho, aby dokazali interpretovat definiciu limity? Ale v osnovach sa hrdo vynima "Uvod do infinitezimalneho poctu". Krasne meno. Ak by som mal povedat svoj nazor bez akychkolvek prikraslovani, je ten, ze by sme stredoskolakov mali naucit chapat a rozumiet zakladom matematiky (pochopit vyrokovu logiku, jazyk mnozin a pod - teda naucit ich abecedu, citat s pochopenim a pisat v matematickom jazyku) a potom nejake tie aplikacne ulohy. A nie trapit ich logaritmyckymi funkciami a vzorcami na pracu s nimi, ked nevedia co je definicny obor a teda kedy ich mozu pouzit, nehovoriac o dalsich pojmoch ..

PS: Neviem, ci som sa vyjadril jasne, dufam ze ano :-) Prajem prijemny vecer

Radoslav Harman povedal(a)...

Suhlasim. Skola by mala ludi naucit jednak nejaku tu techniku narabania s formulkami, ale tiez logicky, kriticky a inventívne mysliet. Prave takyto sposob myslenia je obvykle dolezity na to, aby ludia vedeli svoje (matematicke aj ine) vedomosti aplikovat mimo skolskych lavic. Takemuto mysleniu by sa mali ucit uz deti na zakladnej a strednej skole.

Na matfyze sa obvykle snazime o sirsi a abstraktnejsi zaklad, aby ste sa vedeli zorientovat aj v takych problemoch, ktore nezapadaju do ziadnej formalnej schemy. Dokazy su taktiez podla mna velmi dolezite (aspon v prvych rocnikoch), aby ste sa naucili kriticky sa pozerat nielen na tvrdenia inych, ale aj na svoje vlastne. Malo by sa pre Vas stat prirodzenym pytat sa na dovody daneho tvrdenia a nielen ho bezmyslienkovite peberat ako fakt.

Pre aplikacie (poznatkov vysokoskolskej matematiky) je taktiez nutne poznat dovod pouzivanych matematickych technik. Prave statistika je velmi nachylna na mechanicke a nekriticke aplikovanie naucenych vzorcekov a to hlavne pre to, ze cielova skupina, ktorej su tieto analyzy urcene, je casto statisticky a metematicky negramotna (a to aj medzi vedcami; da sa robit velka vedecka kariera systemom mechanickeho masoveho produkovania p-hodnot na vysperkovanie clankov z roznych odborov).

Vedia napriklad ludia, ktori sa orientuju podla nejakych statistik, ze sa v tichosti pouzil predpoklad normality? Bol tento predpoklad otestovany? Ak je normalita vyrazne porusena, preco si mame mysliet, ze dana povedzme p-hodnota je viac ako bezvyznamne hausnumero? Mozeme naozaj pouzit predpoklad nezavislosti? Ak sme pouzili asymptoticky test, je vyber dostatocne velky? ... Taketo otazky si prave kladu ludia, ktori sa do statistiky naozaj vyznaju. Analogicky zrejme uvazuju aj skutocni odbornici z inych oblasti aplikovanej matematiky a v zasade asi aj fyzici, ktori fyzike rozumeju a nielen poznaju suchoparne formulky.

Prave preto aj k cistej matematike mam velmi pozitivny vztah; ta ma prave naucila nielen abstraktnym technikam rieseni problemov, ale aj kriticky mysliet v aplikaciach. Skratka, cista matematika trenuje myslenie. Okrem toho, ze je casto esteticky mimoriadne pritazliva.