Zobrazujú sa príspevky s označením štatistika. Zobraziť všetky príspevky
Zobrazujú sa príspevky s označením štatistika. Zobraziť všetky príspevky

25 októbra 2012

Fúrik

Prevážame fúrikom tehly z miesta A na miesto B. Doba trvania jednej "obrátky" (naloženie fúrika, prevoz z A do B, vyloženie, cesta naspať z B do A) závisí od toho, koľko tehál prevážame. Urobili sme 5 pokusných obrátok, ktorých výsledky sumarizuje nasledovná tabuľka.

Počet naložených tehál 3 6 9 12 15 18
Čas obrátky (v sekundách) 18 28 52 60 96 152

Koľko tehál by ste odporučili nakladať do fúrika?

Na rozdiel od väčšiny zábavných hlavolamov, táto úloha nemá "jediné správne" riešenie. V reálnych aplikáciách sa však často vyskytujú práve takéto problémy: údaje zaťažené náhodnou chybou, neznámy alebo veľmi komplikovaný matematický model, niekedy dokonca nie celkom presne definovaný cieľ.

Acknowledgements: Úloha je motivovaná podobnou úlohou, ktorú nám opäť poslal Peťo Mikloš.

20 augusta 2012

K základom teórie pravdepodobnosti

Nasledovný text som si napísal v máji 2010 ako stručnú prípravu na scenár relácie "Nočná pyramída" Slovenského rozhlasu. Pri vysielaní sme sa však scenára skoro vôbec nedržali, a tak som zo svojej prípravy použil len málo. Tento text zverejňujem, lebo by možno bola škoda, keby na mojom harddisku iba zapadol prachom :)

Kto je zakladateľ teórie pravdepodobnosti a aké má miesto táto disciplína v matematike?

Prvé úvahy o pravdepodobnosti začali ľudia rozvíjať už veľmi dávno, minimálne odkedy hrávajú hazardné hry. Pokiaľ viem, tak prvé uchované zmienky o matematickom prístupe k pravdepodobnosti, tiež v súvislosti s hazardnými hrami, možno nájsť v korešpondencii medzi Fermatom a Pascalom  okolo polovice 17. storočia. Fermata možno poznajú poslucháči v súvislosti so slávnou veľkou Fermatovou vetou a Pascala v súvislosti s Pascalovým trojuholníkom, alebo Pascalovým zákonom.

K teórii pravdepodobnosti výrazne prispeli na začiatku 18. storočia Abraham de Moivre, ktorý ako prvý študoval Gaussovo rozdelenie pravdepodobnosti a Jacob Bernoulli, ktorý ako prvý v istej forme formuloval zákon veľkých čísiel.  V súčasnosti používané matematické axiómy pravdepodobnosti vybudoval až v 30-tych rokoch 20. storočia Andrej Kolmogorov. V porovnaní s ostatnými matematickými disciplínami je teória pravdepodobnosti relatívne mladá.

Teória pravdepodobnosti je jednou z najdôležitejších oblastí matematiky, obzvlášť kvôli tomu, že tvorí matematický základ štatistiky. Pravdepodobnosť je časťou teórie miery, ale nejakým spôsobom súvisí s prakticky všetkými matematickými disciplínami.

Základné zákony teórie pravdepodobnosti...

Existuje veľmi presná matematická charakterizácia zákonov teórie pravdepodobnosti, ktorá zahŕňa viacero možných interpretácií pravdepodobnosti. Niektoré z týchto zákonov sú veľmi formálne, alebo založené skôr na dohode ako nutnosti, napríklad ten, že pravdepodobnosť meriame číslami medzi nulou a jednotkou, pričom pravdepodobnosť jedna znamená, že daná udalosť nastane s istotou. Najdôležitejší z týchto zákonov, zákon aditivity pravdepodobnosti, je možné vysvetliť aj neformálne. Hovorí, že pravdepodobnosť nastatia jednej udalosti spomedzi navzájom sa vylučujúcich udalostí musí byť rovná súčtu pravdepodobností týchto udalostí.

Zoberme si napríklad hádzanie falošnou kockou. Nech by bola táto kocka akokoľvek nevyvážená, tak musí platiť, že pravdepodobnosť, že padne nejaké párne číslo, je rovná pravdepodobnosti, že padne dvojka, plus pravdepodobnosť, že padne štvorka, plus pravdepodobnosť, že padne šestka. Môže sa to zdať samozrejmé, ale veľa matematických zákonov je vlastne úplne samozrejmých, keď si ich človek trochu premyslí. Inak, je zaujímavé si uvedomiť, že matematik používa na narábanie s pravdepodobnosťou v podstate taký istý aparát ako na narábanie s plochami rovinných útvarov. Aditivita plochy znamená, že ak by sme nejaký útvar rozkrájali na kúsky, tak plocha pôvodného útvaru je rovná súčtu plôšok vzniknutých kúskov.

Ako môže vôbec existovať náhoda vo svete, kde platia prírodné deterministické zákony?

Náš svet je, zdá sa, zvláštnou kombináciou determinizmu a náhodnosti. Najhlbšie zákony sveta, ktoré poznáme, to znamená zákony kvantovej mechaniky, sú síce deterministické, ale deterministicky popisujú práve náhodnosť. Tieto zákony nevedia presne predpovedať čo sa stane, ale vedia v princípe presne predpovedať s akou pravdepodobnosťou sa čo stane.

Na našej makroúrovni sa síce dajú formulovať fyzikálne zákony, ktoré zdanlivo úplne jednoznačne určujú čo sa stane v budúcnosti, ale je to naozaj iba zdanlivé. Aj maličké náhodné odchýlky na mikroúrovni sa postupom času môžu zosilňovať a spôsobiť divergenciu makroskopických dejov; ide o známy efekt motýlích krídel. Takouto divergenciou dejov sa zaoberá matematická teória chaosu a dynamických systémov.

Okrem toho, zrejme aj ak by bol náš svet vo svojej podstate úplne deterministický, mala by teória pravdepodobnosti svoje opodstatnenie, pretože pravdepodobnosť môžeme použiť ako model miery našej vedomosti o javoch budúcich, ale aj o javoch minulých. Pravdepodobnosť logicky konzistentne špecifikuje ako sa mení naša miera nevedomosti pri postupnom získavaní informácie. Tomuto pohľadu na pravdepodobnosť má blízko takzvaná Bayesovská štatistika.

Načo sa táto oblasť matematiky využíva v praxi? Jej vzťahy k štatistike...

Teória pravdepodobnosti sa využíva v rôznych situáciách, napríklad na stanovenie toho, aké pravidlá lotérie zabezpečujú zisk prevádzkovateľovi, v poistnej matematike na určenie výšky poistného, v systémoch hromadnej obsluhy s cieľom povedzme zabezpečiť plynulosť prevádzky, pri určovaní spoľahlivosti systémov zložených z nespoľahlivých súčastí, alebo aj vo finančnej matematike na modelovanie vývoja rôznych ekonomických ukazovateľov a na oceňovanie finančných derivátov.

Pravdepodobnosť sa tiež vyskytuje v základoch teórie informácie a kódovania, preto je dôležitá aj pre počítačové vedy. Napríklad vyhľadávače na internete - internetový gigant Google používa na stanovenie hodnotenia stránok, takzvaný markovovský reťazec, čo je model patriaci do teórie pravdepodobnosti. Alebo ešte jeden príklad - väčšina z nás sa denne stretáva s nevyžiadanou elektronickou poštou, takzvaným spamom. No a na filtrovanie spamov sa používajú programy založené na teórii pravdepodobnosti, na takzvanom Bayesovom vzorci.

Ale najväčšie uplatnenie pravdepodobnosti je, že tvorí matematický základ štatistiky, čo je vlastne, veľmi zostručnene povedané, získavanie dôležitej informácie v podmienkach neurčitosti. Pravdepodobnosť možno chápať ako nástroj na modelovanie reálnych dejov s prvkami náhodnosti, ktorý nám umožňuje matematicky presne zdôvodniť používanie štatistických procedúr.

Aplikácie štatistiky môžeme nájsť na každom kroku; spomeniem napríklad testovanie účinnosti liečiv a vyhodnocovanie prieskumov verejnej mienky. Značná časť vedeckého výskumu, prakticky každý výskum, ktorý sa zakladá na experimentoch a modelovaní dejov s prvkami neurčitosti, používa matematickú štatistiku a sprostredkovane teóriu pravdepodobnosti. Od štatistickej mechaniky vo fyzike, až po experimentálnu psychológiu.

Vzťah medzi matematikou a logikou; v akom vzťahu sú tieto dve formálne vedy?

Matematici logiku neustále používajú, ale nie veľmi často sa nad samotnou logikou zamýšľajú. Logika je pre matematika niečo ako pravidlá hry, podobne ako v šachu (hoci na rozdiel od pravidiel šachu, iné "pravidlá matematiky", čiže inú matematickú logiku, si neviem celkom dobre predstaviť). Šachisti pravidlá vyčerpávajúco ovládajú, ale explicitne sa nad nimi nezamýšľajú; skôr sa snažia hľadať v rámci pravidiel šachové kombinácie. Napriek tomu, že pravidlá šachu aj pravidlá logiky sú jednoduché, tak existuje skoro nekonečne veľa možných prípustných šachových kombinácií a, analogicky, platných odvodení matematických tvrdení.

Možno by sa táto metafora dala potiahnuť aj trochu ďalej. Práve kvôli prísnym pravidlám nie sú v šachu prakticky nikdy spory, kto vyhral, a ani v matematike nie sú skoro nikdy spory, či je dané matematické odvodenie platné. To odlišuje matematiku od ostatných vied. Matematika prakticky nikdy neprehodnocuje to, k čomu v minulosti dospela; keď sa raz nejaké matematické tvrdenie dokáže, tak už je pravdivé navždy. (To tvrdenie bolo samozrejme pravdivé aj kedykoľvek predtým, len my sme o ňom nevedeli, alebo sme ho možno tušili, len sme si neboli úplne istí, že platí. Matematika je ako objavovanie a mapovanie fascinujúcej neznámej krajiny, ktorá existuje nezávisle na nás.) Preto sú "Euklidove základy" rovinnej geometrie úplne bez zmeny platné aj dnes po 2300 rokoch, hoci samozrejme metódy výkladu sa zmenili. A preto je v matematike, najmä v takzvanej "čistej" matematike, dnes už veľmi ťažké objavovať principiálne nové tvrdenia, ktoré by boli zaujímavé pre viac ako hŕstku špecialistov a ktoré by sa dali stručne a jasne opísať v bežnom jazyku.

Čo je pre matematika možné, čo nemožné, čo pravdepodobné a čo skutočné?

Povedal by som, že pre matematika nie je skoro nič úplne nemožné s výnimkou logicky sporných vecí, ako napríklad, že niečo existuje a súčasne neexistuje. To je možno trochu iná odpoveď, akú by ste dostali od fyzika; ten by možno povedal, že nemožné je cestovať rýchlosťou vyššou ako je rýchlosť svetla. To je síce v našom vesmíre pravda, naša fyzika to neumožňuje, ale pre matematika to principiálne nemožné nie je, lebo matematika, zdá sa, je v schopná popísať aj iný vesmír ako je ten náš.

No, predsa len sa mi ako matematikovi niektoré veci zdajú nemožné. Zdá sa mi, že je principiálne nemožné, aby existoval vesmír bez matematických objektov, aj tých najzložitejších. Ak je niekde vo vesmíre nejaká technicky veľmi vyspelá civilizácia, som si istý, že v nejakej forme pozná číslo , Riemannovu zeta funkciu, alebo aj ohromne komplikovaný matematický objekt s názvom "Monštrum".

Prečo sa javy vo svete dajú matematicky modelovať, prečo je možná matematizácia?

Toto je veľmi ťažká otázka, nad ktorou sa už ľudia zamýšľajú dlho, ale odpoveď nám zatiaľ uniká. Môžeme len konštatovať, že je to skrátka tak, že matematika sa ukázala ako mimoriadne účinný nástroj na popis nášho sveta. Dokonca pre fundamentálne fyzikálne teórie, akou je napríklad kvantová mechanika, by sme si bez matematiky nevedeli vôbec pomôcť, pretože kvantové javy sa vzpierajú našim predstavám a intuícii. Na prekvapenie, pre matematiku nie je popis týchto javov problém.

Zaujímavé je uvedomiť si nielen to, že fyzika (a teda značná časť celej vedy) sa zakladá na matematických postupoch, ale aj to, že naše pochopenie matematiky je fyzikou umožnené. Dá sa povedať, že náš vesmír má potenciál spoznávať sám seba. Matematika je v nejakom veľmi hlbokom zmysle súčasťou nášho sveta a zdá sa, že tvorí s fyzikou neoddeliteľný celok. Dovolím si tvrdiť, že žiadny človek tomuto vzťahu matematiky a fyziky zatiaľ dokonale neporozumel...

20 januára 2012

Ajkina úloha

Moja doktorandka Ajka Bachratá mi včera zadala takúto domácu úlohu:

Vieme, že v istej skupine 1000 ľudí je aritmetický priemer IQ presne 100 a rozptyl je presne 900. Aký je maximálny možný počet ľudí v tejto skupine, ktorí majú IQ aspoň 150?

Ako svedomitý školiteľ som si svoju domácu úlohu vyriešil a keďže sa mi celkom páčila, rozhodol som sa, že sa o ňu podelím aj s Vami. Riešenie si nevyžaduje žiadnu náročnú matematiku, no súčasne nie je úplne priamočiare.

Poznámka: V našej úlohe nie je úplne jednoznačne povedané čo sa myslí pod pojmom "rozptyl". Keď si pozrieme príslušnú stránku wikipedie, tak zistíme, že do úvahy prichádzajú dve mierne odlišné definície: "vychýlený výberový rozptyl" a "nevychýlený výberový rozptyl". Ak by mal štatistik len súbor reálnych dát

y1,y2,...,y1000

bez znalosti presnej strednej hodnoty rozdelenia, z ktorého dáta pochádzajú, skoro určite by použil "nevychýlený výberový rozptyl". Avšak v našom príklade sa dohodnime, že kvôli jednoduchosti riešenia budeme pod pojmom "rozptyl" uvažovať "vychýlený výberový rozptyl", čiže aritmetický priemer čísiel

(y1-100)2,(y2-100)2,..., (y1000-100)2.

Ak by sme náhodne vybrali 1000 ľudí z populácie, tak ich priemerné IQ bude skutočne okolo 100, ale výberový rozptyl bude oveľa menší ako 900 (pre štandardizované testy bude približne 225). Skupina zo zadania by musela byť teda veľmi zvláštna...

28 apríla 2011

Moja habilitačná prednáška

  V pondelok 2.5. o 14:00 budem mať v C-čku na matfyze habilitačnú prednášku a po krátkej prestávke obhajobu habilitačnej práce. Budem veľmi rád, keď si ma prídete vypočuť!

  Téma habilitačnej prednášky je "Pátranie po informáciách skrytých v mnohorozmerných dátach", čiže hovoriť budem o mnohorozmerných štatistických metódach. Ukážem zjednocujúci pohľad na viacero zdanlivo nesúvisiacich metód a niektoré z nich vysvetlím podrobnejšie (metódu hlavných komponentovanalýzu zhlukov, klasifikačné metódy), avšak skôr intuitívne a s viacerými obrázkami. V tejto téme nie som nejaký extra expert a navyše je táto téma extrémne široká a pomerne málo "matematická" (radšej by som bol, keby mi boli vybrali napríklad stochastické simulačné metódy), ale verím, že Vás aj napriek tomu dokážem zaujať.
  V obhajobe habilitačnej práce veľmi stručne spomeniem moje kľúčové výsledky z oblasti optimálneho navrhovania experimentov. Prednáška aj obhajoba bude po anglicky.

2.5.: Ďakujem Vám všetkým, ktorí ste si ma prišli vypočuť. Pre záujemcov dávam k dispozícii moje slidy (aj keď bez slovného komentára to je veľmi nekompletné a možno aj ťažko zrozumiteľné).


Ak by ste na týchto slidoch našli nejaké chyby, dajte mi o nich vedieť, ja ich opravím a budem sa tváriť, že to bolo od začiatku dobre :)

26 mája 2009

Prsty

Priebežné výsledky sú na konci príspevku. Ak neviete o čo ide, čítajte ďalej.

Skutočne je rozdiel medzi pomerom dĺžok ukazováka a prstenníka u mužov a u žien, alebo je tento takzvaný "fenomén 2D:4D" len výmysel na oživenie koktailových večierkov?

Napadlo ma, že toto tvrdenie by sme mohli spoločne overiť priamo tu na blogu QED. Stačí, ak si odmeriaš dĺžku ukazováka a prstenníka na pravej aj ľavej ruke a okrem týchto údajov uvedieš do komentára ešte informáciu o tom, či si žena, alebo muž. Ak budeš mať chvíľu čas a pri sebe priateľov, môžeš zmerať dĺžky týchto štyroch prstov aj im (inak pre nesmelých výborná metóda nadviazania kontaktu :-); čím viac údajov budeme mať, tým lepšie. Dĺžky meraj s presnosťou na 1 milimeter od konca prstov až po spodnú vrásku deliacu prst od dlane, tak ako je naznačené na fotografii mojej pravej ruky. Postupne budem robiť príslušné štatistické testy a uvidíme, či sa teória o rôznom pomere dĺžok prstov u žien a u mužov potvrdí.


Takže meranie číslo 1 bude zodpovedať mojim vlastným prstom (P znamená pravá ruka, L ľavá ruka, u ukazovák a p prstenník): Pu 7,6 mm; Pp 8,0 mm; Lu 7,4 mm; Lp 7,9 mm.

..............


Po údajoch od 17-tich ľudí zobrazuje nasledovný graf priebežné výsledky pomeru dĺžky ukazováka a prstenníka: jednotlivé hodnoty pomeru ako bodky a 95 percentné intervaly spoľahlivosti pre strednú hodnotu pomeru ako obdĺžniky. Vertikálna súradnica dát je mierne roztrasená, čo je bežný postup ako zamedziť "zliatiu" symbolov s takmer rovnakou horizontálnou súradnicou. Ako je očividné už z grafu, naše dáta zatiaľ nesvedčia o významnom rozdiele medzi mužmi a ženami. Formálne: nepárový dvojvýberový t-test pre rovnosť stredných hodnôt pre pravú ruku dáva zatiaľ p hodnotu približne 0,7 a pre ľavú ruku približne 0,9. Na zistenie signifikantného rozdielu (ak existuje) potrebujeme ešte pomerne veľa dát. Zapojte sa!


Každopádne už teraz je jasné, že rozdiel medzi mužmi a ženami je veľmi malý (aj keď možno zistiteľný pri veľkom súbore ľudí) a určovať pohlavie len na základe pomeru dĺžok prstov je skoro ako určovať ho hodením mincou.

22 mája 2009

Intervaly spoľahlivosti v prieskumoch verejnej mienky

S potešením konštatujem, že agentúra FOCUS ku prieskumu momentálnej podpory politických strán uvádza okrem samotných percentuálnych odhadov aj intervaly spoľahlivosti. Rozhodol som sa preto, že stručne popíšem o čo ide.

Predstavme si, že máme škatuľu, v ktorej je veľmi veľký počet farebných guliek, pričom nás zaujíma pomer p, koľko z týchto guliek je červených. (Pre prieskumy môže "škatuľa" znamenať rozsiahly reprezentatívny zoznam oprávnených voličov a "červené guľky" môžu byť povedzme tí voliči, ktorí by momentálne volili stranu SMER.)

Pri obrovskom počte guliek nie je mysliteľné, aby sme preskúmali farbu každej z nich. Takže vykonáme len jednoduchý náhodný výber relatívne malého počtu guliek (tento počet, nazývaný tiež rozsah výberu, si označíme n), zistíme koľko je z nich červených (nech je to k) a výsledný pomer (t.j. hodnotu k/n) prehlásime za náš odhad neznámej hodnoty p. Interval spoľahlivosti (IS) vyjadruje rozsah, v ktorom "s veľkou mierou istoty" leží skutočný pomer p, ktorého je k/n len často nepresným odhadom. Pokúsme sa vysvetliť tento intuitívny popis IS matematicky presnejšie.

Približný 95 percentný interval spoľahlivosti pre hodnotu p vypočítame ako k/n plus mínus δ, kde


V predchádzajúcom vzorci je p so strieškou náš odhad hodnoty p, t.j. k/n a konštanta 1,96 je takzvaná kritická hodnota normálneho rozdelenia. Hodnota δ sa v angličtine nazýva "margin of error" a v slovenčine ju budem nazývať hraničná chyba.

Odhad k/n je teda stredom IS a čím je väčšie n, t.j. čím je väčší rozsah nášho náhodného výberu, tým je menšia hraničná chyba a užší výsledný interval. To súhlasí s našou intuíciou ako asi by sa mal IS správať. Ale prečo práve takýto vzorec? A čo vlastne znamená číslo 95?

Predstavme si, že náš experiment s vybratím n guliek zopakujeme mnohokrát a zakaždým použijeme hore uvedený vzorec pre konštrukciu IS. Potom približne v 95 percentách prípadov bude skonštruovaný interval obsahovať skutočný pomer p červených guliek v škatuli. Presvedčiť sa o platnosti predchádzajúcej vety si vyžaduje absolvovať základný kurz teórie pravdepodobnosti (aspoň po centrálnu limitnú vetu), ale pochopiť význam IS je možné aj bez toho. Ešte raz inými slovami: 95 percentný IS je interval vypočítaný metódou, ktorá dáva v 95 percentách prípadov jej použitia interval obsahujúci hodnotu p skutočného podielu.

Predpokladajme napríklad, že zo škatule sme vybrali presne 1000 guliek. Potom hraničná chyba v závislosti od odhadu k/n je zobrazená na nasledovnom grafe (všetko som vynásobil číslom 100, t.j. aj odhad neznámeho pomeru p aj hraničná chyba je na grafe uvedená v percentách):


Napríklad ak by v našom náhodnom výbere bolo presne 40 percent červených guliek, je hraničná chyba približne 3 percentá a 95 percentný interval spoľahlivosti pre skutočné percento červených guliek v šaktuli je 37 až 43. Ak by spomedzi vybratých guliek bolo 20 percent červených, bola by hraničná chyba približne 2,5 percenta a 95 percentný IS by bol 17,5 až 22,5.

Čo sa týka prieskumov verejnej mienky, tak je situácia samozrejme trochu zložitejšia. Po prvé, prieskumná agentúra môže použiť sofistikovanejší výber respondentov ako je len obyčajný náhodný výber; napríklad môže robiť takzvaný stratifikovaný náhodný výber, ktorý odhady spresní. A po druhé, je pravdepodobné, že intervaly spoľahlivosti bude agentúra počítať exaktnou metódou a nie len našim jednoduchým, avšak len približným vzorčekom.

Každopádne intervaly spoľahlivosti uvedené v správe agentúry FOCUS s počtom odpovedajúcich respondentov n=709 sú prakticky identické s tým, čo by sme dostali použitím našej metódy (okrem uvedeného intervalu spoľahlivosti pre Slobodné Fórum, kde agentúra zjavne urobila chybu).

Poznámka: Všimnite si, že krajná chyba, t.j. vlastne presnosť nášho odhadu, nezávisí od počtu všetkých guliek v škatuli, resp. od počtu všetkých potenciálnych voličov (kvôli vrtákom: predpokladáme náhodný výber s vrátením, čo je však prakticky identická situácia ako náhodný výber bez vrátenia ak je rozsah výberu o niekoľko rádov menší ako veľkosť základnej populácie). Takže aj ak by bolo potenciálnych voličov milión, aj sto miliónov, aj sto miliárd, náhodný výber rozsahu 1000 nám poskytne zakaždým rovnako presný odhad o podiele potenciálnych voličov strán.