Marktektarmörk
Marktektarmörk (\(\alpha\)) lýsa því einmitt hvar við drögum línuna, í sálfræði er nærri alltaf miðað við \(\alpha\)= 0,05. 1 Þessi tala (0,05) vísar til líkinda (5%) og við erum þá að segja að við viljum að það séu undir 5% líkur á að við höfum rangt fyrir okkur. 2
Marktektarpróf
Marktektapróf reikna líkur þess að fá tilteknar niðurstöður þegar núlltilgáta er í raun rétt og kallar þessar líkur p-gildi. P-gildi endurspeglar þannig líkur þess að við höfum rangt fyrir okkur. Ef við höfum ákveðið að miða við marktektarmörk = 0,05 þá munu allar niðurstöður þar sem p-gildi er yfir 0,05 þýða að niðurstöður séu ómarktækar. P> 0,05 þýðir að það séu yfir 5% líkur á að við höfum rangt fyrir okkur og við vorum jú búin að ákveða að draga mörkin við 5%.
Höfum samt í huga að þó 5% séu lágar líkur, þá eru þær ekki 0% – svo við gætum við haft rangt fyrir okkur. Skoðum því aðeins hvernig niðurstaða gæti verið rétt eða röng með því að gefa okkur eftirfarandi aðstæður í þýði:
| Það er ekki munur á launum í þýði | Það er munur á launum í þýði | |
| Marktækt | Höfnunarmistök (type I error) | Rétt niðurstaða - Afköst |
| Ómarktækt | Rétt niðurstaða | Fastheldnimistök (type II error) |
Höfnunarmistök
Höfnunarmistök (type I error) er þegar við gerum þau mistök að hafna núlltilgátu sem er í raun rétt.
Skoðum hólf 1 í töflu 1: Hér er raunverulega engin munur á launum eftir menntun en niðurstöður eru marktækar svo við hugsum: P-gildi er undir 0,05 –> próf er marktækt –> ef próf er marktækt höfnum við núlltilgátunni –> ef núlltilgátan segir að það sé engin munur, og hún er röng, þá hlýtur að vera munur! –> við tökum þá upp aðaltilgátu og ályktum að það sé í raun munur á launum eftir menntun.
Hér höfum við gert þau mistök að segja að það sé munur, þegar það er í raun engin munur.
Fastheldnimistök
Fastheldnimistök (type II error) er þegar við gerum þau mistök að halda fast í núlltilgátu sem er í raun röng.
Skoðum hólf 4 í töflu 1: Það er raunverulega munur á launum eftir menntun en niðurstöður eru ómarktækar svo við hugsum: P-gildi er yfir 0,05 –> prófið er ómarktækt –> ef próf er ómarktækt þá getum við ekki hafnað núlltilgátunni –> núlltilgátan segir að það sé engin munur –> ef ég get ekki hafnað núlltilgátunni, þá get ég ekki tekið upp aðaltilgátuna –> get ekki sagt að það sé munur á launum eftir menntun.
Hér höfum við gert þau mistök að segja að það sé ekki munur, þegar það er í raun munur.
Hvort er verra; að gera höfnunarmistök eða fastheldnimistök?
Hvorugt er gott en höfnunarmistök eru oft talin valda meiri skaða heldur en fastheldnimistök. Það byggir á þeim rökum að verra sé að hafa rangar upplýsingar heldur en að missa tímabundið af réttum upplýsingum. Það er, betra að segja “ég er ekki viss” heldur en að koma með fullyrðingu sem er röng.
Það eru þó aðstæður þar sem fastheldnimistök eru verri. Dæmi um slíkt væri ef aukaverkun lyfs væri aukin hætta á heilablóðfalli. Í því tilviki myndum við frekar vilja ganga út frá því að þessi hættulega aukaverkun sé raunveruleg – og hafa rangt fyrir okkur – heldur en að hafa rangt fyrir okkur með því að segja að af lyfinu stafi engin hætta.
Íhugið nú eftirfarandi fullyrðingar:
Þunglyndir einstaklingar eru ofbeldisfullir
Tiltekinn barnabílstóll er öruggur
Hvernig gætum við yfirfært þessi tvö dæmi á fastheldni- og höfnunarmistök? Og hvor mistökin þætti okkur verri í hvoru dæmi fyrir sig?
Afköst
Hvað ef aðaltilgátan er rétt – af einhverri ástæðu vitum við fyrir víst að það sé raunverulega munur á launum þeirra sem hafa og hafa ekki lokið háskólamenntun. Afköst eru einmitt hæfni prófs, að gefnum tileknum aðstæðum – til að geta borið kennsl á þann mun sem er í raun og veru til staðar í þýði.
Afköst eru líkur þess að fá marktækt próf þegar aðaltilgátan er í raun rétt (það er í raun munur á hópunum). Við getum þó einnig hugsað um þetta sem líkur þess að gera ekki fastheldnimistök. Við getum reiknað afköst í höndunum 3, með forritlingum á netinu, skoðað sambærilegar rannsóknir og miðað við að finna a.m.k. eins mikið frávik og kemur fram í þeim 4, eða nota staðlaðar áhrifastærðir 5
Túlkun ómarktektar
Skoðum hólf 3 í töflu 1, niðurstöður eru ómarktækar svo við hugsum; p-gildið er yfir 0,05 –> prófið er ómarktækt –> við getum ekki hafnað núlltilgátu –> getum því ekki tekið upp aðaltilgátu –> við ályktum að það sé engin munur. Í þessu dæmi vitum við að það er í raun engin munur á launum eftir menntun, svo þessi ákvörðun er rétt.
Við getum þó ekki staðfest núlltilgátu, þó við náðum ekki að hafna henni, þá getum við heldur ekki fullyrt að hún sé endilega rétt. Ómarktækar niðurstöður segir bara að úrtakið okkar náði ekki að sýna fram á nógu mikinn mun á launum svo að þær niðurstöður þættu ólíklegar ef það væri í raun engin munur.
Fyrir það fyrsta er fjarstæðukennt að núlltilgátan sé virkilega rétt (þó við vorum að ímynda okkur slíkar aðstæður í hólfi 3 í töflu 1). Núlltilgáta sem segir að launamunur sé núll þýðir bókstaflega að munurinn þurfi að vera núll; ekki næstum því núll og ekki núll komma eitthvað – munurinn þyrfti að vera = 0,000…. Þriðju breytu áhrif útaf fyrir sig gera það að verkum að það er yfirleitt einhver fylgni á milli jafnvel ólíklegustu hluta.
Hugsum þetta út frá öðru sjónarhorni: Ef úrtakið okkar nær ekki að sýna fram á mun á milli hópa, þá þýðir það ekki að sá munur sé ekki raunverulega til staðar. Það þýðir bara að sá munur sem fannst í okkar úrtaki var ekki nægilega mikill miðað við úrtaksstærð til að við næðum tölfræðilegri marktækt.
Þannig hversu mikill þarf munurinn að vera og hversu stórt þyrfti úrtakið að vera, svo að marktektarprófið ætti yfirhöfuð séns á að staðfesta mun sem væri raunverulega er til staðar?
Loka pælingar um marktekt.
Þegar hingað er komið höfum við framkvæmt marktektarpróf, vitum hvort niðurstöður séu marktækar eða ómartækar og höfum því skýrt svar við spurningunni hvort munur sé á launum eftir menntun. Gefum okkur að prófið hafi verið marktækt:
Marktækur munur fannst á launum fólks eftir menntun þeirra.
Byggt á þessari staðhæfingu gæti ég hugsað “Glæsilegt – þannig ef ég mennta mig get ég búist við umtalsvert hærri launum fyrir vikið – annars væru niðurstöður ekki marktækar” Eða hvað? Þessi túlkun gæti verið rétt en það eru þó nokkur atriði til að huga að.
“þannig ef ég mennta mig……”
Marktækar niðurstöður þýða að það sé að jafnaði munur á launum hópanna – það er þó ekki þar með sagt að þær niðurstöður eigi við um alla. Það er munur á hópunum heilt yfir, en fyrir einn tiltekin einstakling er sennilega munur - en ekki endilega.
Sambærilegt dæmi væru þær niðurstöður að “fullorðnir séu að jafnaði hærri en börn”. Við skiljum þetta vel en áttum okkur líka á því að það eru vissulega til börn sem eru hávaxnari en en margir fullorðnir.
“…get ég búist við umtalsvert hærri launum fyrir vikið….”
Núlltilgátan okkar var H0: meðallaun háskólamenntaðra = meðallaun óháskólamenntaðra. Það er engin munur á launum = laun eru þau sömu fyrir báða hópa.
Þær aðaltilgátur sem við prófum geta verið stefnutilgátur (einhliða) eða stefnulausar (tvíhliða). Stefnulaus aðaltilgáta segir bara “það er munur” án þess að tilgreina í hvaða átt munurinn er, svo háskólamenntaðir gætu þess vegna fengið lægri laun. Stefnutilgáta tilgreinir hins vegar í hvaða átt munurinn liggur og væri þannig að prófa þá tilgátu að “háskólamenntaðir hafa hærri laun heldur en óháskólamenntaðir” (eða öfugt).
Við þurfum að passa að túlka marktektina í samræmi við þær tilgátur sem voru prófaðar.
“….annars væru niðurstöður ekki marktækar”
- Það er alltaf hætta á að við höfum rangt fyrir okkur (séum að gera höfnunarmistök). Annað tengt vandamál er að eftir því sem úrtakið er stærra þarf munurinn að vera þeim mun minni svo marktekt náist. Í smáum úrtökum gæti munur reynst ómarktækur þó þessi sami munur næði marktekt í stærra úrtaki (sjá dæmi í upphafi marktektarkafla).
Loka pælingin snýr að orðinu umtalsvert en marktekt segir aðeins hvort það sé munur en ekki hve mikill hann er, sem tekur okkur í næstu umfjöllun.
Footnotes
Sumar fræðigreinar miða við 0,01 (ef röng ákvörðun er t.d. tekin í stjarnfræði geta afleiðingar verið miklar). Aðrar fræðigreinar, þar sem mistök eru ekki eins alvarleg, geta miðað við 0,1.↩︎
Að hafa rangt fyrir okkur þýðir hér að við ályktum að það sé, eða sé ekki marktækur munur og að sú ákvörðun sé röng↩︎
Við ætlum ekki að gera það.↩︎
Við erum þá að skoða aðrar rannsóknir, þar sem viðfangsefni er svipað og úrtaksstærð er svipuð þeirri sem við ætlum okkur að safna til að fá hugmynd af því hve mikill munurinn er sem við þyrftum að finna til að sýna fram á marktekt.↩︎
Cohens d er dæmi um staðlaða áhrifastærð – þá er gefið viðmið um það hvaða áhrifastærð telst nógu mikil.↩︎