Toepassing van onderzoeksmethoden en statistiek

Deze samenvatting veronderstelt voorkennis van KOM en Wetenschapsfilosofie.

Dataverzameling

Modes

Eigenschappen van modes

• mate van betrokkenheid van de onderzoeker
• mate van interactie met de respondent
• hoeveelheid privacy
• vereisde technologie
• kosten
• drempel van deelname

Mixed-modes designs

• verschillende modes voor verschillende leeftijsgroepen
• verschillende modes voor werving en afname
• een andere mode voor gevoelige vragen
• herinneringen of follow-ups in een andere mode
• bij een lage response-rate opnieuw afnemen in een andere mode

Vragenlijst

Een vragenlijst bestaat uit vragen (‘items’), die worden uitgevraagd als meerkeuze (nominaal) of Likert-schaal (ordinaal). Samenvoegen van itemscores geeft een schaalscore (interval).

De Likert-schaal kan een even of oneven aantal opties hebben; even voorkomt dat respondenten overal ‘neutraal’ invullen, maar forceert wel een dichotome keuze die mogelijk onterecht is.

Survey lifecycle

flowchart LR
  W -.-> Respondenten
  H -.-> Vragenlijst
  Dataverzameling -.-> Antwoorden
  A -.-> Analyseren
  subgraph Theorie-data cyclus
  T[Theorie/idee] --> Onderzoeksvraag
  Onderzoeksvraag --> Onderzoeksontwerp
  Onderzoeksontwerp --> Hypothese
  Hypothese --> Dataverzameling
  Dataverzameling --> A[Data-analyse]
  end
  subgraph Onderzoeksontwerp
  W[Wie?]
  H[Hoe?]
  end
  subgraph Survey lifecycle
  Vragenlijst --> Vragenlijstontwerp
  Vragenlijstontwerp --> Respondenten
  Respondenten --> Antwoorden
  Antwoorden --> D[Datavoorbereiding]
  D --> Analyseren
  end

Interviews & focusgroepen

Observaties

Bestaande data

Fouten, effecten & bias

Fouten bij het gebruik van vragenlijsten

• Dekkingsfout: niet alle mensen uit de populatie staan op de lijst (het steekproefkader) die gebruikt wordt bij een aselecte steekproef. Je kan per definitie niet weten of er een dekkingsfout gemaakt wordt en hoe groot die is.

• Steekproeffout: de steekproef is niet representatief voor de populatie. Je kan de grootte van de steekproeffout niet weten, maar wel uitspraak doen over het gemiddelde van de steekproeffouten (de standaardfout). Waarbij grotere steekproef \(\implies\) kleinere \(\text{SE}\).

• Nonresponsefout: je krijgt geen antwoord van mensen die geselecteerd zijn in de steekproef. Twee soorten: bij een unit-nonresponse weigert een respondent de volledige vragenlijst, bij een item-nonresponse weigert de respondent een enkele vraag.

  Redenen kunnen zijn: technische problemen, gebrek aan motivatie, of gevoelige vragen.

• Response- of meetfout: vragen zijn verkeerd beantwoord door de respondent. Aantal oorzaken: mode van de vragenlijst (‘mode effect’), de vraagstelling (‘question bias’), de respondent (‘response bias’), de interviewer, of de omgeving.

  Er gaat ergens iets fout in het vraag-antwoordproces:

  flowchart LR
    Comprehension --> Retrieval
    Retrieval --> Judgement
    Judgement --> Response
  

  Veel voorkomende effecten:

  • Telescoopeffect: mensen hebben onbewust de neiging om de gevraagde periode iets te verlengen aan beide kanten. Wordt veroorzaakt door onzekerheid over terughalen van informatie uit het verleden; hoe langer geleden, hoe sterker het effect.

  • Volgorde-effect: eerdere vragen kunnen het antwoord op latere vragen beïnvloeden, doordat ze een bepaalde context creeëren. Oplossingen: het randomiseren van de volgorde (‘counterbalancing’).

  • Doorknob-effect: de respondent deelt belangrijke informatie als het interview nét klaar is (bij de deurknop op weg naar buiten). Oplossingen: opnameapparatuur aan laten staan tot respondenten zijn vertrokken.

  Vormen van ‘question bias’:

  • Leading questions: vragen die bepaalde woorden of context bevatten waardoor de respondent naar een bepaald antwoord gestuurd wordt.

  • Double barreled questions: vragen waarin twee dingen uitgevraagd worden, waardoor ze niet eenduidig beantwoord kunnen worden.

  Vormen van ‘response bias’:

  • Toegevendheid (‘acquiescence bias’): respondenten weten niet goed wat ze vinden, en beantwoorden de stellingen daarom maar met ja (‘yes-saying’).

  • Fence sitting: respondenten vermijden de extreme antwoordopties, ookal passen die eigenlijk wel goed, vooral als er veel opties zijn.

  • Straightlining: respondenten hebben geen zin meer om de vragenlijst in te vullen, en vullen daarom overal dezelfde optie in, vooral bij lange vragenlijsten.

  • Primacy effects: respondenten hebben de neiging om de opties bovenaan de lijst te kiezen, omdat ze deze het eerst en best lezen, vooral bij schriftelijke vragenlijsten.

  • Recency effects: respondenten hebben de neiging om de opties onderaan de lijst te kiezen, omdat ze deze het recents gehoord hebben en dus nog niet vergeten zijn, vooral bij telefonische vragenlijsten.

  • Sociale wenselijkheid: respondenten zijn niet bereid om eerlijk te antwoorden omdat ze bang zijn dat de onderzoeker of anderen slecht over ze gaan denken.

• Aanpassingsfout: de onderzoeker maakt een fout bij het opschonen van de data. De onderzoeker kan verkeerde correcties toepassen, verkeerde wegingen aan antwoorden toewijzen (bijv. bij een ondergerepresenteerde groep), of een fout maken bij imputatie.

  Bij imputatie worden ontbrekende gegevens geschat met een statistisch model, op basis van de antwoorden die wel gegeven zijn.

• Verwerkingsfout: de onderzoeker maakt een fout tijdens de data-analyse. De onderzoeker kan gegevens verkeerd invoeren of overnemen, fouten maken bij (her)coderen, of de verkeerde toets uitvoeren.

  Onder deze categorie vallen ook ethische fouten, zoals slecht omgaan met vertrouwelijke gegevens.

Fouten hoeven niet altijd een gevaar te vormen voor het onderzoek. Als er sprake is van een willekeurige fout (‘random error’), zal dat weinig invloed hebben op de resultaten. Echter, systematische fouten zorgen voor vertekening, en dan komt de validiteit in het geding.

Bedreigingen bij observartieonderzoek

• Reactiviteit (‘Hawthorne-effect’): door de aanwezigheid van de onderzoeker vertonen deelnemers geen normaal gedrag meer.

• Naturalisatie: door gewenning aan de aanwezigheid van de onderzoeker vertonen deelnemers weer normaal gedrag, ondanks aanwezigheid van de onderzoeker.

• Going native: door langdurige participatie verliest de onderzoeker diens rol uit het oog.

Bedreigingen voor interne validiteit

• Selectie-effecten: groepen zijn niet vergelijkbaar bij aanvang van het experiment; er zijn bestaande verschillen. Opgelost door randomisatie middels een aselecte steekproef.

• Leereffecten (‘maturation threat’): prestatie verbetert over tijd, los van manipulatie. Opgelost door het toevoegen van een controlegroep, of randomisatie van de volgorde (‘counterbalancing’).

• Volgorde-effecten: eerdere vragen kunnen het antwoord op latere vragen beïnvloeden, doordat ze een bepaalde context creeëren. Opgelost door randomisatie van de volgorde (‘counterbalancing’).

• History threat: externe gebeurtenissen beïnvloeden meting, los van manipulatie. Opgelost door het toevoegen van een controlegroep, of randomisatie van de volgorde (‘counterbalancing’).

• Regression to the mean: extremen waarden schuiven bij een tweede meting meestal richting het gemiddelde. Geen eenduidige oplossing, maar een effect waarvan je je bewust dient te zijn.

• Placebo: respondenten ervaren verandering door verwachtingen of de onderzoekscontext, los van manipulatie. Opgelost met een blind experiment, waarbij de respondent niet weet in welke conditie hij zit, en de controlegroep een ‘nepbehandeling’ krijgt.

• Demand characteristics: respondenten ‘willen’ dat het onderzoek slaagt en gedragen zich daardoor anders zodat de hypothese wordt bevestigd. Opgelost met een blind experiment, waarbij de respondent niet weet in welke conditie die zit.

• Observer bias: de onderzoeker ‘wil’ dat het onderzoek slaagt en doet daardoor bewust of onbewust subjectieve rapportage. Opgelost met een dubbelblind experiment, waarbij zowel de onderzoeker als de respondent niet weet in welke conditie die zit.

• Testing-effect: respondenten kennen soms het meetinstrument al (bijv. bij gepaarde of herhaalde metingen), en vullen antwoorden in uit hun geheugen. Geen eenduidige oplossing, maar een effect waarvan je je bewust dient te zijn.

• Instrumentation-effect: als je een ander instrument gebruikt zijn de pre- en posttest mogelijk niet vergelijkbaar. Geen eenduidige oplossing, maar een effect waarvan je je bewust dient te zijn.

Onderzoeksontwerpen

• Between-subjects (dwarsdoorsnede panel): proefpersonen worden met elkaar vergeleken.

  Voordelen

  • Geen volgorde-, testing- of leereffecten.
  • Lagere investering nodig, minder uitval (attrition).
  • Nuttig voor effecten op groepsniveau.

  Nadelen

  • Selectie-effecten en bestaande verschillen. Oplossingen: randomisatie.
  • Lagere power, meer observaties nodig. Oplossingen: grotere steekproef.

• Within-subjects (longitudinaal panel): proefpersonen worden met zichzelf vergeleken.

  Voordelen

  • Controlleert voor bestaande verschillen.
  • Kan leeftijds-, periode-, of cohort-effecten vinden.
  • Hogere power, minder observaties nodig. Goedkoper.
  • Nuttig voor effecten op individueel niveau.

  Nadelen

  • Volgorde-effecten. Oplossingen: counterbalancing.
  • Leereffecten. Oplossingen: counterbalancing.
  • Testing-effect.
  • Grotere investering nodig, meer uitval (attrition). Oplossingen: beloningen.

Databewerking

Filteren

Het is mogelijk om rijen (bijv. uitschieters) uit de dataset te filteren. Klik daarvoor in het data-overzicht bovenin op . Je kan dan R-code typen of visueel een filter samenstellen. Een filter kan bijv. zijn:

\[(id \neq 12) \land (id \neq 16)\]

Ompolen

Het is mogelijk om nieuwe kolommen/variabelen te berekenen met een formule op basis van andere kolommen/variabelen, klik daarvoor + aan de rechterkant. Je kan dit gebruiken om variabelen om te polen. Dat doe je door deze formule:

\[\text{minimale waarde} + \text{maximale waarde} - \text{naam van kolom}\]

Schaalscores

Je kan dezelfde techniek gebruiken om kolommen/variabelen voor schaalscores toe te voegen. Er zijn twee soorten schaalscores:

• Een somscore (\(\Sigma M\)) bereken je door \(Q_1 + Q_2 + Q_3 … Q_n\)
• Een gemiddelde (\(\Sigma M/ n\)) bereken je door \((Q_1 + Q_2 + Q_3 … Q_n) / n\)

De R-code voor het berekenen van een somscore is:

apply(data.frame(Q1, Q2, Q3), 1, mean, na.rm=True)

Het is ook mogelijk om een gewogen gemiddelde te berekenen. Daarbij tellen bepaalde vragen zwaarder mee dan anderen. Dit wordt niet behandeld bij TOE en is geen tentamenstof.

Data-analyse (kwantitatief)

Beschrijvende statistieken

Je kan beschrijvende statistieken opvragen voor één of meer variabelen opvragen via Descriptives Descriptive Statistics.

Het is ook mogelijk om te splitsen op een andere variabelen (via Split). Deze variabele mag maximaal 10 niveau’s hebben.

Frequentietabellen

Onder Tables Frequency tables is het mogelijk om frequentietabellen op te vragen. Ook hierbij mag de variabele maximaal 10 niveau’s hebben.

Grafieken

Je kan verschillende grafieken opvragen, afhankelijk van het meetniveau van de variabele:

• Categorische variabelen (nominaal, ordinaal)

  • Staafdiagram: Basic plots Distribution plots
  • Cirkeldiagram: Basic plots Pie charts

• Schaal variabelen (interval, ratio)

  • Histrogram: Basic plots Distribution plots
  • Boxplots: Customizable plots Boxplots
  • Spreidingsdiagram: Customizable plots Scatter plots

Correlatie

Een correlatie gebruik je om het verband tussen twee variabelen te bepalen. Je doet dit aan de hand van een visuele check en een Pearson- of Spearman-correlatiecoëfficient.

Voordat je een correlatiecoëfficient mag berekenen moeten eerst de voorwaarden gecheckt worden:

De voorwaardes van steekproef en meetniveau kan je bepalen zonder statistiek. Het soort verband bepaal je aan de hand van een spreidingsdiagram.

Dit doe je door: Descriptives Descriptive Statistics, en kies twee variabelen. Plot daarna een spreidingsdiagram via Customizable plots Scatter plots.

Als er sprake is van een linear verband mag je een Pearson-correlatie bepalen, anders alleen een Spearman-correlatie. Beide doe je via Regression Classical Correlation. Je kiest dan onder Sample Correlation Coefficient (linkerkolom) voor Pearson’s r of Spearmans’s rho.

Na het selecteren van de variabelen zie je de correlatiematrix. Bij twee variabelen is die makkelijker leesbaar als je Display pairwise aanvinkt. In de tabel staat de \(r\) of \(\rho\) met de bijbehorende \(p\)-waarde.

Betrouwbaarheidsanalyse

Een betrouwbaarheidsanalyse gebruik je om de onderlinge samenhang van items in een meetinstrument (bijv. vragenlijst) te checken. Je doet dit aan de hand van Cronbach’s alpha (\(\alpha\)).

Om een betrouwbaarheidsanalyse uit te voeren ga je naar Reliability Unidimensional Reliability, en kies je alle variabelen van het meetinstrument.

Soms duurt het heel lang om de betrouwbaarheidsanalyse uit te voeren, of lukt het helemaal niet. Gebruik dan Advanced Confidence Intervals Bootstrapped Interval.

De betrouwbaarheidsanalyse geeft twee resultaten: een Cronbach’s \(\alpha\) en een tabel met items. In de tabel laat de item-rest correlation (ookwel \(rit\)-waarde) zien hoe sterk een item samenhangt met de rest, en de Cronbach’s alpha if dropped laat zien wat er \(\alpha\) zou gebeuren als het item verwijderd zou worden.

Als \(rit < .20\) en \(\alpha\) sterk stijgt bij verwijderen, moet een item verwijderd worden. Je haalt het item dan uit de betrouwbaarheidsanalyse, en neemt het niet meer mee in het berekenen schaal­scores. Houdt hierbij wel rekening met de inhoudelijke en subjectieve relevantie van het item.

Alle data in de tabel staat met elkaar in samenhang. Het is daarom uitermate belangrijk dat er maximaal één item per keer wordt verwijderd!

Voor de interpretatie van Cronbach’s \(\alpha\) geldt binnen de sociale wetenschappen:

Dit is afhankelijk van de consequenties bij foute interpretatie. Voor medisch onderzoek zou je waarschijnlijk een hogere grenswaarde hanteren dan binnen de sociale wetenschappen.

Regressie

Bij regressie maak je een model waarmee je op basis van één of meer predictorvariabelen voorspellingen kan doen over een andere variabele. We noemen de predictorvariabelen onafhankelijk (\(x\)-as), en de voorspelde variabele afhankelijk (\(y\)-as). Bij enkelvoudige regressie (SLR) is één predictorvariabele, bij meervoudige regressie (MLR) zij er meerderen.

Assumpties

Voordat je een regressie mag uitvoeren moeten eerst de voorwaarden gecheckt worden:

“Gelijke spreiding”, “homogeniteit van variantie” en “homoscedasticiteit” betekenen hetzelfde. In deze samenvatting gebruik ik overal “gelijke spreiding” omdat ik dat het makkelijkst te begrijpen vind.

De voorwaarde van meetniveau kan je bepalen zonder statistiek. De uitschieters en spreiding kan je opvragen: (Over de normaliteit werd niks gezegd in het hoorcollege of de Grasples.)

• De lineariteit controlleer je via Descriptives Descriptive Statistics. Kies de afhankelijke variabele en split op de onafhankelijke variabele (doe dit per predictorvariabele).

  ^*Deze voorwaarde is alleen geschonden als er een duidelijk ander verband zichtbaar is. Als er geen verband zichtbaar is is de voorwaarde niet geschonden.

• Uitschieters controlleer je via Descriptives Descriptive Statistics. Kies de afhankelijke variabele. Vraag dan via Customizable plots Boxplots een boxplot op, en doe een visuele check.

• De normaliteit controlleer je via Residual plots Residuals histogram tijdens de analyse zometeen. Doe een visuele check op de histogram.

• De spreiding controlleer je via Residual plots Residuals vs. predicted tijdens de analyse zometeen. Het is goed als er geen duidelijk patroon (bijv. driehoek, bowtie etc.) in de diagram zit.

Analyse uitvoeren

Je voert een regressie uit via Regression Classical Linear Regression. Je kiest dan bij Dependent Variable de afhankelijke variabele en bij Covariates de onafhankelijken.

Resultaten interpreteren

De regressie geeft drie resultaten:

• In Model Summary zijn drie waardes te zien (gecorrigeerde \(R^2\) mag je negeren):

  • \(R\) is de Pearson-correlatiecoëfficient tussen de variabelen bij enkelvoudige regressie, en mag je negeren bij meervoudige regressie.
  • \(R^2\) is de effectgrootte: het percentage van de variantie (op de afhankelijke variabele) die door het model verklaard kan worden.
  • \(\text{RMSE}\) (Root Mean Squared Error) is de standaardschattingsfout, die aangeeft hoe accuraat de voorspellingen van ons model zijn.

  De \(\text{RMSE}\) geeft de nauwkeurigheid van het model, de \(R^2\) geeft de relevantie.

• In ANOVA staat een \(F\)-toets die de significantie van het model checkt.

  Hypotheses

  \(H_0: \rho = 0\) en \(H_A: \rho > 0\)

• In Coefficients geeft ons coëfficienten per predictorvariabele:

  • Unstandardized (\(b\)) geeft aan hoeveel punten de afhankelijke variabele stijgt als de predictorvariabele met één punt toeneemt. We noemen dit de richtingscoëfficient.

  • Standardized (\(\beta\)) geeft aan hoeveel \(\text{SD}\) de afhankelijke variabele stijgt als de predictorvariabele met één \(\text{SD}\) toeneemt. Wordt gebruikt voor de \(t\)-toets, die aangeeft of de richtingscoëfficient invloed heeft (aka significant verschilt van nul).

    Hypotheses

    \(H_0: \beta = 0\) en \(H_A: \beta \neq 0\)

  Daarnaast staan er nog een aantal waardes in deze tabel:

  • \(M_0\) (Intercept) is de beste voorspelling zonder predictorvariabelen.
  • \(M_1\) (Intercept) is het snijpunt van het model en de \(y\)-as (later aangegeven met \(b_0\)).

Dus de \(F\)-toets uit ANOVA geeft de significantie van het gehele model, en de \(t\)-toets uit Coefficients geeft de significantie van individuele predictorvariabelen.

Formule opstellen

Mits significant, kan je het model weergeven als wiskundige functie in de vorm \(y = ax + b\):

\[\hat{y} = b_0 + b_1 x_1 + b_2 x_2 + b_3 x_3 … b_n x_n\]

Waarbij \(b_0\) het snijpunt met de \(y\)-as is, \(b_n\) de richtingscoëfficient van de predictorvariabele, en \(x_n\) de waarde van de predictorvariabele. Het dakje geeft aan dat het om een voorspelling gaat.

Data-analyse (NHST)

\(t\)-toets

Een \(t\)-toets gebruik je om twee groepen met elkaar te vergelijken, bij between-subjects designs. Als er sprake is van onafhankelijke groepen mag je de Indepentent Samples T-Test uitvoeren, bij afhankelijke groepen (bijv. bij gepaarde of herhaalde metingen) gebruik je de Paired Samples T-Test.

Assumpties

Voordat je een \(t\)-toets mag uitvoeren moeten eerst de voorwaarden gecheckt worden:

De voorwaardes van steekproef, onafhankelijkheid en meetniveau kan je bepalen zonder statistiek. De verdeling en spreiding kan je opvragen:

• De normaliteit controlleer je via Descriptives Descriptive Statistics. Kies de afhankelijke variabele en split op de onafhankelijke variabele. Vraag dan via Basic plots Distribution plots een histogram op, en doe een visuele check.

• De spreiding controlleer je ook via Descriptives Descriptive Statistics. Kies weer de afhankelijke variabele en split op de onafhankelijke variabele. Vraag nu een boxplot op via Customizable plots Boxplots, en check of de IQR ongeveer gelijk zijn.

• Het is ook mogelijk om de spreiding te controlleren aan de hand van de \(\text{SD}\). Dit kan via Descriptives Descriptive Statistics of door zometeen bij de analyse Descriptives aan te vinken. Als de \(\text{SD}\)’s ongeveer gelijk zijn is het goed.

Analyse uitvoeren

Je voert een \(t\)-toets uit via T-Tests Classical Indepentent Samples T-Test of Paired Samples T-Test. Je kiest dan bij Dependent Variables de afhankelijke variabele en bij Grouping Variable de onafhankelijke.

Resultaten interpreteren

De \(t\)-toets geeft een \(t\)-waarde en bijbehorende \(p\)-waarde. Deze interpreteer je aan de hand van het gekozen significantieniveau (\(\alpha\)). Bij een gerichte hypothese controlleer je eerst de richting en halveer je vervolgens de opgevraagde \(p\)-waarde.

Als het verschil significant is, kan je ook de effectgrootte opvragen door onder Cohen’s d aan te vinken onder Additional Statistics Effect size.

Voor de interpretatie van effectgroottes geldt binnen de sociale wetenschappen:

ANOVA

Een ANOVA (‘analysis of variance’) gebruik je om meer dan twee groepen met elkaar te vergelijken, bij between- en within-subjects designs.

Verschillende soorten ANOVA

Er zijn een aantal verschillende soorten ANOVA:

• Een- vs meerweg: Bij een eenweg ANOVA is er één onafhankelijke variabele met drie of meer niveaus. In een meerweg ANOVA zijn meerdere onafhankelijke variabelen.

  Meerweg ANOVA wordt niet behandeld in TOE en zijn geen tentamenstof.

• Omnibus vs herhaald: Bij een omnibus ANOVA moeten groepen onafhankelijk zijn. Je gebruikt dit voor between-subject designs. In het geval van afhankelijke groepen (bijv. bij gepaarde of herhaalde metingen) gebruiken we een ANOVA voor herhaalde metingen. Je gebruikt dit bij within-subject designs.

  De ANOVA voor herhaalde metingen wordt in een volgende sectie toegelicht.

• Geplande contrasten: Een ANOVA is standaard ongericht: je hebt vooraf geen verwachting welke groep van de rest zal verschillen. In een ANOVA met geplande contrasten heb je wél een verwachting. Je kan geplande contrasten gebruiken bij zowel een omnibus ANOVA als een ANOVA voor herhaalde metingen.

  De ANOVA met geplande contrasten wordt ook in een volgende sectie toegelicht.

Assumpties

Voordat je een ANOVA mag uitvoeren moeten eerst de voorwaarden gecheckt worden. Deze zijn hetzelfde als bij de \(t\)-toets.

De voorwaardes van steekproef, onafhankelijkheid en meetniveau kan je bepalen zonder statistiek. De verdeling en spreiding vraag je op dezelfde manier op als bij een \(t\)-toets. De uitschieters lees je uit in de boxplot. Bij schending gelden ook dezelfde regels als bij de \(t\)-toets.

Analyse uitvoeren

Je voert een ANOVA uit via ANOVA Classical ANOVA. Je kiest dan bij Dependent Variables de afhankelijke variabele en bij Fixed Factors de onafhankelijke.

Het is ook mogelijk om de voorwaarden te checken via de ANOVA zelf. Klik daarvoor op Raincloud Plots. In de raincloud zie je een scatterplot, boxplot en glooiende curves. Controlleer de spreiding met de IQR, de normaliteit met de glooiende curves, en uitschieters door te kijken of er punten buiten de “staart” van de boxplot liggen.

Resultaten interpreteren

De ANOVA geeft een \(F\)-waarde en bijbehorende \(p\)-waarde. Deze interpreteer je aan de hand van het gekozen significantieniveau (\(\alpha\)).

Als het verschil significant is, kan je ook de effectgrootte opvragen door onder \(\eta^2\) aan te vinken onder Estimates of effect size.

Voor de interpretatie van effectgroottes geldt binnen de sociale wetenschappen:

De ANOVA laat zien aan dat een groep verschilt van de rest, maar vertelt niet welke groep (of groepen). Om dit te bepalen gebruik je een post-hoc toets of geplande contrasten.

Post-hoc toetsen

Bij een ongerichte hypothese gebruik je een post-hoc toets om te bepalen welke groepen van de rest verschillen. Je voert een post-hoc toets uit via Post Hoc Tests.

De post-hoc toets geeft een tabel met een \(p_{bonf}\)-waarde per twee-bij-twee vergelijking. Deze interpreteer je aan de hand van het gekozen significantieniveau (\(\alpha\)). Bij een gerichte hypothese controlleer je eerst de richting en halveer je vervolgens \(p_{bonf}\).

Geplande contrasten

Bij een gerichte hypothese gebruik je geplande contrasten. Je vergelijkt dan alleen specifieke groepen. Je hoeft daardoor niet alle groepen met elkaar te vergelijken, waardoor er geen kanskapitalisatie is, en dus ook geen Bonferroni-correctie nodig is. Daardoor is de power van geplande contrasten veel hoger dan bij een post-hoc toets.

Voor contrasten kies je bij Contrasts het type contrast. Er zijn drie soorten:

• Simple contrasts: alle groepen worden met één groep vergeleken, meestal de controlegroep. Je krijgt dan \(n - 1\) vergelijkingen (waar \(n\) het aantal groepen is).

• Repeated contrasts: alle groepen worden vergeleken met de volgende groep (bijv. A vs B, B vs C, C vs D), vooral nuttig voor onafhankelijke variabelen op ordinaal meetniveau. Je krijgt ook hier \(n - 1\) vergelijkingen (waar \(n\) het aantal groepen is).

• Custom contrasts: je bepaalt zelf welke groepen je met elkaar vergelijkt. Je gebruikt hiervoor contrastgewichten. Om dit te doen herleidt je je hypothese op nul, want een ANOVA kan alleen controlleren of iets nul is of groter dan nul.

  Voorbeeld

  \[H_0: \mu_1 > \mu_2 \implies\] \[H_0: \mu_1 - \mu_2 > 0\]

  De contrast gewichten worden dan \(1\) voor \(M_1\), \(-1\) voor \(M_2\), en \(0\) voor alle anderen.

Als deze \(p\)-waarde van de ANOVA lager is dan het significantieniveau (\(\alpha\)) kan je de Contrasts tabel gebruiken om te zien welke contrasten significant zijn.

ANOVA voor herhaalde metingen

Een ANOVA voor herhaalde metingen gebruik je om een groep met zichzelf te vergelijken.

De manier waarop de data gestructureerd is verschilt bij dit type ANOVA:

• Bij een normale ANOVA worden proefpersonen met elkaar vergeleken. Er is kolom voor de score en voor de conditie, waarbij er drie of meer mogelijke waardes voor de conditie zijn, en de respondent bij één van deze condities hoort. Bijvoorbeeld:

  ID	Schaalscore	Conditie
  1	23	Groep A
  2	42	Groep C
  3	12	Groep B
  4	18	Groep B

• Bij een ANOVA voor herhaalde metingen worden proefpersonen met zichzelf vergeleken. Er is per conditie een kolom die de score bevat, en elke respondent hoort dus bij alle condities. Bijvoorbeeld:

  ID	Pretest	Posttest	Followup
  1	23	35	27
  2	42	53	44
  3	12	22	21
  4	18	19	18

Assumpties

Voordat je een ANOVA voor herhaalde metingen mag uitvoeren moeten eerst de voorwaarden gecheckt worden. Deze verschillen deels van die voor een standaard ANOVA.

De eis voor homoscedasticiteit (homogeniteit van variantie) is vervangen met sfericiteit (homogeniteit van variantie van verschilscores).

• Bij homoscedasticiteit mogen de scores tussen respondenten binnen een conditie niet te sterk verschillen, maar tussen condities wel.

• Bij sfericiteit mogen de scores tussen respondenten binnen een conditie wél sterk verschillen, zolang het verschil tussen de condities maar ongeveer gelijk is.

Je controlleert de sfericiteit met een Mauchly-test. Als de Mauchly-test significant is, is de sfericiteit geschonden (dus je wil dat deze niet significant is).

De ernst van de schending wordt aangegeven door de effectgrootte \(\epsilon\), met \(0 < \epsilon < 1\), waarbij \(\epsilon = 1\) volledige sfericiteit is. Aan de hand van \(\epsilon\) worden verschillende correcties toegepast:

• Greenhouse-Geisser correctie voor ernstige schendingen (\(\epsilon \leq 0.75\)).
• Huyn-Feldt correctie bij gematigde schendingen (\(\epsilon \gt 0.75\)).

Een ander soort correctie is de MANOVA, maar deze wordt niet behandeld bij TOE is is geen tentamenstof.

Analyse uitvoeren

Je voert een ANOVA voor herhaalde metingen uit via ANOVA Classical Repeated Measures ANOVA. Je sleept vervolgens de variabelen voor verschillende condities naar Repeated Measures Cells.

Je voert de Mauchly-test uit via Assumption Checks Sphericity tests. Je gebruikt de hoogste waarde voor \(\epsilon\) die in de resultatentabel staat. Als er een correctie nodig is kan je die ook onder Sphericity tests aanklikken.

Data-analyse (Bayesiaans)

Bij alle analyses tot nu toe heb je NHST gebruikt. Bij NHST maak je een dichotome beslissing over het al dan niet verwerpen van de nulhypothese, op basis van een \(p\)-waarde.

Een andere manier om hypotheses te toetsen is Bayesian Hypothesis Evaluation (BHE). Bij BHE is er geen \(p\)-waarde, maar een Bayes Factor (\(BF\)), die uitdrukt hoe goed een hypothese bij de data past (“fit”). Daarbij wordt ook de specificiteit van de hypothese meegenomen.

We bepalen de Bayes factor aan de hand van Posterior Model Probabilities (\(\text{PMP}\)). Die geven de fit weer als een factor, waarbij \(0 < \text{PMP} < 1\). Samen tellen ze op tot \(1\).

\[BF_{01} = \text{PMP}_0 / \text{PMP}_1\] \[BF_{10} = \text{PMP}_1 / \text{PMP}_0\] \[\text{PMP}_1 + \text{PMP}_0 = 1\]

Hoe verder de \(\text{PMP}\)’s uit elkaar liggen, hoe groter de \(BF\) wordt, hoe makkelijker dus de interpretatie van de resultaten.

Daarbij is \(\text{PMP}_0\) de kans op een conditionele type I fout: kiezen we \(H_1\), is \(\text{PMP}_0\) de kans dat we dat onterecht doen. Andersom is \(\text{PMP}_1\) de kans op een conditionele type II fout; kiezen we \(H_0\), is \(\text{PMP}_1\) de kans dat we dat onterecht doen.

Bij NHST nemen we de nulhypothese als uitgangspunt. Hebben we voldoende bewijs tegen, dan verwerpen we de nulhypothese. Bij BHE is de data het uitgangspunt, en kiezen we welke hypothese de beste fit heeft. Dit is genuanceerder, dus ook moeilijker te interpreteren.

Bayesiaanse \(t\)-toets

Analyse uitvoeren

Je voert een Bayesiaanse \(t\)-toets uit via T-Tests Bayesian Indepentent Samples T-Test of Paired Samples T-Test. Je kiest dan bij Dependent Variables de afhankelijke variabele en bij Grouping Variable de onafhankelijke, en selecteert de alternatieve hypothese onder Alternative Hypothesis.

Resultaten interpreteren

De \(t\)-toets geeft \(BF_{01}\) en \(BF_{10}\), en bijbehorende \(\text{PMP}\)’s. Deze interpreteer je zoals hierboven.

Bain ANOVA

Je voert een Bayesiaanse ANOVA uit via Bain ANOVA ANOVA. Je kiest dan bij Dependent Variables de afhankelijke variabele en bij Fixed Factors de onafhankelijke.

Er zijn twee manieren om een ANOVA uit te voeren:

• Exploratief (ongericht): je hebt vooraf geen verwachting. Bij NHST: omnibus ANOVA.
• Confirmatief (gericht): je hebt vooraf wel een verwachting. Bij NHST: ANOVA met geplande contrasten.

Bij Bain ANOVA is dit verschil minder groot. Er zijn altijd hypotheses; je kiest zelf om alleen de nulhypothese te toetsen (ongericht), of om ook alternatieve hypotheses te toetsen (gericht).

Je kan hypotheses invullen via Model Constraints. De nulhypothese is standaard al voor je ingevuld. Om de analyses opnieuw uit te voeren met de ingevulde hypotheses, doe je Command + Enter (MacOS) of Control + Enter (Windows of Linux).

De ingevulde hypotheses worden genummerd van \(H_0\) tot \(H_n\). Er worden daar nog twee hypotheses automatisch aan toegevoegd:

• \(H_u\) (‘unconstrained’): elke mogelijke volgorde, inclusief de gespecificeerde hypotheses.
• \(H_c\) (‘complement’): elke volgorde die nog niet bij de gespecificeerde hypotheses staat.

  De \(H_c\) is het complement van de set van hypotheses. Dat zijn alle hypotheses die niet gespecificeerd waren. Daarnaast heeft elke hypothese een eigen complement. Dat zijn alle hypotheses behalve die specifieke hypothese. Dat wordt aangegeven met \(H_{c,n}\).

Je krijgt daarom twee \(BF\) waardes:

• \(BF_{.u}\) vergelijkt \(H_n\) en \(H_u\). Deze gebruik je om hypotheses onderling te vergelijken, want \(H_u\) is voor alle hypotheses hetzelfde.

• \(BF_{.c}\) vergelijkt \(H_n\) en \(H_{c,n}\). Deze gebruik je om een afzonderlijke hypothese te evalueren.

Andere waardes kan je berekenen door de \(BF_{.u}\) waardes voor hypotheses door elkaar te delen:

\[BF_{34} = BF_{3u} / BF_{4u}\]

Er zijn drie soorten \(\text{PMP}\)’s:

• \(\text{PMP}_a\) geeft de kans tenopzichte van de set gespecificeerde hypotheses. Deze gebruik je als je set allesomvattend is (alle mogelijkheden bevat).
• \(\text{PMP}_b\) geeft de kans tenopzichte van de unconstrained set. Deze gebruik je als je meerdere competing hypotheses evalueert.
• \(\text{PMP}_c\) geeft de kans tenopzichte van de complement set. Deze gebruik je als je een afzonderlijke hypothese evalueert.

Data-analyse (kwalitatief)

In kwalitatief onderzoek wordt tekstuele data geanalyseerd aan de hand van codes. Dit gaat in twee stappen:

• Decoding: achterhalen wat bedoeld werd door een respondent.
• Encoding: codes toewijzen die betekenis samenvatten.

Er zijn drie soorten codes:

• Attribute codes geven demografische gegevens en achtergrondkenmerken aan.
• Index codes dienen als bladwijzers om de data gemakkelijk te navigeren.
• Analytic codes vatten de betekenis van wat de respondent zegt samen.

Welke analytische codes gebruikt worden hangt af van het type onderzoek:

• Inductief: theorievorming op basis van data. Codes wordt “gegenereerd” door de data.
• Deductief: theorietoetsing aan de hand van data. Codes komen uit het theoretisch kader.
• Abductief: interatief proces waarin eerst inductief een theorie wordt gevormd, en deze vervolgens met nieuwe data deductief wordt getoetst. Codes komen uit de eerste dataset.

Bij kwalitatief is een representatieve steekproef niet gewenst. Je wil juist een zo’n groot mogelijke verscheidenheid, om alle uitingsvormen te kunnen onderzoeken. Het doel is namelijk geen generaliseerbaarheid, maar een breed dekkend theoretisch model.

Daarom ga je expliciet op zoek naar negative cases (soort “uitschieters” of “outliers”): de gevallen die niet passen bij de voorlopige theorie.

Inductieve analyse

Bij een inductieve data-analyse maak je gebruik van grounded theory. Dat houdt in dat de theorie zich vormt uit de data. De codes bedenk je ook tijdens het coderen, wanneer je ze nodig hebt. Het codeerproces gaat in drie stappen:

• Open coding: de eerste stap gaat over het reduceren van de data, en overzicht creeëren. In deze stap maak je de meeste nieuwe codes, en identificeert je topics. Het is belangrijk dat je nog geen structuur aanbrengt in de codes.

• Axial coding: de tweede stap gaat wél over het structureren van de codes. In deze stap identificeer je overkoepelende thema’s, en breng je een hiërachie aan in de codes.

• Selective coding: de derde stap gaat over het bouwen van een model. Je probeert “de puzzel op te lossen” en een antwoord te vinden op je onderzoeksvraag.

Een fase wordt afgerond als theoretische saturatie bereikt is: nieuw data voegt geen nieuwe informatie meer toe. Dat betekent:

• Bij open coding: uit nieuwe data volgen geen nieuwe codes.
• Bij axial coding: uit nieuwe data volgen geen nieuwe definities of structuur.
• Bij selective coding: uit nieuwe data volgen geen consequenties voor de theorie.

Gedurende dit hele proces is er constant comparison. Dat houdt in dat je bij elke actie naloopt of je geen dubbele codes introduceert, of codes niet moeten worden samengevoegt of juist uitgesplitst, en of de structuur nog klopt. Dit voorkomt dat de laatste data bepalend wordt.

Theoriegebruik (inductief)

flowchart BT
  D[Data]-- wordt gebruikt om te informeren over -->L[Theorie/literatuur]

Theoriegebruik (abductief)

flowchart BT
  D[Data]-- wordt gebruikt om te informeren over -->L[Theorie/literatuur]
  L-- maakt sensitief en vormt lens voor verzamelen van -->D

Deductieve analyse

Bij deductieve data-analyse maak je gebruik van een categorisatiematrix. Die bevat vooraf opgestelde thema’s, op basis van de theorie. Deze tabel wordt vervolgens per respondent ingevuld, en dan wordt deze vergeleken met de theorie. We noemen dit “de fit bepalen”.

Het kan zijn dat je tijdens de data-verwerking niet-passende data tegenkomt. Deze geef je dan tijdelijk een label. Je kan deze gebruiken om achteraf inductief thema’s toe te voegen aan de matrix, of gebruiken om de tekortkomingen van de matrix te documenteren in de discussie.

Theoriegebruik

flowchart TB
  L[Theorie/literatuur] --> V[Hypotheses opstellen]
  V --> D[Data]
  D --> T[Hypotheses toetsen]
  T --> V

Ethiek

Kwesties in kwalitatief onderzoek

Het kan zijn dat er bedoeld of onbedoeld gevoelige persoonlijke informatie wordt gedeeld in kwalitatief onderzoek. We kunnen deze kwesties opdelen in drie categorieën:

Perspectieven

• Utilitatian (‘teleologie’): kijkt naar de actie, de consequenties, en weegt de kosten en baten van tegen elkaar af. Daarin is het grotere goed belangrijker. Als de actie tot een betere wereld leidt dan is het goed, zo niet is het slecht.

  “Persoon A heeft geen recht om het medicijn te stelen. De actie van Persoon A levert geen betere uitkomst voor de maatschappij op.”

• Universalisme (‘deontologie’): kijkt naar de actie, en toetst deze tegen altijd en overal geldende regels. Als de actie goed is dan is het goed, als de actie slecht is dan is het slecht.

  “Persoon A stal het medicijn, en het is zeer simpel: stelen is fout, te allen tijde. Wat Persoon A deed is fout.”

• Virtue ethics: kijkt naar de persoon, een goed persoon doet goede dingen. De actie zelf is irrelevant. Als een persoon van nature goed is, is de actie goed. Als de persoon van nature slecht is, is de actie slecht.

  “Persoon A is van nature (g)een goed person. Wat A deed is daarom (niet) goed.”

• Relational ethics: kijkt naar de persoon, en naar machtsverhoudingen. Op basis daarvan wordt bepaald of de actie wel of niet goedgekeurd kan worden:

  “Gezien de rol van Persoon A in de maatschappij, is de actie …”

• Casuistry: kijkt naar de casus, en eerdere beslissingen genomen in vergelijkbare casussen (soort “jurisprudentie”). Op basis daarvan wordt een oordeel geveld over de huidige situatie.

  “In eerdere situaties werd het afgekeerd als mensen iets stalen, zelfs als het in het belang van anderen was. Daarom is wat Persoon A deed fout.”