Affidabilità negli esperimenti di psicologia

Fonte: Laboratori di Gary Lewandowski,Dave Strohmetz e Natalie Ciarocco—Monmouth University

Per studiare qualcosa scientificamente, un ricercatore deve determinare un modo per quantificarlo. Tuttavia, i costrutti psicologici possono essere difficili da misurare e quantificare. Questo video esamina l'affidabilità nel contesto dell'analisi dei contenuti.

Un recente studio sulla rivista Pediatrics ha riferito che i bambini di 4 anni che guardavano un cartone animato frenetico avevano prestazioni peggiori su compiti cognitivi, come seguire le regole in un gioco, ascoltare la direzione di un adulto e ritardare la gratificazione, rispetto ad altri bambini che guardavano un cartone animato dal ritmo più lento. ¹ Oltre al ritmo del cartone animato, il contenuto del cartone animato può anche avere effetti deleteri sui suoi giovani spettatori.

Questo video utilizza un semplice design a due gruppi, per esemplificare la questione dell'affidabilità, nell'esaminare la questione se il cartone animato SpongeBob SquarePants abbia più contenuti inappropriati rispetto al cartone animato Caillou.

1. Definire le variabili chiave.

1. Creare una definizione operativa(cioèuna chiara descrizione di ciò che un ricercatore intende esattamente con un concetto) di contenuti inappropriati.
2. Consulta le definizioni create dall'organizzazione TV Parental Guidelines e approvate dalla Federal Communications Commission.
3. Il contenuto inappropriato è qualsiasi comportamento rozzo o maleducato(ad esempio,umorismo da toilette), rappresentazioni di aggressioni verbali o fisiche(ad esempio,chiamare il nome, colpire, ecc.),Linguaggio volgare(ad esempio,parolacce) o riferimenti all'uso di droghe, violenza o sesso.

2. Creare categorie di codifica dalla definizione operativa di contenuti inappropriati.

1. Progettare un processo sistematico per i partecipanti alla ricerca (indicati qui come i valutatori) per identificare le istanze del comportamento mirato e inappropriato (vedere Tabella 1).

Tabella 1. Esempio di come registrare istanze di comportamenti inappropriati. Questo registro può essere utilizzato sistematicamente tra ivalutatori.

3. Istruisci i valutatori a guardare separatamente lo stesso episodio di SpongeBob SquarePants e fornire conteggi di codifica.

4. Istruisci i valutatori a guardare separatamente lo stesso episodio di Caillou e fornire conteggi di codifica.

5. Confronta le valutazioni per vedere se i Valutatori hanno venire con valutazioni simili per ogni spettacolo.

1. L'affidabilità è la capacità di misurare in modo coerente la variabile: contenuto inappropriato.
2. L'affidabilità inter-rater è la capacità per più di una persona di misurare le variabili e per le loro misurazioni di essere in accordo.

I risultati indicano che i valutatori avevano un alto livello di accordo o coerenza nelle loro valutazioni all'interno di ciascun episodio del cartone animato, il che indica un'elevata affidabilità inter-rater (Figura 1). C'è anche affidabilità o coerenza negli episodi di SpongeBob SquarePants che hanno contenuti più inappropriati di Caillou. I risultati hanno anche rivelato pregiudizi individuali tra i valutatori. Ad esempio, Rater 3 ha riportato più contenuti inappropriati in SpongeBob rispetto agli altri 2 valutatori e Rater 1 ha riportato meno in Caillou rispetto ad altri valutatori.

Figura 1. Istanze di contenuti inappropriati per valutatore e cartone animato per gli episodi 1 (in alto) e 2 (in basso).

I ricercatori hanno rivolto sempre più la loro attenzione verso l'analisi dei contenuti televisivi, soprattutto per quanto riguarda i bambini. Come discusso prima di questo esperimento attuale, un recente studio sulla rivista Pediatrics ha correlato il ritmo veloce del cartone animato SpongeBob SquarePants a capacità cognitive relativamente scarse nei bambini che lo guardano.

Poiché i risultati del nostro esperimento sembrano affidabili, la ricerca futura potrebbe esaminare se la quantità relativa di contenuti inappropriati in SpongeBob è anche (o in alternativa) responsabile delle minori prestazioni cognitive dei bambini dopo la visione.

Una delle applicazioni più importanti dell'affidabilità è nell'uso di strumenti di rilevamento. I ricercatori devono essere sicuri che i partecipanti risponderanno in modo coerente a ciascuno degli elementi in una particolare scala. Cioè, in una misura di 5 elementi della soddisfazione della vita, i partecipanti dovrebbero rispondere ai punti 1 e 2 in modo in qualche modo simile a come rispondono alle domande 3, 4 e 5.  Inoltre, i ricercatori vogliono assicurarsi che le loro misurazioni in un esperimento siano coerenti nel tempo. Quindi, se un ricercatore sta usando la dilatazione della pupilla per indicare l'interesse per uno stimolo, il ricercatore deve essere sicuro che la dilatazione della pupilla sia un indicatore coerente di interesse.

1. Lillard, A. S., & Peterson, J. The Immediate Impact of Different Types of Television on Young Children's Executive Function. Pediatrics. 128(4):644-9. doi: 10.1542/peds.2010-1919 (2011).