Confiabilidade em Experimentos de Psicologia

Fonte: Laboratórios de Gary Lewandowski, Dave Strohmetz, e Natalie Ciarocco - Universidade de Monmouth

Para estudar algo cientificamente, um pesquisador precisa determinar uma maneira de quantificá-lo. No entanto, construções psicológicas podem ser desafiadoras para medir e quantificar. Este vídeo examina a confiabilidade no contexto da análise de conteúdo.

Um estudo recente na revista Pediatrics relatou que crianças de 4 anos que assistiram a um desenho animado rápido tiveram pior desempenho em tarefas cognitivas, como seguir regras em um jogo, ouvir a direção de um adulto e atrasar a gratificação, em comparação com outras crianças que assistiram a um desenho animado mais lento. ¹ Além do ritmo do desenho animado, o conteúdo do desenho animado também pode ter efeitos deletérios em seus jovens espectadores.

Este vídeo usa um design simples de dois grupos, para exemplificar a questão da confiabilidade, ao examinar a questão de saber se o desenho animado Bob Esponja SquarePants tem conteúdo mais inapropriado do que o desenho animado Caillou.

1. Defina as variáveis-chave.

1. Crie uma definição operacional (ou seja,uma descrição clara do que um pesquisador significa por um conceito) de conteúdo inadequado.
2. Consulte definições criadas pela organização TV Diretrizes Parentais e aprovadas pela Comissão Federal de Comunicações.
3. Conteúdo inadequado é qualquer comportamento grosseiro ou rude (por exemplo,humor do banheiro), representações de agressão verbal ou física (por exemplo,xingamentos, acertos, etc.),linguagem ruim(por exemplo,palavrões), ou referências ao uso de drogas, violência ou sexo.

2. Criar categorias de codificação a partir da definição operacional de conteúdo inadequado.

1. Elaborar um processo sistemático para os participantes da pesquisa (referidos aqui como avaliadores) identificar instâncias do comportamento direcionado e inadequado (ver Tabela 1).

Mesa 1. Exemplo de como registrar casos de comportamentos inadequados. Este log pode ser usado sistematicamente entre os raters.

3. Instrua os avaliadores a assistir separadamente o mesmo episódio do SpongeBob SquarePants e fornecer contagem de codificação.

4. Instrua os avaliadores a assistir separadamente o mesmo episódio de Caillou e fornecer contagem de codificação.

5. Compare as classificações para ver se os Raters apresentaram classificações semelhantes para cada programa.

1. Confiabilidade é a capacidade de medir consistentemente a variável — conteúdo inadequado.
2. A confiabilidade entre taxas é a capacidade de mais de uma pessoa medir as variáveis e que suas medidas estejam de acordo.

Os resultados indicam que os avaliadores apresentaram um alto nível de concordância ou consistência em suas classificações dentro de cada episódio de desenho animado, o que indica alta confiabilidade inter-rater(Figura 1). Há também confiabilidade ou consistência em episódios do Bob Esponja SquarePants com conteúdo mais inapropriado do que Caillou. Os resultados também revelaram vieses individuais entre os raters. Por exemplo, Rater 3 relatou mais conteúdo inapropriado no Bob Esponja do que os outros 2 raters, e Rater 1 relatou menos em Caillou do que outros raters.

Figura 1. Exemplos de conteúdo impróprio por rater e desenho animado para os episódios 1 (superior) e 2 (inferior).

Os pesquisadores têm cada vez mais voltado sua atenção para a análise do conteúdo da televisão, especialmente no que se refere às crianças. Como discutido antes deste experimento atual, um estudo recente na revista Pediatrics correlacionou o ritmo acelerado do desenho animado Bob Esponja SquarePants a habilidades cognitivas relativamente pobres nas crianças que o assistem.

Uma vez que os resultados do nosso experimento parecem confiáveis, pesquisas futuras poderiam examinar se a quantidade relativa de conteúdo inadequado no Bob Esponja também é (ou alternativamente) responsável pelo menor desempenho cognitivo das crianças após assistir.

Uma das aplicações mais importantes de confiabilidade está no uso de instrumentos de pesquisa. Os pesquisadores devem ter certeza de que os participantes responderão consistentemente a cada um dos itens em uma escala específica. Ou seja, em uma medida de 5 itens de satisfação com a vida, os participantes devem responder aos itens 1 e 2 de forma um tanto semelhante à forma como respondem às perguntas 3, 4 e 5.  Além disso, os pesquisadores querem ter certeza de que suas medidas em um experimento são consistentes ao longo do tempo. Portanto, se um pesquisador está usando a dilatação pupilar para indicar interesse em um estímulo, o pesquisador deve ter certeza de que a dilatação pupilar é um indicador consistente de interesse.

1. Lillard, A. S., & Peterson, J. The Immediate Impact of Different Types of Television on Young Children's Executive Function. Pediatrics. 128(4):644-9. doi: 10.1542/peds.2010-1919 (2011).