Fidelidade em Testes de Avaliação

Fidelidade em Testes

• A fidelidade é uma característica essencial em testes, representando a capacidade de produzir os mesmos resultados em diferentes momentos e circunstâncias. Mantém a avaliação do mesmo construto ao longo do tempo.
• Resultado de um teste = Resultado verdadeiro + Erro de medida. O erro de medida é a flutuação de resultados atribuível a fatores externos e/ou desconhecidos ao teste.
• Exemplo: Um teste de ansiedade com resultado de 15/20 inclui a influência do estado de espírito do indivíduo naquele momento. O resultado observado é a combinação de capacidades reais e fatores aleatórios (erro).
• A observação é a soma do construto (o conceito medido) e do erro. Um erro maior que o construto questiona a validade da observação (devido ao elevado grau de aleatoriedade).
• É impossível avaliar o mesmo indivíduo infinitamente. Avalia-se um maior número de indivíduos, esperando que as diferenças reflitam as diferenças de capacidades reais, além de influências externas.
• O erro é qualquer condição não relevante ao objetivo do teste. Não se elimina totalmente, mas se reduz. Exemplos incluem contexto, avaliador e estado de espírito.
• A estandardização das condições de aplicação e cotação garante a similaridade para reduzir o erro.

Tipos de Fidelidade

• O índice de fidelidade é uma correlação entre resultados de diferentes momentos/testes. Uma correlação mais alta significa maior fidelidade.
• Mede-se por um coeficiente (R²). Valores mais próximos de 1 indicam maior fidelidade (maior correlação entre resultados).
• O coeficiente de fidelidade mostra a relação entre o erro de medida e as diferenças reais nas capacidades.
• Obtém-se através de correlações de Pearson.

Fidelidade Teste-Reteste

• Avalia a estabilidade de resultados ao longo do tempo para a mesma pessoa.
• Pode ser afetada pela familiaridade com os itens, e erros podem ser atribuídos a estados de espírito variáveis ao longo do tempo.
• O coeficiente também representa a variância partilhada entre duas variáveis, expresso pelo índice de fidelidade ao quadrado (r²).

Fidelidade de Formas Paralelas

• Aplica diferentes testes que medem o mesmo construto para a mesma pessoa.
• Idealmente, os testes são equivalentes, mas criar testes perfeitamente equivalentes é difícil.

Método das Metades

• Divide o teste em duas metades equivalentes.
• Aplica ambas as metades a pessoas diferentes e compara seus resultados.
• A dimensão do teste afeta o resultado, então aplica-se correção de Spearman-Brown para ajustar os resultados da fidelidade.

Método da Consistência Interna

• Avalia a consistência e fidelidade das respostas dos itens.
• Mais complexo com conteúdos heterogéneos. Útil para construir quando avaliando um único construto.
• Utiliza fórmulas:
• Kuder-Richardson (KR-20): Apenas para itens dicotómicos (resposta sim/não).
• Alfa de Cronbach: Pode ser usada para qualquer tipo de item, e é uma generalização da KR-20.

Fidelidade do Avaliador

• Avalia o impacto do avaliador nos resultados.
• Maior estandardização reduz o impacto do avaliador, mas não elimina totalmente a subjetividade de cotação.
• Comparam-se resultados com diferentes avaliadores.
• A análise é baseada em índices como o Kappa de Cohen (avalia concordância entre avaliadores em escalas nominais e ordinais) e ICC (coeficiente de correlação interclasse para variáveis numéricas).

Erro Padrão de Medida (EPM)

• Expressa a fidelidade de um teste.
• Reflete a variabilidade hipotética dos resultados de um indivíduo se submetido várias vezes ao mesmo teste.
• Desvio padrão da distribuição dos resultados de uma pessoa testada várias vezes.
• Menor EPM indica maior precisão do teste.

Interpretação de Diferenças em Resultados

• Considerar a fidelidade dos testes quando interpretando diferenças nos resultados.
• Diferenças significativas devem ultrapassar o erro de medida.
• Intervalos de confiança evitam dar demasiada importância a pequenas diferenças pouco significativas.
• Maior fidelidade permite considerar diferenças menores como significativas.
• Erro padrão das diferenças (EPdif): Calculado a partir dos EPM de ambos os resultados.
• Limiar de significância: multiplicação do EPdif por 1,96. Isso fornece um intervalo de confiança para a diferença entre dois resultados.