Validade

Validade

1. Definição clássica: aquilo que o teste mede e a quão bem o faz, dizendo-nos assim aquilo que podemos inferir dos resultados. O traço medido por um determinado teste só pode ser definido através do estabelecimento da sua validade, comparando o desempenho no teste com factos independentemente observáveis relativos às características do comportamento em observação

   • Problemas: validade como propriedade dos testes, em vez de se referir às interpretações dos resultados
     • Nova definição de validade: grau em que a evidência acumulada suporta a interpretação pretendida dos resultados dos testes, para um certo objetivo. Estabelecimento de validade é um processo contínuo; acumular evidência ao longo do tempo fortalece ou enfraquece a validade das inferências baseadas nos resultados dos testes; variedade de objetivos de avaliação justificam a variedade de métodos de validação

2. Atual versão dos Testing Standards (2014) reconhece as seguintes fontes de evidência de validade: conteúdo, processos de resposta, estrutura interna e relação com outras variáveis. Atualmente, existe um conceito unitário de validade, mas mantém-se a ideia de três aspetos: aspetos relacionados com o conteúdo, aspetos relacionados com critérios e padrões de convergência e divergência

   • VALIDADE BASEADA NO CONTEÚDO: depende do ajuste entre conteúdos específicos do teste e o domínio de conteúdo que o teste supostamente avalia. Evidência de validade de conteúdo depende da amostragem de conteúdo selecionada para o teste (itens), que deve ser representativa do domínio de conteúdo
     • Aspeto da validade adequado a testes que avaliem quão bem o indivíduo domina uma habilidade específica mas não adequado a testes de aptidões (que recorrem a conteúdos diversos)
     • Não deve ser confundida com validade facial (ou aparente), que se refere àquilo que o teste parece superficialmente medir (não é um tipo de validade técnica)
   • VALIDADE BASEADA NO CRITÉRIO: indica a eficácia de um teste para predizer o desempenho de uma pessoa numa dada situação, agora ou no futuro. Implica uma correlação entre os resultados do teste e uma medida independente desse critério − desempenho da pessoa na situação designa-se critério
     • Validade concorrente: relevante para diagnosticar a situação atual, sendo que o resultado do teste se correlaciona com o critério conhecido no presente (ex: diagnóstico clínico).
     • Validade preditiva: objetivo de predizer resultados futuros, sendo que o resultado do teste será comparado com uma medida futura preditiva (ex: desempenho profissional). Deve tomar-se em atenção o perigo de contaminação do critério: saber o resultado do teste influencia a medida de critério
     • A validação de critério é um processo, não sendo possível, na prática, obter um critério verdadeiramente definitivo. Procedimento de melhoria por validação cruzada- demonstrar que as mesmas associações entre resultados do teste e critérios se mantêm em diferentes amostras. A medida de critério a escolher depende do objetivo da interpretação dos resultados da avaliação e enquadra-se em algumas categorias comuns
   • VALIDADE BASEADA NO CONSTRUTO: grau em que um teste mede um construto teórico ou traço, sendo o construto uma variável latente (não observável diretamente) que pretende explicar a consistência das respostas observadas. Visão redutora- um teste pode não medir necessariamente um só construto. Toda a evidência de validade contribui para a validade de construto
     • Cronbach e Meehl: rede nomológica- construtos de interesse no estudo estão correlacionados, e cada um possui várias manifestações observáveis também inter-relacionadas. Como os construtos não são observáveis em si, é necessário medir as suas operacionalizações para perceber a relação teórica dos construtos (que devem ser espelhadas nas relações empíricas entre os instrumentos de avaliação
     • Embertson: representação do construto – em que medida o instrumento é uma boa operacionalização do construto − e alcance nomológico – relações entre diferentes medidas empíricas e de que modo estas relações são influenciadas por fatores sistemáticos
   • VALIDADE COM BASE EM PADRÕES DE CONVERGÊNCIA E DIVERGÊNCIA: nível das operacionalizações, é derivada das inter-relações estabelecidas entre medidas comportamentais e requer a acumulação gradual de informação de várias fontes
     • Fidelidade e a consistência interna dizem se o instrumento é uma boa representação do constructo
     • Correlações entre testes e subtestes procura obter evidência de validade convergente (correlações com outros testes que medem o mesmo constructo) ou evidência de validade discriminante (ausência de correlação com testes que medem outros construtos)
     • Método de matriz multitraço-multimétodo aplica, numa única amostra, diferentes instrumentos para estudar diferentes construtos com diferentes métodos (ex: autorrelato, teste de desempenho e observação comportamental). A matriz de correlações obtida dá info acerca de quais instrumentos apresentam validade convergente ou discriminante
     • Diferenciação etária e desenvolvimental- compará-los com previsões teóricas dos construtos respetivos, variação ao longo da idade e desenvolvimento
     • Resultados experimentais podem validar os instrumentos: ex- causar ansiedade nos participantes e utilizar o instrumento para a medir no final
     • Análise fatorial exploratória: matriz de correlações que pode conter padrões de associação entre testes ou itens, que serão os fatores, reduzindo a dimensionalidade (ex: 14 subtestes da WAIS agrupam-se em 4 índices fatoriais). A estrutura do teste pode ser caracterizada em termos dos fatores mais importantes que determinam os resultados, do peso de cada fator e da correlação de cada teste/item com cada fator. Ex: um constructo unidimensional deverá corresponder a resultados com apenas um fator, enquanto um constructo multidimensional deverá corresponder a vários fatores.
     • Modelos de equações estruturais e análise fatorial confirmatória: partem de testes de hipóteses específicas acerca da estrutura fatorial, avaliando as soluções pelo ajuste com os dados. Estrutura fatorial definida a priori.

3. Messick propôs a inclusão das consequências sociais dos testes e considerações éticas − na avaliação da sua validade. Poderá ainda ser avaliada a utilidade dos instrumentos de avaliação, ao nível dos benefícios que trazem aos processos de tomada de decisão