Validação

Validação

1. MEDIR: Determinar ou avaliar por meio de instrumento ou utensílio de medida, ou algo, como padrão. Avaliar a importância.

   • Questionários ou instrumentos de medidas
     • Avaliação das propriedades psicométricas
       • Permite determinar se as dimensões e os domínios do instrumento estão adequados ao que se propõe.
       • ETAPAS:
         • VALIDADE
           • Objetivo: Objetivo verificar a capacidade do mesmo de medir exatamente aquilo que se propõe
           • Conceito: Consiste na adequação entre o fenômeno estudado e o conceito teórico a ser medido
           • Dimensões avaliadas:
             • Conteúdo:
               • Objetivo: Examina se os itens de um instrumento representam adequadamente todas as dimensões do constructo que o pesquisador pretende medir.
               • Método: os itens passam pelo exame sistemático de um grupo de especialistas que avaliam a compreensibilidade, a clareza e a redundância destes itens.
               • Abordagens:
                 • Validade de Face: avaliação por um Comitê de Especialistas
                   • Especialistas: de 5 a 10; ou de 6 a 20; ou 3 por grupo de profissionais;
                   • Inclusão de pessoas leigas
                   • Avaliação por juízes
                   • Analisar os itens individualmente verificando sua clareza e pertinência, devendo expor sugestões
                 • Medidas Quantitativas:
                   • Índice de Validade de Conteúdo (IVC)
                     • Mede a proporção ou porcentagem de juízes que estão em concordância sobre
                     • Escala tipo Likert (pontuação de 0 a 4)
                     • IVC = número de respostas "3" ou "4" / número total de respostas
                   • Coeficiente Kappa
                     • É a razão da proporção de vezes que os juízes concordam, com a proporção máxima de vezes que os juízes poderiam concordar
                     • Variam de 1 (ausência total de concordância) a 1 (concordância total)
             • Constructo:
               • Conceito: É a avaliação do grau de confiança que depositamos que o instrumento mede o que se propôs a medir, produzindo resultados consistentes com o teórico esperado.
                 • Permite a avaliação da teoria que fundamenta a elaboração do instrumento e do próprio instrumento.
                   • PASSOS:
                     • 1. Formular uma ou mais hipóteses;
                       • 2. Selecionar ou desenvolver um instrumento de mensuração;
                         • 3. Reunir dados empíricos que permitam testar as hipóteses;
                           • 4. Determinar se os dados são consistentes com as hipóteses.
                   • TÉCNICA: Análise Fatorial
                     • Identifica grupos homogêneos das diferentes dimensões do constructo.
                   • TIPOS:
                     • Testes de Hipósteses:
                       • Construto convergente;
                         • É obtida pela correlação do instrumento focal com outro instrumento que avalie um constructo similar, esperando resultados de altas correlações entre os dois.
                           • Testes estatísticos: Testes de correlação
                       • Construto divergente ou discriminante;
                         • Testa a hipótese de que a medida-alvo não está relacionada indevidamente, com constructos diferentes, ou seja, com variáveis das quais deveriam divergir.
                           • Testes Estatísticos: Testes de correlação
                       • Validade por grupos conhecidos;
                         • Grupos diferentes de indivíduos realizam o preenchimento do instrumento de pesquisa e depois os resultados dos gupos são comparados.
                           • Testes estatísticos: Testes de hipótese
                       • Abordagem Matriz Multitraço multimétodo;
                         • Examina as correlações entre itens e dimensões.
                         • Testes estatísticos: Testes de correlação
                     • Estrutural ou fatorial:
                       • Objetivo: Identificar relações inaparentes entre os itens, agrupando aqueles correlacionados entre si
                         • Testa se uma medida capta a dimensionalidade hipotética de um constructo.
                           • Testes Estatísticos: Análise fatorial e modelagem de equações estruturais.
                     • Transcultural:
                       • Medida em que as evidências suportam as inferências de que o instrumento original e um adaptado culturalmente são equivalentes.
                       • Testes estatísticos: Tradutores e retrotradutores independentes; Comitê de especialistas; Pré-testes.
             • Critério:
               • Objetivo: comprova as correlações existentes entre os resultados obtidos pelo instrumento utilizado em uma pesquisa e os resultados de outro instrumento com validade confirmada, o padrão ouro.
               • Classifcação:
                 • Concorrente
                   • Avalia o grau de correlação do teste novo com o padrão ouro de forma simultânea ou em um curto intervalo de tempo
                 • Preditiva
                   • Capacidade do instrumento em diferenciar o comportamento do sujeito em algum critério futuro,
                     • Obtida pela aplicação de um instrumento em momentos diferentes para posterior comparação dos resultados
               • Como pode ser estudada:
                 • Coeficiente de correlação de Pearson;
                 • Teste de Regressão Múltipla
                   • Valor Preditivo Positivo (VPP): a / a + b
                   • Valor Preditivo Negativo (VPN): d / c + d
                 • Teste de sensibilidade e especificidade
                   • Especificidade (e): d / b + d
                   • Sensibilidade(s): a / a + c
                 • Teste t de Student ou da área abaixo da curva Receiver Operating Characteristic (ROC)
         • CONFIABILIDADE
           • Conceito: refere se à consistência com que o instrumento mede determinado atributo e produz resultados semelhantes em avaliações repetidas.
           • Objetivo: aponta quanto determinada medida está livre de erros aleatórios, o que constitui um elemento essencial para avaliar a adequabilidade de uma medida.
           • Atributos a serem avaliados:
             • Estabilidade
               • Refere se à capacidade de um instrumento produzir os mesmos resultados em testes repetidos,
               • Verificada pela confiabilidade teste-reteste
                 • Adequado um intervalo de 10 a 14 dias entre o teste e o reteste
                 • Amostra: pelo menos 50 sujeitos
                 • Análise de variância (ANOVA)
                   • valores mínimos de 0,70
               • Coeficiente de Correlação Intraclasse (ICC)
             • Consistência interna
               • Reflete a extensão em que os vários itens do instrumento medem o mesmo conceito
               • Baseia se na verificação da correlação dos itens entre si e com o todo
               • Testes Utilizados:
                 • Coeficiente alfa de Cronbach
                   • Escalas tipo Likert ou de múltipla escolha
                   • Valores abaixo de 0,70 (satisfatórios)
                 • Kuder Richardson
                   • Variáveis dicotômicas
             • Equivalência
               • Objetivo: Avalia se os mesmos resultados são produzidos quando observadores diferentes usam o mesmo instrumento para mensurar um determinado construto
               • Métodos de Avaliação:
                 • Confiabilidade inter-avaliador
                   • Coeficiente Kappa
                     • Valor máximo igual a 1,00;Quanto maior o valor de Kappa, maior a concordância entre os observadores.
                 • Testes paralelos
         • RESPONSIVIDADE E INTERPRETABLIDADE
           • Responsividade: capacidade de o instrumento detectar diferenças ou mudanças no construto avaliado
           • Interpretabilidade: refere se ao grau em que os valores obtidos por meio da aplicação do instrumento produzem informações relevantes ao indivíduo e ao profissional em relação ao construto a ser medido.
           • Métodos:
             • Teste t
             • tamanho do efeito