TESTE DE PROGRESSO - CLIQUE NA PÁGINA DESEJADA

Page 1

TESTE DE PROGRESSO: UMA FERRAMENTA AVALIATIVA PARA A GESTÃO ACADÊMICA

Osni Lázaro PinheiroI Maria Angélica SpadellaI Haydée Maria MoreiraI Zilda Maria Tosta RibeiroI Ana Paula Ceolotto GuimarãesI Odilon Marques Almeida FilhoI Maria de Lourdes Marmorato Botta HafnerI

Faculdade de Medicina de Marília, Marília, SP, Brasil.

REVISTA BRASILEIRA DE EDUCAÇÃO MÉDICA 39 (1) : 68-78; 2015

APRENDIZAGEM BASEADA EM PROBLEMAS (ABP)

A Faculdade de Medicina de McMaster, no Canadá, foi pioneira,na década de 1970, na implantação da Aprendizagem Baseada em Problemas (ABP) no currículo médico1. Posteriormente, houve a implementação de modelos curriculares pautados na ABP em diversos cursos da área da saúde de países da América do Norte e em outras partes do mundo2. No Brasil, a ABP foi implantada no final da década de 1990 nos cursos de Medicina e Enfermagem da Faculdade de Medicina de Marília (SP) e no curso de Medicina da Universidade Estadual de Londrina(PR)3.Neste modelo, o ensino é centrado no estudante, e as situações-problema são discutidas em pequenos grupos em reuniões denominadas sessões de tutoria. Nas discussões, o estudante compartilha informações com seu grupo, na presença de um professor que exerce o papel de facilitador do processo de ensino-aprendizagem. Após a abertura da situação-problema, o grupo de estudantes levanta questões de aprendizagem que são estudadas individualmente, e as informações obtidas são compartilhadas com o grupo em uma nova sessão de tutoria4.

Para proporcionar uma compreensão melhor das etapas envolvidas na resolução das situações-problema nas sessões de tutoria, o Quadro 1 ilustra os sete passos envolvidos na ABP.

A resolução da situação-problema ao final das discussões não represntaúnico objetivo neste processo de ensino e aprendizagem, pois diversas outras ações secundárias vão se desenvolvendo durante o processo tutorial:aquisição de uma base de conhecimentos integrada e estruturada em torno de problemas da vida real, promoção de habilidades de trabalho em grupo, aprendizagem autônoma e desenvolvimento de atitudes tais como cooperação, ética e respeito pela opinião dos companheiros. Embora originalmente concebida no curso de Medicina, a Aprendizagem Baseada em Problemas tem sido utilizada não apenas na área da saúde,mas também nas áreas de Exatas e Humanas7,8. A expansão deste modelo de aprendizagem em diversos países e áreas de conhecimento tem propiciado a realização de encontros específicos sobre ABP, a exemplo do VI Congresso Internacional PBL (Problem Based Learning)2010, promovido na Universidade de São Paulo9.

Este modelo de ensino-aprendizagem centrado no estudante,que está em consonância com as diretrizes curriculares nacionais dos cursos da área da saúde,também apresenta um modelo de avaliação diferente daquela dos modelos tradicionais. Na instituição em que foi realizado este estudo, uma destas avaliações é conhecida como Exercício de Avaliação Cognitiva (EAC), caracterizado por um instrumento de avaliação da capacidade individual dos estudantes em dar respostas às perguntas formuladas para outras situações-problema relacionadas às trabalhadas nas sessões de tutoria10. A outra modalidade de avaliação cognitiva nesta instituição é o Teste de Progresso (TP), que não é utilizado para a progressão do estudante nas séries do curso, mas constitui uma importante ferramenta avaliativa de caráter formativo.

TESTE DE PROGRESSO

Originalmente, o TP foi desenvolvido na Faculdade de Medicina da Universidade de Missouri (Estados Unidos) e na Universidade de Limburg (Maastricht, Holanda)no início dos anos 1970. Após ampla utilização nas universidades de origem, este modelo de avaliação tem se tornado mais popular no cenário mundial.

O TP é constituído por testes de múltipla escolha, e seu conteúdo compreende uma amostra do conhecimento de todas as áreas que compõem o currículo do curso de Medicina e reflete os objetivos finais do curso.

Nesta modalidade de avaliação, os testes de múltipla escolha apresentam um novo significado, voltado a proporcionar ao estudante um feedback sobre seu desempenho à medida que vai progredindo de uma série para outra. No TP, as questões de múltipla escolha são elaboradas com diferentes graus de dificuldade, englobando conhecimentos que deverão ser incorporados durante a graduação.

No local onde este estudo foi realizado, a aplicação sistemática do TP no curso de Medicina iniciou-se a partir do ano 2000. O Teste de Progresso nesta instituição é composto por cem questões de múltipla escolha, com cinco alternativas, divididas em seis áreas: Pediatria, Clínica Médica, Ginecologia e Obstetrícia, Clínica Cirúrgica, Saúde Coletiva e Áreas Básicas, sendo aplicado a todas as séries do curso médico em um mesmo dia e horário. A duração do teste é de no máximo quatro horas, e a presença se tornou obrigatória a partir de 2003.

Os estudantes que participam do TP recebem o escore de seu desempenho e o escore do desempenho da sua série, podendo compará-los e realizar sua autoavaliação. Além disto, a cada série que avança no curso,o estudante poderá verificar o ganho percentual de acertos que obteve.

Um aspecto importante é que o TP não fornece informações apenas para autoavaliação do estudante, mas representa também uma valiosa ferramenta para a gestão acadêmica. Um TP com ampla abrangência das áreas que compõem o currículo de um curso, associado a uma abordagem de temas-chave para a formação do estudante durante a graduação, poderá fornecer importantes subsídios para a gestão curricular. Embora tenha sido concebido no curso de Medicina, o TP pode ser usado também em outros cursos, da área da saúde ou não, graças a sua lógica de construção e aplicação.

As informações geradas por esta ferramenta avaliativa têm importância especial quando o processo de ensino-aprendizagem é centrado no estudante. O desempenho do estudante no TP irá permitir que este se avalie em relação a seus pares, e a avaliação do desempenho das séries possibilitará que as equipes de construção das unidades educacionais que compõem o currículo de um curso reformulem as situações-problema utilizadas na ABP. Este modelo de avaliação também pode ser aplicado em currículos com métodos de ensino e aprendizagem não centrados no estudante.

Para atender a este propósito de fornecer subsídios ao andamento do curso para os órgãos gestores, este tipo de avaliação deve ser bem estruturado, preferencialmente organizado por uma equipe multidisciplinar e com uma visão integral do currículo do curso. Aliada a isto, a estruturação dos enunciados e das alternativas nos testes de múltipla escolha para utilização no TP constitui também um aspecto importante para a fidedignidade dos resultados.

Neste sentido, os enunciados dos testes não devem exigir do estudante apenas a memorização, mas principalmente abordar categorias taxonômicas mais elevadas, como a síntese ou avaliação.

Page 2

O presente estudo teve por objetivo averiguar as potencialidades do Teste de

Progresso no auxílio à gestão acadêmica, utilizando-se como objeto de estudo o Teste

de Progresso aplicado em curso de Medicina. Espera-se que esta análise forneça

subsídios para outras instituições empregarem o Teste de Progresso como potencial

ferramenta de gestão curricular, independentemente de possuírem ou não cursos da

área da saúde ou adotarem ou não a ABP como método de ensino.

MATERIAL E MÉTODOS

Foi realizado um estudo transversal, por meio da avaliação do desempenho dos

estudantes nos Testes de Progresso aplicados no primeiro semestre dos anos de 2008 e

2011 aos estudantes da primeira à sexta série do curso de Medicina. Nestes testes,

foram aplicadas as mesmas questões, sendo que a única diferença se refere à inversão

proposital da sequência das questões na avaliação de 2011. Com a adoção desta medida

de repetição da mesma avaliação, foi possível garantir igual controle de qualidade

das questões.

As avaliações utilizadas neste estudo foram compostas por cem questões de múltipla

escolha, cada uma contendo cinco alternativas. Estas questões foram divididas em

seis áreas de conhecimento: Pediatria (20), Clínica Médica (20), Ginecologia e

Obstetrícia (15), Clínica Cirúrgica (20), Saúde Coletiva (9), Áreas Básicas (16).

Estes Testes de Progresso foram organizados pelo Comitê de Avaliação Cognitiva, que

é responsável pela solicitação dos testes de múltipla escolha aos professores,

análise dos testes e, quando necessário, sugestão de modificações nas questões junto

aos professores responsáveis.

Page 3

Estes testes foram aplicados aos estudantes de todas as séries do curso médico dos

anos de 2008 (n = 457) e 2011 (n = 446), em um mesmo dia e horário, com duração de

quatro horas e permanência obrigatória de duas horas na sala.

Após a aplicação e correção dos TPs, foi avaliado o desempenho dos estudantes por

série e área de conhecimento, por meio do cálculo da média percentual de acerto e

desvio padrão. Não foi utilizada qualquer técnica para exclusão de acertos casuais

de questões por parte dos estudantes.

A comparação do desempenho dos estudantes da primeira até a sexta série para cada

teste foi feita por meio de análise de variância (Anova), seguida pelo pós-teste de

Comparações Múltiplas, de Bonferroni. Para a comparação entre dois grupos, como no

caso de uma série do ano de 2008, com a sua correspondente em 2011, ou uma área de

conhecimento de 2008 e a sua correspondente em 2011, foi utilizado o Teste T de

Student.As diferenças na progressão de acertos foram consideradas significativas

quando “p” < 0,05.

O presente estudo foi avaliado e autorizado pelo Comitê de Ética em Pesquisa

Envolvendo Seres Humanos da Faculdade de Medicina de Marília, resolução 196/96, sob

o protocolo de estudo no 483/12.

RESULTADOS E DISCUSSÃO

Tanto o Teste de Progresso de 2008, como o de 2011 mostraram aquisição de

conhecimentos cognitivos dos estudantes no decorrer do curso de Medicina, porém o

perfil de progressão nestas duas avaliações foi diferente(Figuras 1 e 2).

Page 4

Inicialmente, serão apresentados os resultados por área de conhecimento do TP

realizado em 2008 (Figura 3). Na área de

Pediatria, os estudantes apresentaram índices de acertos a partir da primeira série

de, respectivamente,23,75%, 25,2%, 29%, 36,3%, 48,2% e 50,7%, tendo havido

diferenças significativas a partir da terceira série e manutenção desta progressão

de maneira significativa (p<0,05) até a quinta série, estabilizando-se na última

série, que não apresentou progressão (p>0,05). Na Clínica Médica, os índices de

acertos a partir da série inicial foram,respectivamente,de 34,3%, 35,4%, 41,4%,

41,8%, 53,5% e 55,6%. A progressão pôde ser verificada de maneira significativa

(p<0,05) entre a segunda e terceira séries e em seguida entre a quarta e quinta

séries. Na área de Ginecologia, os índices de acertos do início ao final do curso

foram,respectivamente,de 25%, 29,7%, 37,8%, 40,9%, 53,7% e 58,5%, tendo havido

diferenças significativas (p<0,05) apenas entre a segunda e terceira séries e

entre a quarta e quinta séries. Na Clínica Cirúrgica, o desempenho dos estudantes a

partir da primeira série foi, respectivamente, de 34,1%,29,1%, 37,9%, 40,5%, 47,8% e

53,4%, tendo havido incorporação de conhecimentos de maneira significativa

(p<0,05) apenas entre a segunda e terceira séries e entre a quarta e quinta

séries. Nas disciplinas básicas, houve acertos de 39%,39,2%, 42%, 44,8%, 50,9% e

49,8%,respectivamente, da primeira à sexta série, porém não houve progressão

significativa entre cada uma das séries e a seguinte(p>0,05). Na Área de Saúde

Coletiva, os percentuais de acerto a partir da primeira série foram de 45,2%, 45,9%,

52%, 47,5%, 57,4% e 58%, e a progressão somente foi considerada significativa entre

a quarta e quinta série do curso (p<0,05).

Com relação ao desempenho dos estudantes nas áreas específicas do conhecimento do TP

2011 (Figura 3),foi observada, na Pediatria,

uma frequência de acertos de 27%, 30,6%, 37,2%, 44,6%, 51,6% e 60,2%,

respectivamente,entre a primeira e sexta série. A análise destes resultados mostrou

que houve progressão estatisticamente significativa a partir da terceira série

(p<0,05). Na Clínica Médica, os estudantes obtiveram índices de acerto de 31,9%,

29,6%, 37,2%, 40,9%, 46,9% e 58,2%, respectivamente,entre a primeira e sexta série,

e foram considerados como progressão em relação à série anterior os desempenhos

obtidos na terceira, quinta e sexta séries. Na área de Ginecologia e Obstetrícia, os

índices de acertos a partir da primeira série foram,respectivamente,de 31,2%, 28,2%,

40,8%, 45,5%, 53,8% e 66,9%. Do ponto de vista estatístico, foram considerados como

progressão de acertos em relação à série anterior os resultados obtidos na terceira,

quinta e sexta séries. Na Clínica Cirúrgica, a frequência de acertos entre a

primeira e a sexta série foi,respectivamente,de 28,8%, 29,2%, 33,7%,37,6%, 44,9% e

54%,e a progressão em relação à série anterior foi considerada significativa apenas

nas últimas duas séries (p<0,05).Nas disciplinas básicas, os índices de acerto

foram, respectivamente,de 29,8%, 30,9%, 36,1%, 40,9%, 39,6% e 50,6%,e foram

considerados como progressão em relação à série anterior apenas os resultados da

última série (p<0,05). Na área de Saúde Coletiva, os resultados obtidos a partir

da primeira série foram,respectivamente,de 37,7% 32,9%, 35,5%, 40,7%, 40,1% e 51,9%,

e houve diferença significativa nos índices de acertos em relação à série precedente

apenas na sexta série. Novamente, cabe ressaltar que estas informações são

fundamentais para a organização curricular, principalmente porque identificam as

áreas que necessitam de maior atenção.

No presente caso,as áreas que requerem atenção são representadas pela Clínica

Cirúrgica, Disciplinas Básicas e Saúde Coletiva. Para um detalhamento ainda maior,

poderia ser verificado se nessas áreas houve algum problema particular com alguma

questão específica do TP que viesse a justificar o baixo desempenho dos estudantes.

Um meio de identificar estas questões é o cálculo de outliers, que

permite verificar se alguma questão propiciou um índice de erro do estudante muito

distante da média14. Entretanto,

por meio deste cálculo não foi encontrada nenhuma observação que estivesse fora

desta faixa de resultados, o que mostra que a ausência de progressão em algumas

áreas de conhecimento não se deveu a alguma questão de múltipla escolha em especial,

mas representou,de forma geral, um desempenho insuficiente nessas áreas.

No tocante à área que engloba as disciplinas básicas, os resultados obtidos neste

trabalho diferiram em relação aos encontrados por Tomic et al.15 em instituição cujo curso de

Medicina não apresenta o currículo organizado por ABP. Nesse estudo, houve

progressão no desempenho dos estudantes nas questões relacionadas às disciplinas

básicas em seis dos oito TPs aplicados entre os anos de 2001 e 2004. Em outro estudo

realizado em instituição que adota a ABP como método de ensino e aprendizagem, foi

observada uma tendência de retenção do conteúdo básico nas séries finais do curso de

Medicina13.

Do ponto de vista da gestão acadêmica, esta análise de desempenho dos estudantes por

área é importante, pois permite identificar focos a serem trabalhados nas diversas

séries que compõem o curso que está sendo avaliado.

No caso de cursos que adotam a Aprendizagem Baseada em Problemas como estratégia de

ensino, este diagnóstico apresenta um significado especial, pois a forma de

abordagem destes conteúdos deve ser imediatamente revista pelos professores

especialistas que participam da construção das situações-problema.Estas devem

promover a integração básico-clínica por meio da utilização de casos que reproduzam

a prática profissional16.

Page 5

Quanto à retenção de conhecimentos de áreas básicas em currículos organizados por

ABP, Prince et al.17verificaram que não houve diferenças significativas no

conhecimento de Anatomia entre estudantes provenientes de escolas que adotam a ABP e

escolas com modelos curriculares tradicionais. Esse estudo também demonstrou que os

estudantes de escolas com ABP experimentam as mesmas dificuldades no aprendizado de

Anatomia que os estudantes de escolas tradicionais.

A utilização de casos clínicos na abordagem de conhecimentos de áreas básicas aumenta

o interesse do estudante, favorecendo o raciocínio e a integração do conhecimento,

com consequente repercussão no processo de ensino e aprendizagem.Entretanto, é

importante que o olhar sempre esteja direcionado ao processo de inserção das

disciplinas das áreas básicas no modelo de ABP, para que não haja uma ênfase

demasiada na abordagem clínica em detrimento do conteúdo das áreas básicas. Por

isto, as equipes responsáveis pela organização das séries devem estar atentas para

que a integração básico-clínica esteja sempre presente nos casos discutidos nas

sessões de tutoria.

Contudo, a utilização de situações-problema integrativas não irá por si só garantir

uma boa abordagem dos conhecimentos das disciplinas que compõem as áreas básicas e

clínicas, pois a operacionalização da abertura e fechamento destes casos pelos

estudantes irá depender do bom trabalho desempenhado pelos tutores. Neste sentido, o

seguimento de cada um dos passos − desde o esclarecimento de termos na abertura da

situação-problema até a resolução das questões levantadas no fechamento dessa

situação− representa um aspecto importante5. Assim sendo, os gestores curriculares, ao se depararem

com resultados como os encontrados no presente estudo, deverão analisá-los de forma

cuidadosa para que todas as variáveis sejam consideradas.

Os resultados encontrados na área de Clínica Cirúrgica também refletem a forma de

organização curricular do curso no local onde foi realizado este estudo. O conteúdo

desta área de conhecimento é abordado principalmente a partir da quarta série do

curso. Como estes TPs foram aplicados aos estudantes no início dos anos de 2008 e

2011, é esperada uma progressão significativa principalmente entre a quinta e sexta

série. Os resultados do TP 2011 mostraram exatamente este modelo de progressão na

incorporação de conhecimentos por parte do estudante, com obtenção de melhores

desempenhos nas duas últimas séries. Entretanto, em 2008, esta progressão foi

verificada inicialmente na terceira série e em seguida na quinta série. Este modelo

de organização com abordagem de conteúdos da área cirúrgica na etapa final da

formação do estudante não é diferente do modelo de organização em currículos

tradicionais, nos quais as primeiras duas séries se destinam ao estudo das

disciplinas básicas, os dois anos subsequentes são caracterizados como

profissionalizantes, e os últimos dois anos são representados pelo internato18.

Page 6

Em Testes de Progresso realizados no ano de 2006 na Universidade Estadual de

Londrina, também foi observado um ganho de conhecimentos na área de Clínica

Cirúrgica apenas a partir da quinta série13

.Outro aspecto verificado neste estudo é que a área de Saúde Coletiva também merece

atenção especial dos gestores. No ano de 2008, a progressão de acertos entre uma

série e a subsequente foi evidente apenas na quinta série, tendo havido um ganho de

conhecimentos entre a primeira (45,2%) e sexta série (58%) de 13% (p<0,05). Em

2011, esta progressão foi atingida de maneira significativa apenas na última série,

e o acúmulo de conhecimentos entre a série inicial (37,7%) e a final (51,9%) foi de

aproximadamente 14% (p<0,05). Novamente, a organização das situações-problema e o

trabalho do tutor podem estar relacionados a estes resultados. Em particular nesta

área do conhecimento,a equipe de gestão curricular deve estar atenta, pois nas

situações-problema pode estar havendo uma abordagem das necessidades individuais de

saúde em detrimento das coletivas. Desta forma, conhecimentos importantes de Saúde

Coletiva podem não estar sendo problematizados adequadamente pelos estudantes.

Na avaliação dos TPs, referentes ao ano de 2006, Sakai et al.13 demonstraram que houve progressão

de conhecimentos na área de Saúde Coletiva apenas na segunda série, diminuindo na

série seguinte e mantendo-se nas séries subsequentes. Estes resultados também

refletiram a forma de organização curricular da instituição no momento em que foi

feito o estudo, pois,de acordo com os autores,havia forte inserção da Saúde Coletiva

nas duas primeiras séries e ausência de inserção no internato.

A inserção da Saúde Coletiva nos currículos médicos, independentemente do método de

ensino-aprendizagem adotado, é objeto de discussão na literatura. Apesar da presença

indiscutível da Saúde Coletiva na educação dos profissionais de saúde, esta não tem

sido capaz de produzir uma alteração substantiva na formação, seja pela posição

dissociada da clínica com que tem sido proposta e pensada nas estruturas

curriculares (postura preventivista/higienista), seja pela valorização apenas de

seus aspectos mais tradicionais de ensino: bioestatística, epidemiologia,

demografia, ambiente, saneamento, modelos explicativos da saúde e da doença,

educação para a saúde e gestão política do setor da saúde19.

Diante dos resultados encontrados no presente trabalho sobre o desempenho dos

estudantes na área da Saúde Coletiva e diante também dos cuidados necessários para

uma correta inserção dos conteúdos de Saúde Coletiva nas unidades educacionais que

compõem um currículo organizado por competências profissionais e que utiliza a ABP

como método de ensino e aprendizagem, é imprescindível a incorporação de

profissionais desta área nas equipes que organizam as séries.

Page 7

Estes profissionais poderão garantir situações-problema que não restrinjam a Saúde

Coletiva a uma abordagem preventivista/higienista e tradicional, mas que possam

levar os estudantes a valorizar esta área como um espaço privilegiado para o

reencontro da relevância social com o caráter técnico e científico da formação dos

profissionais de saúde. Além da melhoria na qualidade das situações-problema, estes

profissionais também poderão auxiliar nos processos de capacitação dos tutores, para

que estes consigam instigar nos estudantes a valorização não apenas das necessidades

individuais do paciente, com caráter curativo, mas também das ações coletivas de

saúde.

O presente estudo, por meio da avaliação do desempenho dos estudantes em dois Testes

de Progresso, conseguiu identificar fortalezas e fragilidades em diferentes áreas do

saber. O conhecimento destas forças e fraquezas será de valiosa importância para os

gestores curriculares.

Esta foi a primeira em vez que a instituição analisou os resultados de um teste que

foi reaplicado na íntegra aos estudantes.Na literatura, é possível constatar que

algumas avaliações com testes de múltipla escolha, ao invés de repetirem a avaliação

na íntegra, selecionam algumas questões que servirão de âncora para avaliar o

desempenho em algumas áreas específicas20.

Os resultados mostraram que, na terceira (39% e 36,7%, respectivamente, em 2008 e

2011) e na quarta série (41,4 e 41,7%, respectivamente, em 2008 e 2011),o desempenho

dos estudantes foi semelhante (Teste T, p > 0,05), independentemente do ano de

aplicação (Figura 2). As demais séries

apresentaram diferenças significativas entre os anos de 2008 e 2011 (Teste T,

p<0,05).

Page 8

Estas diferenças no desempenho dos estudantes nos TPs de 2008 e 2011 também foram

observadas nas avaliações dos estudantes nas diversas áreas de conhecimento (Figura 5).Para algumas áreas, como a Pediatria,

o maior índice de acertos foi no TP de 2011, com cinco das seis séries do curso

apresentando melhor desempenho do que as séries correspondentes de 2008. Por outro

lado, nas áreas de Clínica Médica (1ª, 2ª, 3ª e 5ª séries), Disciplinas Básicas (1ª,

2ª, 3ª e 5ª séries) e Saúde Coletiva (1ª à 6ª série), a média de acertos foi maior

no TP de 2008. Na área de Ginecologia e Obstetrícia, o desempenho foi semelhante,

exceto na primeira e sexta séries, nas quais os estudantes tiveram melhor desempenho

no ano de 2011. Na área de Clínica Cirúrgica, ocorreu o inverso, com a maioria das

séries apresentando desempenho semelhante, exceto na primeira e terceira séries de

2008, cujos índices de acertos foram significativamente maiores. Estes dados

fornecem subsídios para os gestores investigarem se estes desempenhos estão

relacionados a mudanças curriculares realizadas nestas áreas de conhecimento nos

anos em que foram encontradas diferenças significativas de desempenho ou se devem ao

efeito da coorte de estudantes, pois um mesmo teste aplicado a diferentes populações

pode resultar em diferentes desempenhos.

Page 9

A utilização do Teste de Progresso como ferramenta de avaliação para os grupos

gestores logicamente não deve representar a única fonte de avaliação institucional,

pois a natureza complexa de uma instituição de ensino superior, com o envolvimento

de docentes, discentes e profissionais técnico-administrativos, exige uma avaliação

múltipla, com avaliadores internos e externos. No interior de uma Instituição de

Ensino Superior(IES), deve ocorrer a aplicação de instrumentos avaliativos que

permitam a participação de todos os segmentos que a compõem, e a opinião de cada um

destes setores é que permitirá uma reflexão sobre o desempenho da instituição nas

missões de ensino, pesquisa e extensão.

Com relação à avaliação externa, destaca-se no Brasil o papel do Sistema Nacional de

Avaliação da Educação Superior (Sinaes), criado pela Lei n° 10.861, de 14 de abril

de 2004,e que promove a avaliação das instituições, dos cursos e, assim como no

Teste de Progresso, do desempenho dos estudantes21. Tendo em vista que a avaliação do desempenho dos

estudantes pelo Sinaes é feita por meio do Exame Nacional do Desempenho do Estudante

(Enade), realizado a cada quatro anos, é importante que a IES possua mecanismos

próprios de acompanhamento do desempenho do estudante em intervalos mais curtos.

Neste sentido, o Teste de Progresso, aplicado anualmente, apresentará um caráter de

avaliação formativa, com benefícios não somente para o estudante, mas também para a

instituição.

Diversas IES têm usado o Teste de Progresso com estes objetivos, inclusive com

implantação desta modalidade de avaliação antes do início dos trabalhos realizados

pelo Sinaes, como é o caso da instituição na qual este estudo foi conduzido. Algumas

destas instituições, por meio dos seus Núcleos Docentes Estruturantes, organizam a

aplicação do Teste de Progresso a fim de identificar lacunas na estrutura

curricular, propiciando amplas discussões nos espaços acadêmicos, que subsidiam uma

retroalimentação da autoavaliação institucional, que permite aprimorar o

planejamento e a gestão estratégica da IES22.

Page 10

CONCLUSÕES

Este estudo discutiu o papel do Teste de Progresso como uma valiosa ferramenta avaliativa a ser utilizada pela gestão acadêmica. Embora tenha sido aplicado no curso de Medicina, ele serve de modelo para qualquer outra área. Entretanto, para assumir o compromisso de uma avaliação desta natureza na instituição, os gestores precisarão articular um trabalho sistematizado junto aos docentes das disciplinas que compõem o currículo do curso, esclarecendo a estes a importância de realizar esta avaliação.Para que o Teste de Progresso não seja um instrumento exclusivo de avaliação do desempenho dos estudantes, mas assuma um novo significado como ferramenta avaliativa para uso na gestão acadêmica, é importante que as instituições assumam um papel ativo não apenas na elaboração desta modalidade de avaliação, mas também na análise dos resultados. Esta análise, com o emprego de ferramentas estatísticas,permitirá identificar as áreas em que os estudantes não estejam agregando conhecimentos no decorrer das séries que compõem a grade curricular. A identificação destas áreas representa o primeiro passo para a utilização do Teste de Progresso como uma ferramenta avaliativa para a gestão acadêmica. A contextualização destes resultados é imprescindível para a continuidade do trabalho, pois caberá aos gestores buscar a correlação entre os resultados encontrados e o componente curricular envolvido.

No final do século XX, a comunidade acadêmica dos cursos de Medicina do País foi

avaliada por meio de um Teste de Progresso aplicado simultaneamente a diversas

escolas médicas associadas à Comissão Interinstitucional Nacional de Avaliação do

Ensino Médico(Cinaem)23.

Atualmente, tem havido uma ampla discussão sobre o uso do Teste de Progresso nas

escolas médicas do Brasil e, em decorrência deste processo,têm surgido diversos

consórcios que realizam a aplicação desta avaliação de maneira interinstitucional. A

utilização do Teste de Progresso em magnitude mais ampliada, como é o caso desta

realizada por estes grupos interinstitucionais, poderá contribuir com a gestão das

escolas de Medicina do País23.

Page 11

É importante destacar que, para que o Teste de Progresso apresente resultados

fidedignos para a gestão acadêmica, a qualidade de cada uma das questões que o

compõem é de vital importância. Para gerenciar este trabalho, é necessário formar um

grupo composto por representantes de diferentes segmentos do curso, ou seja,

docentes de disciplinas profissionalizantes e de disciplinas básicas. Tendo em vista

a necessidade de análise dos dados a fim de identificar as séries e disciplinas em

que de fato houve a progressão de conhecimentos dos estudantes e também aquelas

merecedoras de atenção, a participação de docentes com domínio em estatística é um

aspecto que irá fortalecer o trabalho deste grupo. Esta equipe inicialmente deverá

se apropriar dos conceitos básicos sobre avaliação somativa e formativa, e também

dos princípios para uma boa elaboração de testes de múltipla escolha24

.

Page 12

REFERÊNCIAS

1.

Callis AN. Application of Basic Science to Clinical Problems:

Traditional vs. Hybrid Problem-Based Learning. Journal of Dental

Education 2010;74 (10):1113-24.

[ Links ]

Patel VL, Arocha AJF, Chaudhari S, Karlin DR, Briedis DJ. Knowledge

integration and reasoning as a function of instruction in a hybrid medical

curriculum. Journal of Dental Education 2005; 69(11):1186-1208.

[ Links ]

Siqueira-Batista R, Siqueira-Batista R.Os anéis da serpente: a

aprendizagem baseada em problemas e as sociedades de controle.Ciência &

Saúde Coletiva 2009;14(4):1183-1192.

[ Links ]

Moraes MAA, Manzini EJ. Concepções sobre a Aprendizagem Baseada em

Problemas: um Estudo de Caso na Famema. Revista Brasileira de Educação Médica

2006; 30(3):125-35.

[ Links ]

Moust JHC, Van Berkel HJM, SchmidtHG. Signs of erosion: Reflections

on three decades of problem-based learning at Maastricht University. Higher

Education 2005;50(4):665-83.

[ Links ]

Barrows HS. Problem-based learning in medicine and beyond: a brief

overview.In: Wilkerson L, Gijselaers WH(Orgs.). Bringing problem-based learning

to higher education: theory and practice. Jossey-Bass 1996;

3-12.

[ Links ]

Arantes AC, Mussi AA. Aplicação do PBL no ensino do direito. Vox

Forensis 2010; 3(2):22-40.

[ Links ]

Ribeiro LR, Mizukami MGN. PBL na Universidade de Newcastle: Um

Modelo para o Ensino de Engenharia no Brasil? Olhar de professor 2004;

7(1):133-47.

[ Links ]

Congresso Internacional PBL 2010, 2010, São Paulo, Anais

eletrônicos... São Paulo: USP-Leste, 2010. Disponível em:

http://each.uspnet.usp.br/pbl2010/trabs/index_trabs_pt.htm. Acesso em: 24 abr.

2012.

[ Links ]

Lima VV, Komatsu RS, Padilha RQ. Desafios ao desenvolvimento de um

currículo inovador: a experiência da Faculdade de Medicina de Marília. Interface

- Comunicação, Saúde e Educação 2003;7(12):175-84.

[ Links ]

Blake JM. Norman GR; Keane DR, Mueller BC, Cunnington J, Didyk N.

Introducing progress testing in McMaster University’s problem-based medical

curriculum: psychometric properties and effect on learning. Academic

Medicine1996; 71(9):1002-7.

[ Links ]

Krathwohl DR. A revision of Bloom’s taxonomy: an overview. Theory in

Practice 2002;41 (4): 212-218.

[ Links ]

Sakai MH, Ferreira Filho OF, Almeida MJ, Mashima DA. Marchese MC.

Teste de Progresso e avaliação do curso: dez anos de experiência da medicina da

Universidade Estadual de Londrina. Revista Brasileira de Educação Médica 2008;

32(2):254-63.

[ Links ]

Ferreira CES, Andriolo A. Intervalos de referência no laboratório

clínico. Jornal Brasileiro de Patologia Médica Laboratoria 2008;

44(1):11-16.

[ Links ]

Tomic ER, Martins MA, Lotufo PA, Bensenõr IM. Progress Testing:

Evaluation of four years of application in the school of medicine, University of

São Paulo. Clinics 2005; 60(5):389-96.

[ Links ]

Brewer DW. Endocrine PBL in the year 2000. Advances in Physiology

Education 2001; 25: 249-255.

[ Links ]

Prince, KFAH, Van Mameren H, Hylkema, N, Drukker J, Scherpbier AJJA,

Van DerVleuten CPM. Does problem-basead learning lead to deficiencies in basic

science knowledge? An empirical case on anatomy. Medical Education 2003;

37:15-21.

[ Links ]

Neves NMBC, Neves FBCS, Bitencourt, AGV. O Ensino Médico no Brasil:

Origens e Transformações. Gazeta Médica da Bahia

2005;75(2):162-168.

[ Links ]

Carvalho YM, Ceccim RB. Formação e Educação em Saúde: aprendizados

com a Saúde Coletiva. São Paulo, [2006?]. Disponível em:

https://www.ucs.br/prosaude/servicos/capacitacao/oficina-de-integracao-ensino-servico/acervo/textos/CECCIM%20e%20CARVALHO.pdf).

Acesso em: 23 abr. 2012.

[ Links ]

Sakai MH, Ferreira Filho, OF, Matsuo T. Avaliação do crescimento

cognitivo do estudante de medicina: aplicação do teste de equalização no teste

de progresso. Revista Brasileira de Educação Médica 2011;

35(4):493-501.

[ Links ]

Brasil. Instituto Nacional de Estudos e Pesquisas Educacionais

Anísio Teixeira. Sinaes [Internet]. Brasília (DF): INEP; 2011. [citado 26 ago

2014]. Disponível em: http://portal.inep.gov.br/superior-sinaes

[ Links ]

Miranda

JFA, Morgado FEF, Moraes MBVB, Oliveira MC, Crisostomo RPG.

Teste de Progresso e avaliação do desempenho docente: diferenciais

do Programa

de Autoavaliação Institucional do Unifeso [Capturado 24 ago.2014];

1-15.

Disponível

em:http://download.inep.gov.br/educacao_superior/avaliacao_institucional/seminarios_regionais/trabalhos...

[ Links ]

Hamamoto CG, Pinheiro OL, Almeida Filho OM. Avaliação do desempenho

do estudante/future professional. In: Moraes MAA, Tonhom SFR, Hafner MLMB, Gomes

R (orgs). Avaliação nos Cursos de Medicina e Enfermagem: perspectivas e

desafios. Curitiba: CRV; 2012. p.107-142.

[ Links ]

Al-Faris EA, Alorainy IA, Abdel Hameed, Ahmad A, Al-Rukban, Mohammed

O. A practical discussion to avoid common pitfalls when constructing multiple

choice questions items. Journal of Family and Community Medicine

2010;17(2):96–102.

[ Links ]

Recebido:

19 de Setembro de 2013; Revisado:

02 de Setembro de 2014; Aceito:

17 de Outubro de 2014

ENDEREÇO DE CORRESPONDÊNCIA: Osni Lázaro Pinheiro. Av. Monte Carmelo, 800.

Fragata – Marília. CEP 17519-030 – CP 2003 –São Paulo. E-mail:

osnilp@terra.com.br

CONTRIBUIÇÃO DOS AUTORES

Todos os autores são membros do Comitê de Avaliação Cognitiva da Faculdade de

Medicina de Marília e portanto todos participaram desde a elaboração do

projeto, análise dos resultados e discussão.

CONFLITO DE INTERESSES

Declarou não haver

This is an Open Access article distributed under the terms of the

Creative Commons Attribution Non-Commercial License, which permits

unrestricted non-commercial use, distribution, and reproduction in any

medium, provided the original work is properly cited.