Ulysses Tavares Teixeira

O Diretor de Avaliação da Educação Superior do Inep destacou o aprimoramento contínuo do Enamed e das visitas presenciais, focadas na prática clínica e na integração dos cursos de medicina com o sistema local de saúde.

Boa tarde a todos. Queria agradecer a deputada Adriana pelo convite e pela sensibilidade de trazer temas tão importantes para a discussão da qualidade da educação superior. Eu sei que não é uma iniciativa pontual, eu mesmo estive presente na audiência que debateu os resultados do EAD e tudo mais, e acho que é uma oportunidade de a gente compartilhar... essas diferentes visões da política. Eu vou falar um pouco da perspectiva do INEP, que é o órgão, a autarquia federal responsável pela realização do Enamed. Já começo dizendo que o Enamed foi uma iniciativa derivada de muitos estudos realizados ao longo dos últimos anos, da experiência que o Inep já tinha na avaliação da formação médica e na avaliação da educação superior como um todo, em especial no Enad, para os cursos de medicina, aplicado desde 2004, e também no Revalida, uma prova aplicada aos estudantes, aos médicos formados fora do Brasil. dos anos anteriores, uma prova que passa a ter uma matriz de referência com competências, com habilidades, com objetos de conhecimento mais focados na realidade profissional do futuro médico, uma prova com maior número de itens e com requisitos relacionados a todas as áreas de formação previstas nas diretrizes curriculares nacionais. É importante também eu dizer que essa prova, embora o INEP seja o órgão responsável pela elaboração da prova, ela não é feita a portas fechadas dentro do INEP, ela tem uma forte e importante contribuição da comunidade acadêmica. Só para título de exemplo, o INEP faz um edital de chamamento público para que docentes dos cursos de medicina do Brasil candidatar, ser capacitados e trabalharem como elaboradores de itens. Hoje nós temos 353 docentes brasileiros trabalhando na elaboração de itens para o Enamed. Nós temos uma comissão chamada Comissão Assessora de Avaliação da Formação Médica, que é a comissão responsável por montar, de fato, as provas, por conceber ali a encomenda dos itens, por se certificar da cobrança de todas as habilidades. Temos 42 membros ali de todas as sete áreas avaliadas no Enamed. Temos uma outra comissão, que é a Comissão de Análise de Itens, responsável por ajudar a definir o padrão de desempenho esperado, essa nota de corte, o corte da proficiência, que tem outros 42 médicos também docentes de universidades brasileiras. Temos as bancas que corrigem as provas, que são contratadas também docentes de universidades, que tenham pelo menos 10 anos de experiência e os membros todos têm no mínimo cinco anos de experiência no ensino médico. Esse número varia conforme o número de participantes de cada edição, o tamanho das bancas. Todos esses professores são selecionados, eles são capacitados, eles atuam em trabalhos de elaboração, de revisão, de montagem da prova e ninguém tem uma decisão final, não tem um item que não é revisado, que não passa por análise de outra comissão, que não passa... Ninguém tem o conhecimento ou a decisão final sobre a prova. Então é um processo que envolve, eu estou falando aqui, mais de 500 docentes de instituições de educação superior brasileiras, públicas e privadas. Ah... Além disso, acho que vale falar um pouquinho sobre o que foi o trabalho de definição desse padrão de proficiência que a prova do Anamed indicou. Aqui a gente usou dois métodos conhecidos na literatura. Um é, na verdade, o método do ANGOF, que é um que essa comissão, que tem 42 integrantes docentes de faculdades brasileiras de medicina, fazem uma estimativa, item a item, do grau de dificuldade daquela prova. isso chega a um percentual esperado de acerto. Isso é muito importante, porque quando a gente... E as comparações com o Enad anterior não são tão pertinentes, como foram colocadas aqui, porque esse é um avanço que foi trazido para o Enamed esse ano. Mas é muito importante esse trabalho para que a gente não compare o resultado de uma edição com o resultado de outra de maneira cega, sem saber o grau de dificuldade de cada prova. pode ter uma expectativa de acerto mais baixa. Uma prova muito fácil precisa ter uma expectativa de acerto mais alta. E a gente precisa ajustar essas escalas para poder comparar diferentes resultados. Esse trabalho foi muito importante. Ele chegou a uma conclusão dos 90 itens restantes ali da prova, que não foram desconsiderados pelo modelo estatístico, que era preciso que os estudantes acertassem no mínimo 57%. 57,5%. 57,5% desses 90 itens equivale a 51, alguma coisa. Ele tem que acertar mais de 51 itens, portanto, 52. Então, todos os estudantes que acertaram pelo menos 52 itens dessa prova foram considerados proficientes. Essa é uma questão importante. A nota de corte foi anunciada como 60 pontos. Esses 60 pontos não equivalem a 60% da prova. item, vou fazer uma comparação que talvez seja mais fácil para vocês entenderem, o Enem tem uma escala também na teoria de resposta ao item em que a média dos estudantes é 500 com desvios de 100, as notas variam, tem a redação nota 1000 e tudo mais, esse número ele poderia ter sido 500, poderia ter sido 1000, a gente escolheu ali no 60 para ficar numa escala próxima do 0 a 100 e mais compreensível pela sociedade, mas esse 60 equivale àqueles 52 itens e na próxima ou um número menor, se ela for mais difícil. Mas a gente vai poder comparar os 60 de agora com os 60 da próxima edição. Então, a combinação do ANGOF com a TRI trouxe esse resultado. E isso está relacionado a uma matriz de referência do exame que lista detalhadamente quais são as competências, as habilidades, os objetos de conhecimento, os ambientes de atuação dos profissionais médicos. Esperado que o estudante brasileiro, ao final de uma graduação em medicina, consiga dominar esse conjunto de habilidades. Então, esse ponto de corte está relacionado ao domínio desse conjunto de habilidades. Todos os estudantes, isso é um ponto importante, o Enamed foi concebido a partir do Enad, voltado para a avaliação dos cursos, ampliado para o público em geral que tivesse interesse a entrar nas residências médicas, mas todos os participantes, quase 100 mil participantes, recebem um boletim de desempenho individual, então ele serve também a uma avaliação de nível individual, que vai mostrar, inclusive, a sua nota esperada. Obrigado. Vamos falar um pouco dos resultados. Agora eu vou falar dos resultados no nível dos indivíduos, não dos cursos. Nós tivemos ali dos estudantes avaliados, que são quase 40 mil, 67% com resultado considerado proficiente. Do restante do público, que são quase 50 mil outros médicos que fizeram a prova para poder usar esse resultado para entrar na residência, nós temos 81% considerado proficiente. É uma taxa mais alta, que não tem aparecido nas falas, mas é um diagnóstico importante. Na média, no geral, dos nossos quase 90 mil participantes dessa prova, a taxa de participação proficiente é de 75%. Muito mais alta do que o que a gente vem dizendo. Quando a gente fala ali, agora vou focar só nos estudantes, para a gente chegar logo depois na avaliação dos cursos. Nos estudantes, quantos foram inscritos e quantos ficaram proficientes, a gente pode ter recortes diferentes, por exemplo, por categoria administrativa. Eu sei que médico é médico, mas a gente tem formação em diferentes tipos de instituições de educação superior e há diferenças também ali naqueles resultados. com 86% dos seus estudantes demonstrando proficiência, e as instituições municipais, por outro lado, só com 49% dos seus estudantes atingindo esse nível. Ah, passou dois ali. Poderíamos também, eu vou deixar esse slide, não vou comentar aqui, mas fica de curiosidade, poderíamos também avaliar as médias por estado da federação, existem diferenças nas médias estaduais, variando ali por volta dos 59 aos 67 pontos, também tem uma pequena diferença de estado para estado. E aí vou entrar agora na avaliação dos cursos. O recorte do curso, ele tem uma outra lógica. Eu falei, expliquei para vocês como se chegou ao nível de proficiência no nível do indivíduo. Agora, a faixa do conceito do curso depende de quantos por cento dos estudantes daquele curso atingiram esse nível de proficiência. Então, se foi até... até 40% esse curso está na faixa 1, se foi até 60% ele está na faixa 2. A lógica foi mais ou menos essa, deputada, de pensar assim, um curso para chegar na faixa 3, ele precisa necessariamente de ter mais do que a metade dos seus estudantes atingindo o nível de proficiência. Mas nós temos também as faixas 4 com mais de 75% e a faixa 5 com mais de 90% mapeadas. Podemos também fazer essa análise agora da distribuição dos cursos pelas categorias administrativas. Eu marquei ali, em fundo cinza, aquelas duas faixas predominantes, onde tem a maior concentração dos cursos daquela categoria administrativa. Então, a gente pode ver, por exemplo, que as públicas federais e estaduais estão predominantemente nas faixas 4 e 5, enquanto as municipais, por exemplo, e as especiais estão predominantemente nas faixas 1 e 2. diferenciado Também tem aqui um mapinha de intensidade, quanto mais escuro está o estado, maior a concentração proporcional daquele estado, há de instituições que ficaram, cursos que ficaram com conceitos 4 e 5, mas tem ali o número total de todas as faixas por estado. E aí eu queria, já que o meu tempo está esgotando, eu queria fazer um outro comentário que é muito importante. O Enamed é uma evolução do Enad, que é parte do Sistema Nacional de Avaliação da Educação Superior. Esse sistema não é composto exclusivamente por uma avaliação de desempenho de estudantes. É uma parte importante, mas não é exclusivo. Dentro desse sistema, a gente produz uma série de outros indicadores, dos questionários preenchidos pelos estudantes, pelos professores, de resultados do Enem para comparar a entrada desses estudantes, de um conjunto de outras informações. Mas também... Um outro ponto que é fundamental e é um outro grande trabalho do INEP, de visitas organizadas pelo INEP com pares avaliadores, docentes de cursos de medicina, que vão presencialmente a cada um desses cursos verificar as condições de formação dos estudantes. nove itens listados, que são só os títulos dos objetos que vão ser avaliados, mas dialoga muito mais diretamente com a verificação da experiência formativa do estudante, da inserção dele nos campos de prática, da inserção do curso no sistema local e regional de saúde, de uma maneira que a gente vai poder coletar informações muito mais adequadas da formação desse estudante, para, em conjunto com o Enamed, com todos esses outros indicadores, e um diagnóstico mais completo da formação médica no Brasil. Não estou desconsiderando o Enamed, ele é muito importante, ele traz um diagnóstico que era fundamental nesse momento, mas ele precisa também, precisamos continuar as próximas edições e precisamos completá-lo com os outros elementos do Sistema Nacional de Avaliação da Educação Superior. E, por fim, se passar aqui... Só mais um. Obrigado. Não, você voltou. Aqui, esse é o último. Por fim, eu acho que vale destacar que tem algumas diferenças nessa aplicação que são fundamentais e também alguns avanços já para esse ano. Primeiro é o comprometimento dos estudantes com a prova. Não deu para eu trazer aqui, mas se a gente comparar a média do resultado dos estudantes que queriam fazer o Enar, que prestaram o Enar, com a média do resultado dos estudantes que não quiseram fazer o Enar, e esse número é muito pequeno, inclusive, maiores, cerca de três pontos. Então, os estudantes tinham um incentivo à participação aqui, que também era uma crítica antiga ao Enad. Acho que a gente está fortalecendo também o Enari e o processo de entrada nas residências médicas. A partir do momento em que todos os estudantes concluintes dos cursos de medicina no Brasil vão obrigatoriamente fazer essa prova e vão poder usar essa nota para entrar na residência, residência e acho que é algo que vai na direção de aperfeiçoar também a formação médica no Brasil. Nesse conjunto, acho que a gente tem uma avaliação muito mais robusta, capaz de falar sobre a condição de formação desses estudantes, de uma maneira a subsidiar melhor as políticas públicas. Daqui a pouco o Pedro vai falar, já tem decisões de políticas públicas de regulação, de supervisão, de financiamento, aproveitando dessas também já anunciaram que a partir desse ano os estudantes do quarto ano do curso de medicina, antes do ingresso no internato, também farão essa prova, de uma maneira que a gente vai poder dar uma devolutiva para o estudante e para a instituição de educação superior, ainda durante o percurso formativo do estudante, de uma maneira que a própria instituição possa identificar e recuperar a formação daquele estudante, da avaliação caracterizada aqui na Lei dos Sinais. No geral, era isso. Eu fico aqui à disposição para mais perguntas e interações. E, claro, se tiverem mais interesse sobre o Enamed, tem um link aqui que redireciona para o portal do Inep com várias notas técnicas, bases de dados, sinopses, microdados e tudo mais. Muito obrigado.