Alcançar posições e se manter em níveis de excelência ou apenas sobreviver no mercado mundial do conhecimento tem desafiado as universidades a encarar os rankings de cursos superiores com profundidade.

Embora não sejam um fenômeno novo — a elaboração desse tipo de classificação começou no jornalismo no início dos anos 1980, por iniciativa da revista norte-americana US News & World Report de medir instituições dos Estados Unidos —, foi a partir do início do século XXI que começaram a ganhar expressão mundial.

A universidade se tornou peça-chave para a estratégia de produção global e de posicionamento de um país no capitalismo internacional. Possuir uma instituição internacionalmente reconhecida abre caminhos para sua entrada na cadeia internacional de produção do conhecimento (Balbachevsky, 2014) e faz diferença na competitividade e investimentos na respectiva nação.

Os rankings são instrumento decisório, tanto para os estudantes, no momento de escolherem a universidade onde pretendem estudar, quanto para empregadores na hora de contratar jovens profissionais e para o próprio governo ao estabelecer políticas orçamentárias para o ensino superior.

Mas esse tipo de classificação também levanta a discussão sobre os critérios utilizados para avaliar e classificar o ensino superior. Será que os rankings realmente conseguem avaliar a qualidade global da universidade?

É preciso ter um olhar crítico sobre os rankings universitários. As inúmeras variações metodológicas e parâmetros utilizados nos indicadores não raro geram discrepâncias de avaliação. É comum universidades — renomadas — serem bem avaliadas em um ranking, enquanto em outro perdem várias posições.

Há parâmetros utilizados nos rankings que possuem certa objetividade. Número de livros e artigos publicados, citações, montante de recursos obtidos por meio de convênios, quantidade de prêmios e colaborações internacionais são alguns exemplos.

Por outro lado, certos parâmetros, como a reputação das universidades no mercado de trabalho, são uma variável subjetiva que pode resultar em um rebaixamento de determinadas instituições. E isso não quer dizer que a qualidade dessas instituições seja inferior às outras. Se, em vez disso, fosse medida a taxa de empregabilidade de egressos, certamente o resultado seria diferente.

Por que os rankings universitários são utilizados?

Segundo, a pesquisadora Ellen Hazelkorn, diretora da Unidade de Pesquisa em Política de Educação Superior da Dublin Institute of Technology, Irlanda, a popularidade dos rankings surgiu em razão do formato simples e fácil para análise das comparações de performance e qualidade do ensino superior em escala internacional.

Para Hazelkorn, “Isso é especialmente importante para estudantes, empregadores e outros que têm pouco ou nenhum conhecimento local sobre as diferentes instituições e qualidade da experiência educacional”.

Do ponto de vista do estímulo à atuação das universidades e importância delas para o desenvolvimento das nações, em 2012 a então primeira-ministra da Jamaica, Portia Simpson-Miller declarou que “Rankings universitários são um modo de animar a academia a se manter relevante. Qualquer país, se quiser se tornar ou se manter forte, deve ter uma forte base universitária”.

RUF

O Ranking Universitário Folha (RUF), por exemplo, é um dos principais recursos de avaliação das universidades brasileiras, e por seu peso jornalístico tornou-se uma referência principalmente por estudantes, pais, gestores de instituições de ensino, governo e outros órgãos de imprensa. Classifica atualmente as 195 melhores universidades e apresenta um ranking dos 40 cursos com mais ingressantes.

Sua composição baseia-se em indicadores comuns em rankings internacionais consolidados, mas também apresenta indicadores que avaliam o cenário brasileiro. A cada edição, assim como acontece em quase todos os rankings, são feitos ajustes. Tanto que a Folha de S.Paulo não publica nem estimula comparações entre uma edição e outra. A disponibilidade de dados muda, assim como o que se entende sobre qualidade de ensino superior.

Para o ranking das universidades, foram reunidas informações a partir de cinco indicadores, com diferentes pesos na nota final:

Indicador Porcentagem Dados
Pesquisa científica 42% Total de artigos científicos publicados nos periódicos;Número de citações para cada artigo científico publicado pela universidade;

 

Publicações e citações por docente;

Publicações em revistas nacionais;

Valor médio dos recursos financeiros recebidos de agências nacionais e estaduais de fomento à pesquisa obtidos por cada docente;

Docentes produtivos com bolsa do CNPq;

Número de teses defendidas por docente.

Qualidade do ensino 30% Pesquisa Datafolha com 2.224 docentes distribuídos pelo país para analisar a qualidade dos cursos; porcentagem de mestres e doutores; porcentagem de professores em dedicação total ou parcial; nota do Enade.
Mercado de trabalho 18% Opinião de 5.793 profissionais de recursos humanos consultados pela Datafolha nos últimos três anos sobre preferências de contratação.
Internacionalização 4% Média de citações internacionais recebidas por trabalhos acadêmicos dos docentes da universidade; Porcentagem de publicações em coautoria internacional em relação ao total de artigos acadêmicos publicados pela instituição.
Inovação 4% Pedidos de patentes nos últimos dez anos.

Já o ranking dos melhores cursos do país é feito com base em dados nacionais e internacionais e duas pesquisas Datafolha, abrangendo o universo dos 40 cursos com mais ingressantes no Brasil. São levados em consideração os seguintes aspectos:

Indicador Porcentagem Dados
Ensino 64% Pesquisa Datafolha com 2.224 docentes distribuídos pelo país para analisar a qualidade dos cursos; porcentagem de mestres e doutores; porcentagem de professores em dedicação total ou parcial; nota do Enade.
Mercado 36% Opinião de 5.793 profissionais de recursos humanos consultados pela Datafolha nos últimos três anos sobre preferências de contratação.

 

Os dados coletados pela equipe organizadora do RUF são provenientes do Censo da Educação Superior Inep-MEC (2015), Enade (2013-2015), Inpi (2006-2015), SciELO (2013-2015), Web of Science (2013-2015), Capes, CNPq e fundações estaduais de fomento à ciência (2015), além de duas pesquisas nacionais do Datafolha.

Indicadores do MEC

Atualmente, o MEC utiliza quatro indicadores de qualidade da educação superior. Esses possuem relação direta com Exame Nacional de Desempenho de Estudantes (Enade) e servem como instrumento de avaliação, regulação e supervisão dos cursos universitários e das IES.

Analisar os resultados do Enade possui um peso relevante para que a IES tenha condições de perceber seu posicionamento no mercado de produção do conhecimento.

Em 2016, foram avaliados cursos de bacharelado e tecnólogos em 18 áreas, as quais abrangeram 4.400 cursos e 195.757 de meio ambiente e saúde, produção alimentícia, recursos naturais, militar e segurança. Confira os indicadores:

Enade

Destinado a alunos ingressantes e formandos nos cursos avaliados. O objetivo é mensurar o conhecimento dos estudantes sobre os conteúdos aprendidos no curso de graduação, habilidades e competência, de acordo com as diretrizes curriculares de cada curso. Os resultados são utilizados na composição dos demais índices de qualidade relativos aos cursos e às instituições (como o CPC e o IGC).

Conceito Preliminar de Curso (CPC)

Trata-se de um conceito preliminar sobre a situação dos cursos de graduação no Brasil. É composto pelas notas do Enade e dados institucionais a respeito da titulação dos docentes, percentual de docentes que cumprem regime parcial ou integral (não horistas), recursos didático-pedagógicos, infraestrutura e instalações físicas. São atribuídos valores de 1 a 5, sendo que 5 é o mais alto. Este conceito vai determinar a renovação do reconhecimento dos cursos.

Conceito de Curso (CC)

Este é um conceito permanente gerado após a visita do MEC às IES que tiveram cursos com CPC 1 e 2. Esses serão automaticamente incluídos no cronograma de avaliação in loco. Já os cursos com nota igual ou maior que 3 têm o poder de decidir não receber a visita do MEC e transformar o CPC em CC.

Índice Geral de Cursos (IGC)

O IGC condensa em um único indicador a qualidade de todos os cursos de graduação e pós-graduação stricto sensu de cada IES brasileira. Para a graduação, utiliza-se o CPC dos cursos, enquanto na pós-graduação emprega-se a nota Capes, que retrata os resultados da avaliação dos programas de pós-graduação, promovida pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). O IGC também vai de 1 a 5, e pode ser confirmado ou alterado pelo CI, nos mesmos moldes do CPC. É como se fosse o ranking do Ministério da Educação.

Além desses, há o Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD), que pode auxiliar bastante os estudantes na transição do ensino médio ao superior, no processo de decisão sobre a universidade onde desejam estudar.

O IDD é um componente do CPC e vem sendo utilizado desde a primeira edição do Enade. Verifica o valor agregado pelo curso ao desenvolvimento dos estudantes concluintes, ponderando os desempenhos no Enade e no Enem, como forma de aproximação das suas características de desenvolvimento ao ingressar no curso de graduação avaliado.

Foi criado na tentativa de descobrir o quanto as IES auxiliaram os alunos após saírem da faculdade, já que o Enade não faz distinção se o aluno já era competente quando entrou na faculdade ou se seu desempenho foi graças à qualidade do ensino.

Quais são os desafios desse tipo de avaliação?

Quando se fala em rankings sempre surgem críticas com relação a problemas metodológicos e de coleta de dados. Alguns desses inconvenientes são:

  • critérios de seleção de indicadores;
  • ponderação e peso atribuído aos mesmos;
  • erros na coleta e processamento de dados;
  • falta de transparência e replicabilidade dos resultados.

A orientação metodológica é o principal elemento de diferenciação dos rankings. Parte deles se baseia em métodos quantitativos que avaliam a produção do conhecimento, incluindo indicadores comparativos. Há, ainda, os rankings que se apoiam na reputação das instituições, opinião de consumidores dos serviços educacionais, alunos, familiares e empregadores.

Dessa forma, para analisar os rankings é fundamental conhecer detalhadamente a metodologia utilizada e saber quais os indicadores absolutos e relativos que estão sendo empregados, bem como seu impacto sobre o posicionamento das universidades (Santos, 2015).

Os principais rankings internacionais

A criação, em 2003, do Academic Ranking of World Universities (Arwu), apelidado de “Classificação ou Índice de Xangai”, realizado pelo Instituto de Educação Superior da Universidade Shangai Jiao Tong (China), estimulou um boom de sistemas globais de avaliação.

A partir do Arwu sugiram outras propostas que conseguiram grande aceitação. Alguns exemplos são Leiden Ranking, QS World University Ranking (QS), Times Higher Education Ranking (THE), Scimago Institution Ranking (SIR) e Web of World Universities (Webometrics).

Hoje existem pelo menos 15 sistemas internacionais (Takata, 2015) e estima-se em cerca de 50 rankings nacionais. Confira alguns dos rankings globais mais respeitados:

Arwu (China)

Foi o primeiro movimento de classificação internacional de universidades. O objetivo inicial foi comparar quanto as universidades chinesas estavam distantes das universidades de “classe mundial”.

O Índice de Xangai classifica as 500 universidades com maior desempenho acadêmico e em pesquisa. Seus indicadores medem produção científica, número de pesquisadores com maior número de citações, professores ou antigos alunos que tenham recebido prêmio Nobel ou Medalha Fields, publicações em revistas de prestígio, professores com dedicação em tempo integral à instituição (Arwu, 2014).

THE (Reino Unido)

Apareceu em 2004, como suplemento do jornal britânico The Times. Relaciona as 200 melhores universidades do mundo. Para tanto, utiliza 13 indicadores por meio dos quais propõe analisar o desempenho das universidades em missões básicas: ensino, pesquisa, citações-impacto, influência em pesquisa, internacionalização e transferência de conhecimento-inovação.

Desde 2009, o THE acontece em parceria com a agência Thomson Reuters (Santos, 2015).

QS (Reino Unido)

Surgiu em 2009, após o rompimento da empresa de consultoria educacional Quacquarelli Symonds com o jornal The Times. A empresa seguiu de forma independente com a metodologia original do THE, da qual é detentora do copyrights de edição (tanto que as edições de 2004 a 2009 não estão disponíveis para consulta no site do THE).

O estudo passou a chamar-se QS Rankings, e a divulgação acontece em parceira com jornais dos Estados Unidos, Reino Unido, Coreia do Sul e França. São analisados quatro critérios de avaliação: impacto, orientação internacional, qualidade de ensino e reputação (Santos, 2015).

Webometrics (Espanha)

Também surgiu em 2004. É um ranking produzido pelo Laboratório Cibermetría, pertencente ao estatal Conselho Superior de Investigações Científicas, principal entidade da Espanha de fomento à pesquisa.

Seu foco está em classificar as universidades de maior atividade e visibilidade na internet (atividades universitárias, gestão, serviços, qualidade do ensino e pesquisa, entre outros). É publicado em julho e janeiro e permite a classificação de universidades por país e região.

A análise acontece a partir de dados publicados na web aberta e indexados pelos motores de busca. Mais de 22 mil instituições 5 mil universidades são ranqueadas (Webometrics, 2014; Santos, 2015).

Leiden Ranking (Holanda)

Produzido pelo Centro de Estudos de Ciência e Tecnologia da Universidade de Leiden, teve os primeiros resultados publicados em 2008. O objetivo do Leiden é comparar as exclusivamente a amplitude da pesquisa nas universidades.

As universidades são avaliadas de acordo com seu desempenho na produção científica, tendo como base oito indicadores que elencam citações, publicações e impacto (Leiden, 2014; Santos, 2015).

SIR (Espanha)

Apareceu no cenário internacional em 2009, produzido pelo grupo de pesquisa espanhol Scimago. Não se trata de uma tabela de faculdades. O objetivo, neste caso, não é ranquear as instituições, mas, sim, fornecer informações úteis às instituições, governos e gestores de pesquisa científica.

Os organizadores entendem que os relatórios devem ser analisados por faixas de distribuição, e as IES são classificadas de publicações com base na contagem de dados em uma base específica (SIR, 2014; Santos, 2015).

O cenário brasileiro

Ao analisar o posicionamento das universidades brasileiras nos rankings internacionais, bem como os rankings universitários brasileiros, entre os quais o RUF é o que mais se aproxima em metodologia, é preciso compreender o cenário Brasil do ensino superior.

Os países onde foram idealizados os rankings, por seu peso internacional, desejam ter instituições em destaque. Ocupar altas posições nos rankings garante às universidades viabilidade financeira, pois serve de atração para estudantes e professores de todo o mundo.

Somente nesse aspecto de visibilidade já há diferenças brutais em relação ao Brasil. As dimensões continentais do país e a ampla desigualdade socioeconômica brasileira atingem em cheio o desempenho das nossas universidades, desde a infraestrutura ao número de titulações e pesquisadores de uma região para outra.

É preciso que o governo estabeleça duras políticas de incentivo à produção científica e a pesquisa dentro das universidades, não basta fazer os alunos ingressarem nas faculdades. Conforme afirma o ex-reitor da USP, Roberto Lobo, “o Brasil é o único país que ainda não implantou a meta de colocar suas melhores universidades entre as primeiras posições dos rankings internacionais”.

Além disso, a preocupação das IES em produzir e disponibilizar dados para pesquisas é recente. A organizadora do RUF, Sabine Rigetti, afirma que “Existem muitas limitações de dados. Há muitos dados de pesquisa, poucos dados de ensino e praticamente nenhum sobre extensão”.

A situação é mais complexa com relação aos egressos, Rigetti diz que “Nenhuma instituição de ensino superior do país sabe onde está seu egresso. Quer dizer, o país não sabe, o MEC não sabe, a gente está criando cursos, aprovando cursos, definindo políticas sem saber se quem faz Física se forma e trabalha em Física, se quem faz Jornalismo, Medicina… Não se tem a mais vaga ideia. Não existe esse indicador”.

Por esse motivo, os rankings não podem ser observados de maneira linear, pois eles não representam uma verdade incontestável. É preciso olhar para eles com múltiplo foco, para observar a diversidade de informação, e saber internamente, nas IES e o próprio governo, qual é o conceito de universidade que o Brasil deseja fomentar.

Como avaliar o impacto dos rankings na sua IES?

Guardadas as polêmicas em torno das metodologias e do conceito de qualidade das IES, é notável que os rankings universitários servem como instrumento para que as próprias instituições se atualizem com vistas a conseguir boas posições, de acordo com seus valores e missão no mercado do conhecimento, e tracem estratégias para a captação de alunos.

No mundo todo, as IES com melhores colocações utilizam-se das informações dos rankings para explorar a propaganda e marketing educacional. No Brasil, em especial, que está apostando no ingresso de mais alunos no ensino superior, a utilização desses índices com fins de divulgação é intensa.

Estar em uma posição de destaque é o sonho de qualquer IES. Por isso, analisar os rankings é fundamental para a compreensão de como esses dados podem ser úteis para de estratégias pedagógicas e organizacionais.

Os rankings subsidiam o pensamento e o planejamento estratégicos. Estão na agenda de grande parte dos executivos, e a maioria das IES procede à análise deles, dirigida por alguém do conselho diretor (Hazelkorn, 2009). Eles permitem que uma universidade tenha condições de construir seu perfil (nacional e internacional) e contribuem para o desenvolvimento da reputação da IES.

Além disso, as universidades mais bem colocadas possuem ampla preocupação com a internacionalização. E esse diálogo com entidades internacionais ainda é um ponto fraco no Brasil, o que se torna impeditivo para muitas IES ampliarem sua visibilidade.

O principal é a IES ter em mente qual é o seu conceito, a sua missão e quais os recursos precisa alcançar o patamar esperado. Por esse motivo, o desempenho dos estudantes no Enade é um tipo de ferramenta a ser trabalhado pela IES junto à comunidade estudantil e acadêmica.

A partir do Enade desdobram-se outros indicadores como o citado IGC, uma espécie de ranking universitário MEC, um indicador de extrema relevância para o ensino superior brasileiro. Além de apontar dados importantes para nortear ações pedagógicas, o IGC possui amplo apelo midiático. Esse entendimento está levando muitas IES a um empenho cada vez maior em preparar os alunos para o Enade.

Existe um limite para fazer a avaliação das universidades?

Todos os rankings possuem a tendência de avaliar as universidades sob uma única dimensão, a partir do momento que são estabelecidos indicadores. Por mais que sejam coletadas informações variadas sobre a atividade da IES, os números são somados para criar indicadores únicos.

Para a pesquisadora Elizabeth Balbachevsky, do Departamento de Ciência Política e do Núcleo de Pesquisas em Políticas Públicas (NUPPs) da USP, “com isso, necessariamente dão mais atenção para um aspecto do que outros. E o ensino superior é uma atividade multifuncional. Nem sempre uma boa instituição de ensino é uma boa instituição de pesquisa”.

Ela também comenta sobre a dificuldade de se medir a qualidade do ensino. Como a pesquisa possui dados palpáveis, como “o impacto que as publicações têm, com grandes prêmios como o Nobel”, esses indicadores acabam por determinar a qualidade das IES.

Embora os rankings sejam importantes, Balbachevsky vê a necessidade de um tipo de avaliação condizente com a realidade brasileira, em que temos de “partir para algo mais moderno, além de olhar as instituições segundo uma única métrica. Precisamos olhar segundo um múltiplo foco e ver essa diversidade”.

O que a gestão da instituição de ensino deve fazer sobre o assunto?

Estabelecer uma estratégia de gestão com o intuito de melhorar o posicionamento nos rankings é resultado de uma série de escolhas. Antes de mais nada, ao utilizar os rankings como parâmetro de crescimento e posicionamento institucional, é preciso repensar a IES como um todo.

Qual o conceito da minha IES? Está na pesquisa ou no ensino? Na colaboração internacional ou na atuação regional? Em que os rankings importam para mim?

Respondidas perguntas como essas, o próximo passo é verificar quais indicadores fazem sentido para a instituição. Algumas ações internas podem contribuir para melhorar o planejamento estratégico da IES (Hazelkorn, 2009):

1. Pesquisa

Estabelecimento de objetivos individuais para os professores e departamentos e recompensa aos professores com publicação em periódicos muito citados.

2. Organização

Fusões entre instituições ou agrupamentos de disciplinas, incorporação de institutos autônomos pela IES, estabelecimento de capacidade de pesquisa institucional.

3. Currículo

Aumento de atividades de pós-graduação.

4. Estudantes

Recrutamento para estudantes com forte desempenho e programas de intercâmbio.

5. Corpo docente

Busca por professores de alto calibre e salários condizentes com mérito/desempenho e recompensas para alto desempenho.

6. Marketing

Profissionalização/implantação de setores de comunicação, marketing e relações públicas e aumento da internacionalização.

 

Temas como os rankings de cursos superiores sempre devem inspirar profunda reflexão por parte dos gestores das IES, órgãos públicos, mercado e a sociedade em geral. Assine nossa newsletter para receber informações que podem fazer a diferença para o bom desempenho de sua instituição.