1. Mestre em Ciências pela FMUSP; Bibliotecária; Consultora do Instituto de Ortopedia e Traumatologia do Hospital das Clínicas da FMUSP (IOT-HCFMUSP).
Endereço para correspondência (Correspondence to): Rua Dr. Ovídio Pires de Campos, 333, 3o andar - 05403-010 - São Paulo, SP. Tel.: (11) 3069-6815.
Vivemos em meio a uma expressiva variedade de informações científicas. Essa realidade, a par de grandes benefícios que promove, traz algumas dificuldades, como as advindas da necessidade de consulta às numerosas publicações existentes. Nessa perspectiva, a análise crítica das publicações que têm níveis de confiabilidade variáveis é indispensável para a tomada de decisões, principalmente na área da saúde.
A constatação desse grande volume de trabalhos na litera-tura é bem exemplificada por Durack, que verifica que o peso do Index Medicus aumenta ano a ano - de 2kg, em 1879, para 32kg, em 1977 - caracterizando dessa forma o número ascendente de artigos disponíveis para consulta e atualização pro-fissional(1).
Castelo et al referem que se tornou impossível para o pro-fissional da saúde ler todas as publicações em sua área para manter-se atualizado e que, baseados na qualidade metodológica da publicação, os estudos relevantes devem ser selecionados, lembrando que, em relação à área de saúde, são publicados aproximadamente dois milhões de artigos por ano em mais de 20 mil revistas(2).
Reis et al, em trabalho nacional, definem a pesquisa como sendo um conjunto de procedimentos sistemáticos baseados no raciocínio lógico, que tem por objetivo encontrar soluções para problemas propostos mediante a utilização de métodos científicos(3). Com o conhecimento dos tipos de estudos e de sua melhor adequação para cada pesquisa, os trabalhos científicos, depois de analisados, são classificados em graus ou níveis de confiabilidade, alguns dos quais estão disponíveis na literatura. Os autores afirmam que, catalogados dessa forma, os mesmos podem refletir o nível da revista que os publica e dos articulistas que nelas expõem seus trabalhos.
Camargo refere que a maioria das publicações nacionais se constitui de estudos retrospectivos que analisam os resultados de procedimento já realizado, geralmente baseado em prontuários e sem a preocupação quanto ao objetivo específico do projeto, critérios de inclusão e exclusão, como foi selecionado o número de casos e se há grupo controle ou se houve randomização(4). Amatuzzi et al enfatizam que a metodologia científica é a análise rigorosa dos métodos pelos quais as informações científicas são obtidas e que, quando aplicada, define o caminho para a busca da verdade, sendo, portanto, necessária na elaboração dos estudos para que, assim, os trabalhos possam ser reprodutíveis a qualquer tempo e seus resultados aceitos sem restrições por serem embasados em evidências comprovadas(5).
Cochrane separa os estudos primários dos secundários: os primários são realizados usando-se amostragem populacional que, trabalhada, responde à pergunta inicial do projeto, sendo, portanto, estudo original no qual a amostra é retirada diretamente da população; os secundários são os que partem de uma pergunta e trabalham determinada amostra populacional já referida, estudada por outros autores em trabalhos metodologicamente corretos e usada como aumento da amostra advinda do somatório dos dados dos diferentes estudos, propiciando a formulação de conclusões seguras e estatisticamente significantes(6). Esses estudos secundários são as "revisões sistemáticas", a forma mais requintada de evidência para tomada de decisão em saúde.
Bhandari et al, reunindo os ensaios clínicos randomizados de 1988 até 2000, analisaram sua qualidade e concluíram que poucos estudos publicados em The Journal of Bone and Joint Surgery são ensaios clínicos randomizados e que mais da metade dos ensaios são limitados pela deficiência oculta de randomização, ausência de resultado cego, ou fracasso para relatar razões de pacientes excluídos.
Afirmam que a aplicação das normas padronizadas para ensaios clínicos em ortopedia deve melhorar a sua qualidade(7).
Esse destaque dado à qualidade dos trabalhos caracteriza os editores e os conselhos editoriais dos periódicos que se apressam em zelar pela excelência dos trabalhos apresentados para publicação. As revistas científicas recebem artigos de autores de sua região de influência, o que reflete o nível da medicina praticada nessas regiões, nas especialidades que representam.
Bachetti menciona que o processo da revisão de estudos por pares tem sido criticado por permitir a publicação com dados estatísticos errôneos, não claros e subotimizados, o que mais comumente afeta o desfecho dos estudos. Esses erros estatísticos permitem conclusões equivocadas em mais da metade dos estudos e o autor sugere que os estatísticos devem rever os trabalhos, desde o seu planejamento até a analise da metodologia empregada e, particularmente, na aplicação dos testes de significância(8).
Preocupadas em introduzir no Brasil conceitos modernos de metodologia para que os estudos aqui produzidos possam ter, nas ciências da saúde, desfechos baseados em evidências comprovadas, as entidades de classe se movimentam, como a Sociedade Brasileira de Ortopedia e Traumatologia (SBOT), que criou uma comissão científica para cuidar do ensino e divulgação da metodologia científica, dando aos centros da especialidade de todo o país apoio e orientação na elaboração de protocolos e implantação de linhas de pesquisa.
Todo esse movimento é apoiado pela Associação Médica Brasileira (AMB) e Conselho Federal de Medicina (CFM) e suas entidades filiadas, pelo Projeto Diretrizes, que tem como meta conciliar informações na área da saúde com o objetivo de padronizar condutas que auxiliem o raciocínio e a tomada de decisões nas ciências da saúde(9). O Projeto Diretrizes, em maio de 2002, elaborou a classificação dos trabalhos científicos, dividindo-os em níveis de evidência(10).
Na pesquisa a que procedemos, usamos a classificação do Projeto Diretrizes na avaliação do nível de evidência dos artigos publicados em duas revistas, sem entrar no mérito da metodologia aplicada por cada um deles, o que será, certamente, objeto de nova proposta dentro de nossa linha de pesquisa.
Escolhemos, dentro da grande área temática da Ortopedia e Traumatologia, classificar, de acordo com os seus níveis de evidência, os artigos publicados durante o período do estudo (1998 até 2002) por duas das principais revistas da especialidade: The Journal of Bone and Joint Surgery (JBJS), a de maior impacto entre as revistas gerais da especialidade, e a Revista Brasileira de Ortopedia (RBO), a mais importante e mais lida do país. Os dados obtidos foram tabelados de modo a permitir sua análise.
Quando a metodologia moderna começou a influir na qualidade dos trabalhos científicos, os erros metodológicos que os invalidavam passaram a ser considerados e corrigidos. Por esse motivo, vários artigos foram publicados em defesa da metodologia, trabalhos que levaram os comitês de revistas médicas não só a controlarem a qualidade de suas publicações, como a elaborar critérios de avaliação.
Os critérios propostos por Moher et al, Donner e Klar e Rennie são adotados pelas mais importantes publicações científicas do mundo(11,12,13). Jadad et al, em 1996, propuseram uma escala de qualidade de artigos científicos com graus de pontuação, baseada em consenso de especialistas(14).
A literatura mostra muitos trabalhos, a maioria de epidemiologistas, que criticam o já escrito até na própria especialidade. Para atenuar esse grande número de trabalhos críticos, Jadad sugere que os ensaios clínicos devam ser avaliados cegamente para evitar o risco de interpretações tendenciosas e, ainda, que essas avaliações devam ser duplo-cegas(15). A avaliação cega já havia sido mencionada por Solomon e McLeod, que referem ser ela a melhor forma de se aprimorar o desenho de uma pesquisa(16).
MATERIAL E MÉTODO
Os trabalhos publicados no JBJS e na RBO nos anos propostos, entre 1988 e 2002, foram todos lidos e classificados em níveis de evidência, de A a D, de acordo com o Projeto Diretrizes da Associação Médica Brasileira e Conselho Federal de Medicina(10). Esta a classificação adotada pelo Departamento Científico da Associação Paulista de Medicina (APM) e que consta na "Orientação aos Colaboradores" da Revista da APM, acrescentando-se critérios referentes a trabalhos experimentais, revisões anatômicas, editoriais, pareceres éticos ou culturais e cursos. A pesquisa que deu origem ao presente artigo foi realizada no IOT-HC-USP.
A leitura foi feita por dois pesquisadores, levando em conta os conceitos necessários à classificação dos trabalhos e, quando houve dúvida na classificação de um artigo, foi consultado um terceiro pesquisador.
Níveis de evidência
Nível A - Revisões sistemáticas de literatura e ensaios randomizados.
Nível B - Estudos prospectivos, prospectivos e retrospectivos com controle, observacionais (coorte).
Nível C - Estudos retrospectivos, relatos e série de casos, experimentais e de anatomia.
Nível D - Opinião de especialista e decisão de consenso, editoriais, cursos e trabalhos sobre ética e custo-benefício.
O Projeto Diretrizes define para a área da saúde a supracitada versão dos níveis de evidência que assumimos nesta pesquisa, nos quais os trabalhos experimentais são considerados como nível C por não poderem ser inteiramente extrapolados para o homem. Todavia, nas duas revistas consultadas, o número de trabalhos experimentais era representativo e a sua qualidade variada. Por esse motivo, separamos em tabela à parte os trabalhos experimentais, dividindo-os em níveis como o fizemos com os demais. Dessa forma, priorizamos aqueles de melhor desenho e os diferenciamos.
Na determinação dos níveis de evidência, usamos termos e definições pertinentes à bioestatística.
RESULTADOS
Verificamos que a maioria dos artigos publicados no JBJS apresenta a sua própria classificação logo abaixo do título do trabalho. Esse fato ocorreu com mais freqüência nos dois últimos anos; notamos a mudança de seu layout a partir de 2001, tornando-se mais moderno e agradável pelo seu colorido, mais atraente. Apresenta também cursos de atualização completos e uma seção nova - Fórum de Ortopedia. O editorial não é publicado regularmente, falhando em alguns números.
Alguns trabalhos publicados na RBO foram referidos no próprio texto como randomizados. Na realidade, não encontramos a descrição do método de aleatorização em diversos deles; somente um referiu no texto o sorteio para a randomização e, mesmo assim, nenhum dos trabalhos descreveu o sigilo de alocação.
O número de artigos publicados em cada uma das revistas e que foram classificados está distribuído por ano, conforme exposto na tabela 1.
Para os artigos nível A, sua distribuição pelas duas revistas está detalhada na tabela 2.
A tabela 3 mostra a distribuição dos artigos nível B.
A tabela 4 mostra a freqüência dos artigos de nível C. Nessa tabela estão inseridos os trabalhos experimentais e os de anatomia, como recomenda o Projeto Diretrizes. Portanto, ambos, sem distinção, foram considerados no mesmo nível. Para os ortopedistas, a graduação dos trabalhos experimentais é importante e não se pode deixar de classificá-los.
A distribuição de artigos de nível D foi equivalente nas duas revistas; não houve significância estatística, como demonstra a tabela 5.
Por essa razão, inserimos uma classificação da Comissão Científica do Instituto de Ortopedia e Traumatologia do HCFMUSP, que expressamos na tabela 6.
O gráfico 1 representa uma síntese de todo o levantamento efetuado, considerando os diversos níveis de evidência para cada revista, distribuídos pelos anos em que foi feito o levantamento. O total de artigos de cada nível, em cada revista, foi considerado em percentuais de acordo com o número total de artigos daquela revista.
O quadro 1 é a síntese da análise das publicações das duas revistas, ano a ano, por nível de evidência.
As duas revistas aumentaram suas publicações de nível A no último ano; enquanto para o nível B o aumento ocorreu somente no JBJS, a RBO manteve estável seu percentual. Para o nível C predominam os artigos da RBO, enquanto em relação ao nível D as duas revistas se igualam.
Na tabela 1 observamos maior número de artigos publica-dos no JBJS e, principalmente, a tendência de ano a ano a aumentá-los. Na RBO houve diminuição do número de artigos publicados a partir de 1999, quando a revista deixou de ser editada com duas seções - uma especializada e outra geral.
Na observação do número de artigos publicados para cada nível e revista, o tratamento estatístico feito mostra diferença significativa nos dados comparativos entre os níveis A e B, com predomínio para o JBJS.
Para as publicações de nível C, houve leve predomínio da RBO, com 78%, contra 70% do JBJS. Para o nível D, houve predomínio de 11% para a RBO contra 9,5%, para o JBJS.
Na análise comparativa consecutiva de todos os artigos e níveis, expressa em percentuais de acordo com o total de artigos publicados em cada revista, verificamos com significância estatística que ambas as revistas tiveram maior percentual de artigos de nível A no ano de 2002 e que, na RBO, nos quatro primeiros anos analisados, predominaram os artigos de nível C e D (gráfico 1).
A intenção do presente trabalho não é só a de analisar o nível de evidência dos trabalhos publicados e a evolução do nível de publicações das duas revistas representativas da Ortopedia e Traumatologia, mas também a de procurar sugerir aos profissionais de saúde modificações nos protocolos de pesquisa para que possam adaptar-se aos conceitos epidemiológicos da metodologia científica, a fim de que os desfechos de seus trabalhos se baseiem em comprovadas evidências que redundem em maior confiabilidade da sua proposta.
Assim, teremos na Ortopedia e Traumatologia um nível que possa permitir aos especialistas segurança na aplicação dos desfechos dos trabalhos científicos que virão a incorporar-se à necessidade do saber e atualização dos profissionais da saúde, sempre objetivando o bem-estar do paciente.
CONCLUSÃO
Apesar das diferenças de publicações de níveis A e B, os índices conseguidos nos permitem concluir que o padrão de qualidade dos artigos nacionais publicados na RBO analisados pela sua classificação em níveis de evidência, sem entrar no mérito de seu conteúdo, pode ser comparado aos trabalhos publicados no JBJS, o que reflete a qualidade da Ortopedia e Traumatologia praticada nos dois países.
2. Castelo A.F., Sesso R.C., Atallah N.A.: Epidemiologia clínica: uma ciência básica para o clínico. J Pneumol 15: 89-98, 1989.
3. Reis F.B., Ciconelli R.M., Faloppa F.: Pesquisa científica: a importância da metodologia. Rev Bras Ortop 37: 51-55, 2002.
4. Camargo O.P.: Novos rumos da publicação científica médica em nosso país. Rev Diagn Trat 7: 42, 2002.
5. Amatuzzi M.L., Amatuzzi M.M., Leme L.A.G. Metodologia científica: o desenho da pesquisa. Acta Ortop Bras 11: 58-60, 2003.
6. Cochrane A.: Effectiveness and Efficiency. Random Reflections on Health Services. London, Nuffield Provincial Hospitals Trust, 1972.
7. Bhandari M., Guyatt G.H., Montori V., Devereaux P.J., Swiontkowski M.F.: User's guide to the orthopaedic literature: how to use a systematic literature review. J Bone Joint Surg [Am] 84: 1672-1682, 2002.
8. Bacchetti P.: Peer review of statistics in medical research: the other problem. BMJ 324: 25, 2002.
9. Projeto Diretrizes. Brasília, AMB/CFM, 1999.
10. Projeto Diretrizes. Brasília, AMB/CFM, 2002.
11. Moher D, Jadad A.R., Nichol G., Penman M., Tugwell P., Walsh S.: Assess- ing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Control Clin Trials 16: 62-73, 1995.
12. Donner A., Klar N.: The statistical analysis of kappa statistics in multiple samples. J Clin Epidemiol 49: 1053-1058, 1996.
13. Rennie D.: Reporting randomized controlled trials. An experiment and a call for responses from readers. JAMA 273: 1054-1055, 1995.
14. Jadad A.R., Moore R.A., Carroll D., Jenkinson C., Reynolds D.J., Gavaghan D.J., et al: Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials 17: 1-12, 1996.
15. Jadad A.R.: Randomized Controlled Trials. London, BMJ Books, 1998.
16. Solomon M.J., McLeod R.S.: Clinical studies in surgical journals - Have we improved? Dis Colon Rectum 36: 43-48, 1993.
