Sobre edição de textos científicos
Dicas e discussões sobre a edição de textos da área científica

0 2220

Artigos open access são manuscritos acadêmicos disponíveis para consulta gratuita na internet, em sua versão completa (não apenas o resumo). Não há cobrança dos leitores, e há respeito à preservação do direito autoral de quem publicou.

A difusão do conteúdo das obras científicas é necessária para o progresso da ciência e, no caso da medicina, para melhorar a saúde das populações. É por meio do acesso às evidências científicas, ao que está sendo publicado internacionalmente em revistas revisadas por pares, que pesquisadores locais podem aprimorar suas investigações e prover o melhor cuidado aos pacientes. O problema é que nem sempre se tem acesso às publicações que trazem essas evidências.

Num passado recente, em que não havia acesso à internet, “estar por dentro” significava frequentar congressos, assinar revistas científicas internacionais (e pagar caro por isso) ou ter contato direto com pesquisadores nacionais ou estrangeiros. O advento da internet facilitou o acesso aos resumos dos trabalhos publicados pelas melhores revistas, que estão indexadas. No entanto, o acesso aos artigos completos ainda era prejudicado, e nem todas os detalhes metodológicos, de resultados e sua discussão podem ser dispostos nos resumos (abstracts). Ou seja, há sempre uma enorme demanda, por parte dos leitores, pela leitura dos artigos completos.

A divulgação dos resultados das pesquisas também interessa aos autores: eles não publicam por dinheiro, posto que geralmente as editoras das revistas não pagam a eles pelas publicações. Esses pesquisadores são pagos pelas universidades e pelos financiamentos à pesquisa que obtiveram para cada trabalho. Os artigos são o relatório dos resultados dessas pesquisas. Eles publicam para terem seus achados divulgados para o maior número possível de pessoas no mundo, fomentando o intercâmbio. No entanto, as grandes editoras de revistas biomédicas ainda têm nas assinaturas das revistas sua principal receita. Portanto, abrir os artigos completos para consulta gratuita pode significar um “tiro no pé” financeiramente.

O movimento do open access foi criado na década de 1990 para prover acesso mundial aos periódicos científicos/acadêmicos gratuitamente, aumentando sua visibilidade, uso e impacto. A solução financeira para o desafio de publicar sem cobrar (nem pelo acesso nem pela assinatura) é cobrir as despesas com diversas alternativas, muitas delas bem criativas: fundos de financiamento de agências de pesquisa, governos e outras instituições, além das próprias universidades e laboratórios que empregam os pesquisadores e que têm suas próprias revistas on line. O dinheiro também pode vir de pessoas ou instituições amigáveis à ideia, como a Fundação George Soros. Algumas editoras têm também oferecido a possibilidade de abrir certos artigos ao público gratuitamente, mas cobram dos autores uma taxa (frequentemente de mais de mil euros) para isso.

É estimado que apenas 20% dos artigos científicos publicados todo ano estão disponíveis gratuitamente (por open access). Alguns estudos já provaram que o sistema open access aumenta o impacto (ou seja, o número de citações, não apenas a visibilidade do estudo) muito substancialmente, seja na comparação entre revistas abertas versus não abertas, seja comparando-se artigos não abertos versus aqueles cujos autores pagaram para que se tornassem abertos após a publicação. Embora as análises tenham sido feitas em áreas como computação, astronomia e física, ao menos teoricamente podem ser transpostas para a área de medicina.

Para os pesquisadores do Pavilhão, vale lembrar a melhor lógica na escolha das revistas para publicar seus artigos: 

– escolher sempre revistas indexadas, que têm maior qualidade e maior visibilidade;

– escolher as revistas com melhor classificação CAPES (geralmente indexadas);

– dentre as indexadas e com bom CAPES, escolher revistas que são open access ou que pelo menos possibilitam a abertura de artigos específicos mediante pagamento do autor: pode sair caro em termos financeiros, mas muito proveitoso em termos de número de citações do artigo (impacto).

 

Para ler mais:

Movimento Acesso Aberto Brasil. Disponível em: http://www.acessoaberto.org/. Acessado em 2010 (30 mar).

Citation Impact of Open Access Articles vs. Articles available only through subscription (“Toll-Access”). Disponível em: http://www.citebase.org/static/isi_study/. Acessado em 2010 (30 mar).

Budapest Open Access Initiative. Disponível em: http://www.soros.org/openaccess/read.shtml. Acessado em 2010 (30 mar).

Timeline of the Open Access Movement. Disponível em: http://www.earlham.edu/%7Epeters/fos/timeline.htm. Acessado em 2010 (30 mar).

Nature. Webdebates. Free online availability substantially increases a paper’s impact. Disponível em: http://www.nature.com/nature/debates/e-access/Articles/lawrence.html. Acessado em 2010 (30 mar).

0 3060

Neste segundo texto sobre a escolha das revistas científicas para onde devemos enviar nossos textos para publicação, vamos falar sobre o fator de impacto, um dos norteadores de nossa decisão. Depois do escopo do trabalho e da revista e da indexação e da classificação Qualis, podemos olhar para o fator de impacto como um critério a ser levado em consideração na escolha.

A visibilidade do artigo científico que desejamos publicar depende não apenas da qualidade do trabalho em si, mas também da visibilidade da revista. Não adianta enterrar um artigo excelente numa revista de menor abrangência ou que é menos lida. (Da mesma maneira como não se consegue colocar um artigo mediano ou fraco em termos de evidência científica numa revista de maior impacto).

O fator de impacto (FI) é a medida do número médio de citações, num dado ano, àqueles artigos de uma revista publicados nos dois anos precedentes.

 

FI 2007 da revista “X” =
 
citações, em 2009, em outras revistas, a
artigos publicados na revista “X”
em 2007 e 2008
 
 
número de textos “citáveis”
publicados na revista “X”
em 2007 e 2008

 

Ou seja, têm maior fator de impacto os periódicos cujos textos são mais citados por outros. Uma revista na qual cada artigo publicado seja, em média, citado uma vez tem FI = 1.

Ressalte-se aqui que não se trata de visualização ou leitura: não se está medindo quantas vezes um artigo foi lido com o fator de impacto, mas quantas vezes ele foi citado por outros cientistas em outros artigos. Por estar baseado em citação, e não em leitura, o fator de impacto é frequentemente usado como um proxy (uma medida indireta, um indicador) da importância da revista em seu campo ou de sua qualidade — embora isso já tenha sido criticado. Também não se fala em fator de impacto de um artigo: fator de impacto é uma medida que se aplica à revista como um todo, levando em conta a média de citações dos artigos publicados por ela em um ano. Assim, publicar em uma revista de elevado fator de impacto não é garantia de citação de um artigo.

Essa tão conhecida medida “fator de impacto” foi criada, há 50 anos, pelo Institute for Scientific Information (ISI), hoje pertencente à empresa Thomson Reuters. O cálculo é um “produto” dessa empresa. Apenas as revistas que têm indexação ISI (ou seja, que cumpriram as determinações para serem indexadas nessa base de dados) têm fator de impacto oficial calculado (e divulgado após três anos do início da indexação). Anualmente, a Thomson divulga o fator de impacto das revistas indexadas no ISI no Journal Citation Report (JCR): as instituições que têm acesso a essa base de dados podem consultar a listagem de fatores de impacto (o serviço não é gratuito). Algumas revistas publicam, em seus sites na internet, seus fatores de impacto calculado no ano precedente, como uma maneira de demonstrar seus bons resultados e atrair mais colaborações.

Embora largamente utilizado para diversos fins, o “fator de impacto” da Thomson Reuters não está livre de críticas. Além das puramente matemáticas, a principal argumentação contra o fator de impacto vem dos próprios editores de revistas científicas, que afirmam que ele não é uma medida objetiva de qualidade editorial:

– não está claro quais tipos de artigo entram na fórmula acima, ou seja, se editoriais, erratas, cartas ao editor não contam, mesmo se forem bastante citadas, então essas citações não “empurram” o fator de impacto da revista para cima ou para baixo. Por outro lado, artigos de revisão são sempre citados muitas vezes, e são levados em consideração na fórmula… portanto, publicar mais artigos de revisão, e menos pesquisa original, faz subir “artificialmente” o fator de impacto de uma revista.

– o fator de impacto demonstraria a popularidade, o prestígio da revista, mas não necessariamente a qualidade científica dos artigos publicados nela. Para que se pudesse inferir qualidade a partir do fator de impacto, ter-se-ia que partir do princípio de que apenas os melhores artigos são citados, o que não é verdade: quantas vezes não citamos artigos justamente como crítica à sua metodologia?

– por considerar apenas os dois anos precedentes, o fator de impacto não seria uma medida de popularidade da revista, mas uma medida da “rapidez de reação” à publicação de certos artigos. Se por qualquer motivo uma revista demorar a chegar às mãos daqueles que se interessam pelos artigos e os citam, o fator de impacto dela diminui, porque essas citações não entram na fórmula (por terem ido além da janela de tempo). De outro lado, artigos clássicos são citados por décadas a fio, o que deveria aumentar o fator de impacto da revista que os publicou… mas não aumenta.

– auto-citação: muitas das citações a artigos publicados em revistas de baixo fator de impacto são feitas por seus próprios autores. Neste caso, o fator de impacto não é influenciado pelo prestígio daquele pesquisador entre seus pares…

Embora o fator de impacto esteja sendo cada vez mais utilizado para medir a reputação dos cientistas — mais do que a reputação das revistas, como originalmente imaginado —, no nosso meio ainda prevalece a procura pelas revistas baseada primeiro no escopo e na indexação, em segundo lugar, na classificação Qualis, e apenas por último no fator de impacto. Isso porque, para o Pavilhão Fernandinho Simonsen, o fator de impacto, com perdão do trocadilho, não terá impacto na valorização dos docentes pesquisadores, enquanto a classificação Qualis, da Capes, é um marcador direto, atualmente, da produção científica interna. Precisamos publicar nas revistas Qualis A e B1 a B3.

Em tempo: além do ” impact factor ” calculado pela Thomson Reuters para as revistas indexadas no ISI, outros “fatores de impacto” vêm sendo criados e calculados, alguns dentro de outras bases de dados. Por exemplo, a base SciELO tem um cálculo de impacto interno. A Revista Brasileira de Ortopedia tem um fator de impacto-SciELO de 0,0309 em 2009, e a Acta Ortopedica Brasileira, de 0,0169. Breve teremos também o fator de impacto JCR da Acta, que acabou de conseguir sua indexação junto à base ISI.

 

Para ler mais:

Thomson Reuters. Science assays. Disponível em: http://thomsonreuters.com/products_services/science/free/essays/. Acessado em 2009 (23 junho).

Thomson Reuters. The Thomson Reuters impact factor. Disponível em: http://thomsonreuters.com/products_services/science/free/essays/impact_factor/. Acessado em 2009 (23 junho).

Thomson Reuters. Using the Thomson Reuters impact factor. Disponível em: http://thomsonreuters.com/products_services/science/free/essays/using_impact_factor/. Acessado em 2009 (23 junho).

European Association of Science Editors. EASE statement on inappropriate use of impact factors. Disponível em: http://www.ease.org.uk/artman2/uploads/1/

EASE_statement_IFs_final.pdf. Acessado em 2009 (23 junho).

SciELO. Impact factor in a two-year basis. Disponível em: http://statbiblio.scielo.br/stat_biblio/index.php?state=05&server_action=%2Fcgi-bin%2Fstat_biblio%2Fxml%2Fscielo1_2.sh〈=pt&YNG%5B%5D=2009&CITED%5B%5D=ACTA+ORTOPEDICA+BRASILEIRA. Acessado em 2009 (23 junho).

 

 

0 2500

 

A escolha de uma revista para onde enviar um trabalho científico é baseada em diversos princípios. O primeiro deles certamente é o escopo do trabalho e da revista. O segundo é a visibilidade da publicação: onde é que meu artigo será mais vezes lido e mais vezes citado?

Um artigo será mais vezes lido e mais vezes citado se estiver publicado em revista de melhor qualidade, justamente as mais consultadas. E quem avalia a qualidade das revistas? Quais os critérios de avaliação?

Periódicos científicos são agrupados ou listados em indexes médicos. O mais tradicional, o Index Medicus, convertido no conhecido Medline, reúne revistas biomédicas (cuja audiência é composta de profissionais de saúde). Seu comitê de seleção de periódicos reúne-se três vezes ao ano para avaliar aproximadamente 140 novas revistas e reavaliar as já indexadas, levando em consideração: o mérito científico (validade, importância, originalidade, contribuição para o campo), os critérios de aceitação de artigos dessas revistas (devem ter revisão por pares, princípios éticos bem esclarecidos), além de periodicidade, formato de publicação e outros.

Da mesma maneira trabalham outras bases “indexadoras”, como os latino-americanos Lilacs e SciELO (que dá acesso a textos completos gratuitamente), o ISI e outras. Todas elas, no entanto, são montadas sob a égide de critérios objetivos e bem descritos de seleção de periódicos, ou seja, revistas que não conseguem coletar artigos suficientes para manter sua periodicidade ao longo do ano (para que a informação efetivamente chegue aos seus leitores), revistas que não cuidam da qualidade de seus manuscritos ou que não têm critérios e sistemas bem definidos de avaliação, revistas sem revisão por pares ou que publiquem textos que não contribuam para o conhecimento científico já estabelecido simplesmente não conseguem indexação. Ser indexada é, portanto, sinal de qualidade de uma revista científica.

Partindo do princípio de que revistas indexadas cuidam de sua periodicidade e comprovam sua distribuição, um artigo publicado em revista indexada terá, naturalmente, mais visibilidade que outro, publicado em revista não-indexada. Quanto maior o número de bases onde cada publicação está indexada, maior a possibilidade de se recuperar artigos por meio das pesquisas nesses indexes (e portanto maior a visibilidade). Há um outro motivo importante para se optar, no Pavilhão Fernandinho Simonsen, por publicar em revistas indexadas: a classificação das revistas pela Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior).

A Capes avalia os programas de pós-graduação que devem continuar a ter permissão do Ministério da Educação para funcionar; e o faz com base em diversos critérios. Um deles é a produção intelectual dos docentes coordenadores dos programas. O sistema Qualis de avaliação de periódicos científicos classifica as revistas em categorias A1, A2, B1 a B5, além de C (nulo), conforme a qualidade das revistas. Essa “indexação Qualis” baseia-se em parte na indexação dos periódicos: os que não estão no Medline, Lilacs ou SciELO dificilmente levam classificação acima de C. Assim, devemos dar prioridade não apenas para as revistas indexadas (em qualquer base) como também atentar para a classificação Qualis dessas publicações, priorizando as que possuem nota A ou B na hora de escolher os periódicos para os quais vamos submeter um artigo.

 

Para ler mais:

Brasil. Ministério da educação. Avaliação da pós-graduação. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Disponível em: http://www.capes.gov.br/avaliacao/avaliacao-da-pos-graduacao. Acessado em: 2009 (20 mai).

Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Critérios de Avaliação Trienal. Triênio Avaliado 2004-2007. Área de Avaliação: Grande área Ciências da Saúde (Medicina I, Medicina II, Medicina III, Odontologia, Farmácia, Enfermagem, Educação Fisíca, Saúde Coletiva). Disponível em: http://www.capes.gov.br/images/stories/download/avaliacao/CA2007_CienciasSaude.pdf. Acessado em 2009 (20 mai).

Brasil. Ministério da educação. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Qualis. Disponível em: http://www.capes.gov.br/avaliacao/qualis. Acessado em 2009 (20 mai).

Ministério da Educação (MEC). Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (CAPES). Diretoria de Avaliação (DAV). Reestruturação do Qualis. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacao/Restruturacao_Qualis.pdf. Acessado em 2009 (20 mai).

United States. National Library of Medicine. National Institutes of Health. Disponível em: http://www.nlm.nih.gov/pubs/factsheets/jsel.html. Acessado em 2009 (20 mai).

Literatura Latino-Americana e do Caribe em Saúde. LILACS. Disponível em: http://bvsms.saude.gov.br/bvs/palestras/base_lilacs.pdf. Acessado em 2009 (20 mai).

 

0 3004

Cientistas geralmente não recebem treinamento formal a respeito de como comunicar adequadamente seus resultados de pesquisa. Só recebem algum tipo de orientação de seus supervisores de mestrado ou doutorado, que podem ter… ou podem não ter essas habilidades. O resultado é que boa parte dos trabalhos submetidos para publicação nas grandes editoras de revistas científicas é composta de artigos longos demais, com clareza de menos e difíceis de classificar por assunto. Artigos que são devolvidos antes mesmo que os editores tenham paciência de lê-los. A melhor maneira de escrever um bom relatório científico é… começar direito. Pelo título.

Bom hábito é, realmente, começar pelo título. Muitos costumam escrever o título de um artigo por último, quando já redigiram todo o texto. Má estratégia. O título de um artigo tem duas principais funções: atrair a atenção dos leitores e ajudar na busca e na indexação do trabalho. Ora, se ao iniciar a redação de um artigo o pesquisador ainda não sabe sobre o que vai falar, é bem provável que o texto saia prolixo, fugindo ao tema, e que não mostre suas conclusões ou principais achados com clareza. Por outro lado, se redige o título inicialmente, tem mais chances de ater-se ao tema, de lembrar-se de relatar o principal achado e de deixar claro qual a utilidade daquele trabalho para o público.

Mesmo durante a realização da pesquisa científica, é um bom exercício pensar sobre qual seria o título do artigo ou dos artigos resultantes. Na hora de realmente começar a redigir o manuscrito, a primeira coisa a ser preparada, e cuidadosamente, é o título — mesmo que ele sofra alterações até a finalização do trabalho — pois ele pode ser a única coisa que os editores, os revisores das revistas e, finalmente, os leitores, vão ler. Esta é a regra número 1 da redação de títulos: redigi-los primeiro . Se desejamos chamar a atenção dos leitores que interessam e descartar os demais, é preciso fisgá-los na primeira oportunidade: o título.

Regra número 2 : concisão. Evitar palavras ou expressões desnecessárias, como “um estudo sobre” (está claro que é um estudo “sobre” algo, deve-se, ao contrário, dizer diretamente sobre o que é). Evitar títulos longos: quando ele está comprido demais, é sinal de que está muito generalizado ou muito específico. Se, ao redigir um título, ele ocupar várias linhas da página, esse é um mau sinal. É preciso tentar condensá-lo ao máximo. Muitas revistas atualmente limitam o número de caracteres ou de palavras do título, numa tentativa de facilitar a solução desse problema. Atenção às instruções para autores. Elas frequentemente nos ajudam a escrever melhor.

Regra número 3 : ação. Se o título contém uma ação, um verbo, de preferência conjugado na voz ativa, há enormes chances de chamar a atenção do leitor. “Tramadol no alívio da dor pós-operatória” é um título vago, que não revela o resultado do trabalho. “Tramadol alivia a dor no pós-operatório” conta-nos a história de um medicamento que foi testado, numa situação específica (o momento do pós-operatório) e que funcionou (aliviou a dor). “Fisioterapia na correção da cifose pós-traumática” nada nos diz sobre o que aconteceu com esses pacientes. “Fisioterapia não corrige a cifose pós-traumática” é muito mais informativo.

Regra número 4 : palavras-chave. Artigos são indexados por palavras-chave, mas a procura por eles em sites de busca na internet (incluindo as bases de dados científicas indexadas, como o Pubmed) varre não apenas as palavras-chave que foram escolhidas pelo autor, mas também, e principalmente, título e abstract. Em primeiro lugar. Assim, deve-se pensar em certas palavras-chave, arroladas nas listas Mesh e Decs*, que devem estar obrigatoriamente no título para chamar a atenção de pessoas que, como o redator do artigo, se interessariam por ele. Geralmente, o nome da intervenção (nova técnica, novo equipamento etc., conforme listados), o nome da afecção que está sendo tratada (exatamente como a lista Mesh) ou a população estudada (“adolescentes”, “idosos” etc.) mostram a que vem o texto.

(*As listas Mesh e Decs são vocabulários controlados para indexação de trabalhos científicos em periódicos médicos. São listas oficiais de termos que se deve usar como palavras-chave para indexar artigos. A Mesh pode ser consultada em http://www.ncbi.nlm.nih.gov/mesh?itool=sidebar, e a Decs em http://decs.bvs.br/)

Sugestão: além de cumprir as regras acima, se seu trabalho é um estudo clínico randomizado ( randomized clinical trial , RCT), uma revisão sistemática ou uma metanálise, chame a atenção para isto no título. Estes são os desenhos de estudo de melhor evidência científica em medicina, e a simples inclusão dessas expressões no título (isso fica fácil após a adição de dois pontos) pode ajudar o leitor a encontrar o que mais interessa em sua pesquisa bibliográfica. (De outro lado, evite dizer “Relato de um caso de fratura do crânio em recém-nascido…”, preferindo simplesmente “Caso de fratura do crânio em recém-nascido…”; ou “Relato de série de casos de artroscopia em…”, preferindo “Artroscopia em…”).

0 6049

Naquela amostra de pacientes, quantos eram brancos? Quantos eram “negros” ou “pardos” ou “orientais”? E por que nos preocupamos em coletar esses dados e reportá-los?

Os conceitos de raça e de etnia vêm evoluindo na pesquisa científica internacional, especialmente depois do advento do projeto Genoma, em que o conceito de raça foi abolido do ponto de vista biológico em humanos. Grupos com diferenças ditas “raciais” não são geneticamente diferenciados: 99,9% do DNA humano é igual para todos. As características físicas que diferenciam “raças” resultam de um número minúsculo de genes que não têm a ver com comportamento ou susceptibilidade a doença.

No entanto, ainda são publicados, todos os dias, artigos na área médica — e na área ortopédica — falando em “pacientes brancos”, “caucasóides”, “orientais” ou “afro-americanos”, misturando raça com etnia, misturando muitos grupos étnicos num mesmo termo (japoneses, mongóis, coreanos, chineses são todos “orientais” ou “amarelos”?) e misturando também razões biológicas (por exemplo, maior incidência de hipertensão entre negros) com razões sócio-econômicas (maior propensão a ter baixo poder aquisitivo e uma dieta inadequada entre negros). A expectativa de vida de um imigrante, por exemplo, pode ser menor que a de um cidadão nativo de um país simplesmente pelo fato de ele ser um migrante, e não por pertencer a uma dada raça ou etnia. Assim, enquanto raça e etnia são freqüentemente usados como “marcadores” ou “indicadores” de outras características sociais (incluindo o acesso a cuidados em saúde), perpetua-se o uso inadequado desses termos.

No Brasil, o Instituto Brasileiro de Geografia e Estatística (IBGE) definiu, nos últimos censos, que o indivíduo se auto-declare como sendo da raça branca, preta, parda, amarela ou indígena. Também nos Estados Unidos, o indivíduo é questionando sobre suas origens, sendo que pode marcar mais de uma. Essa prática de auto-declaração é considerada mais adequada do que a categorização do indivíduo pelo pesquisador. Ainda assim, muitas diferentes origens (como de vários países europeus ou asiáticos) podem precisar ser agrupadas ao fim da análise estatística nas pesquisas biomédicas, mesmo que o questionário traga perguntas abertas a respeito de raça e etnia. No Brasil, isso é ainda mais relevante: como categorizar (inclusive para fim estatístico) um paciente filho de judeu casado com japonesa? Ou filho de chinês casado com italiano? Como “branco”?

Perguntar a raça apenas como um reflexo automático (“já que estamos na frente do paciente, vamos aproveitar”…) pode se revelar uma perda de tempo, cientificamente falando, se nenhuma questão clínica estiver claramente relacionada com essa característica do paciente. O fato de que se tem disponível o dado “raça” num banco de dados pode não ser razão suficiente para cruzar essa informação com os desfechos clínicos de interesse ¾ e com muita frequência esse cruzamento se revela infrutífero em termos de relevância clínica. Se a raça está sendo usada como um marcador para outra variável mais difícil de medir (como “acesso a transporte”), deve-se justificar claramente essa escolha. Afinal, perguntar diretamente sobre a renda, acesso a educação ou ao hospital pode ser mais proveitoso do que pressupor que, numa dada localidade, “não-brancos” são maltratados (num bairro como o da Liberdade, em São Paulo, a categoria “não-branco” incluiria japoneses? Chineses? Coreanos?…).

Se a raça ou etnia é usada para investigar dados epidemiológicos, há que se considerar se os termos usados descrevem as pessoas conforme sua raça e etnia realmente ou conforme o lugar onde vivem. Por exemplo: a incidência de câncer do estômago entre japoneses vivendo no Japão é maior do que a dos japoneses vivendo nos Estados Unidos. Assim, para as variáveis ligadas ao tema “câncer e hábitos dietéticos”, o que importa não é a origem étnica somente, mas a localização geográfica e as influências do local nos hábitos do indivíduo. Em ortopedia, talvez altura e peso tenham maior relevância do que a pigmentação da pele. Exercício e transporte público podem ser cruciais para o tratamento de doenças articulares, por exemplo, mais do que a origem étnica. E a percepção a respeito de saúde e doença talvez importe mais para a avaliação da dor e qualidade de vida do que os olhos puxados do japonês que suporta essa dor.

Algumas orientações, entretanto, já são consenso entre os editores e muitos pesquisadores e podem ser úteis na hora de planejar o projeto de pesquisa e de redigi-lo:

– a escolha de termos “anti-racistas” pode ser contraproducente: nem todo negro é “afro-americano”, nem muito menos “afro-norte-americano”. Muitos negros têm origem caribenha, mesmo que seus antepassados tenham tido origem africana. E muitos negros vivendo no Brasil pode, sim, ter origem direta (pai, avô) africana, e de diferentes nações, cultural e socialmente definidas, africanas. “Negro” ou “preto” ou “de cor” indicam cor da pele, não raça nem etnia. E “o quanto” negro é outra questão vaga, pois pode-se agrupar, num mesmo resultado clínico, negros, mulatos (claros e escuros), “pardos” e até brancos que pensam ser negros por terem pais negros ou mulatos…  

– cuidado com o uso dos termos “raça” e “etnia” como definidores de variáveis: se o autor do trabalho descreve claramente como coletou o dado, a interpretação dos resultados fica mais transparente. “Raça” já não faz mais sentido geneticamente, enquanto “origem étnica” pode ser um dado mais sensível para diferenciar grupos, posto que traz componentes culturais e sociais, incluindo dieta, hábitos sexuais e de fumo. “Raça” mostra pessoas que “se parecem” ou não visualmente, enquanto “origem étnica” revela a herança cultural, social e até genética do indivíduo (judeus asquenazes e sefaradis são todos judeus, e “brancos”, mas com diferentes incidências para certas doenças genéticas, por exemplo, por outro lado a China é um dos países em que mais se fuma no mundo, mas chineses e japoneses têm sido colocados na mesma “sacola” de “amarelos” nos estudos, embora tenham hábitos tabagistas diferentes…).

– descrever os critérios para coleta do dado: deve-se informar no manuscrito se o paciente foi questionado quanto à sua origem ou se o pesquisador fez essa classificação ao olhar para ele; e quando o sujeito foi questionado, se a pergunta foi aberta, para que ele respondesse como bem quisesse, ou se lhe foram dadas alternativas fechadas, e quais foram elas (afinal, “hispânico” pode não fazer sentido para um brasileiro, assim como “mulato” pode não ser uma alternativa para um chileno).

– descrever as razões para o estudo desse dado: em dermatologia, o nível de pigmentação da pele pode ser crucial na definição de algumas doenças. Mas em ortopedia, por que anotar a cor da pele? Qual a hipótese em que se baseia o estudo dessa variável? Há evidência científica de boa qualidade mostrando que a cor está relacionada com esta ou aquela afecção ou resposta a tratamento? No que a raça ou mesmo a etnia podem ser relevantes para o estudo? Definir isso no projeto de pesquisa e, mais adiante, na redação do manuscrito, é muito importante para a correta interpretação dos resultados. Esta é uma recomendação do Comitê Internacional de Editores de Revistas Biomédicas (ICMJE): “Quando os autores usam variáveis como raça ou etnia, devem definir como mediram essas variáveis e justificar sua relevância”.

 

Para ler mais:

Winker MA. Measuring race and ethnicity: why and how? Jama 2004;292:1612-4. Disponível em:

http://jama.ama-assn.org/cgi/content/full/292/13/1612. Acessado em 18/03/2009.

World Association of Medical Editors. Race and ethnicity: how do we describe people? Disponível em: http://www.wame.org/wame-listserve-discussions/race-and-ethnicity-how-to-we-describe-people. Acessado em 18/03/2009.

Bhopal R, Rankin J. Concepts and terminology in ethnicity, race and health: be aware of the ongoing debate. BDJ 1999;186:483-4. Dsponível em:

http://www.nature.com/bdj/journal/v186/n10/full/4800147a.html. Acessado em 18/03/2009.

Canadian Medical Association Journal. Scientific reporting of ethnicity, age, sex and race. CMAJ 2000:162:1393. Disponível em:

http://www.cmaj.ca/cgi/content/full/162/10/1393. Acessado em 18/03/2009.

Carter-Pokras O, Baquet CR, Poppell CF. Re: “Four-year review of the use of race and ethnicity in epidemiologic and public health research”. Am J Epidemiol. 2004 Aug 15;160(4):403-4. Disponível em:

http://aje.oxfordjournals.org/cgi/content/full/160/4/403. Acessado em 18/03/2009.

Crespo CJ, Smit E, Andersen RE, Carter-Pokras O, Ainsworth BE. Race/ethnicity, social class and their relation to physical inactivity during leisure time: results from the Third National Health and Nutrition Examination

Survey, 1988-1994. Am J Prev Med. 2000 Jan;18(1):46-53.

Hui ACF, Wong SM. Race and ethnicity in medical research. Hong Kong Med J 2003;9:312. Disponível em: http://www.hkmj.org/article_pdfs/hkm0308p312.pdf. Acessado em 18/03/2009.

Pfeffer N. Theories of race, ethnicity and culture. BMJ 1998; 317(7169):1381-4. Disponível em: http://findarticles.com/p/articles/mi_m0999/

is_1998_Nov_14/ai_53340590. Acessado em 18/03/2009.

0 1931

 

Várias revistas científicas em ortopedia têm, atualmente, exigido que os autores indiquem qual o nível de evidência dos trabalhos no momento da submissão para publicação. Essa categorização facilita o trabalho de revisão e também ajuda o editor a tomar decisões: obviamente que os trabalhos com melhor nível de evidência são preferidos.

Quanto mais alta a classificação, melhor a qualidade da evidência científica que o estudo provê, ou seja, mais adequadas respostas aos questionamentos clínicos ele é capaz de fornecer. Os estudos clínicos randomizados e as metanálises (revisões sistemáticas com estudo estatístico) estão no topo da lista, com nível I de evidência. Os outros estudos inspiram, aprimoram metodologia e abrem caminho para a realização dos melhores.

Abaixo segue uma tabela de classificação de níveis de evidência em estudos utilizada por revistas da área de ortopedia. É um importante, claro e prático material de consulta tanto para quem já está em vias de publicação quanto para quem está desenhando seu projeto de pesquisa: por vezes, a simples adição de um detalhe (um grupo controle, um aumento da taxa de acompanhamento ( follow-up ) dos pacientes, pode fazer um estudo saltar de uma para outra classificação — e ter mais chances de publicação.

 

Estudos terapêuticos

Investigando o resultado de tratamentos

Estudos prognósticos

Investigando o efeito de uma característica do paciente na evolução da doença

Estudos diagnósticos

Investigando um teste diagnóstico

Análise de decisão e economia

Desenvolvendo um modelo econômico ou de decisão

Nível I

•  Estudo clínico randomizado de alta qualidade, com diferenças significativas ou sem diferenças significativas mas com intervalos de confiança estreitos

•  Revisão sistemática de estudos nível I com resultados homogêneos entre os estudos e consistentes

•  Estudo prospectivo de alta qualidade (todos os pacientes arrolados no mesmo momento da doença, com acompanhamento de 80% ou mais dos pacientes), e o estudo começou antes do arrolamento do primeiro paciente

•  Revisão sistemática de estudos nível I

•  Teste de um critério diagnóstico desenvolvido previamente em pacientes consecutivos (com um teste “padrão ouro” universalmente aceito)

•  Revisão sistemática de estudos nível I

•  Custos sensíveis e alternativas; valores obtidos de vários estudos; com análise múltipla de sensibilidade

•  Revisão sistemática de estudos de nível I

Nível II

•  Estudos clínicos randomizados de mais baixa qualidade: por exemplo, com menos de 80% de acompanhamento ou com randomização inadequada

•  Estudo comparativo prospectivo (estudo começou antes do arrolamento do primeiro paciente, e comparando pacientes tratados de uma maneira com pacientes tratados de outra na mesma instituição)

•  Revisão sistemática de estudos nível I ou II com resultados inconsistentes

•  Estudo retrospectivo

•  Grupo de controles não tratados de um estudo clínico randomizado

•  Estudo prospectivo de menor qualidade (por exemplo, pacientes arrolados em diferentes momentos de sua doença ou com acompanhamento completo de menos que 80% deles)

•  Revisão sistemática de estudos de nível II

•  Desenvolvimento de critérios diagnósticos em pacientes consecutivos (com um “padrão ouro” universalmente aceito)

•  Revisão sistemática de estudos nível II

•  Custos sensíveis e alternativas, valores obtidos de estudos limitados, com análise múltipla de sensibilidade

•  Revisão sistemática de estudos nível II

Nível III

•  Estudo de caso controle baseado em desfecho (pacientes com um desfecho comparados com controles com outro desfecho clínico)

•  Estudo retrospectivo (estudo iniciado após o arrolamento do primeiro paciente) e comparativo (pacientes tratados de uma maneira, comparados com os tratados de outra maneira)

•  Revisão sistemática de estudos nível III

•  Estudo de caso controle

•  Estudo de pacientes não consecutivos, sem um “padrão ouro” aplicado consistentemente

•  Revisão sistemática de estudos nível III

•  Análise baseada em alternativas limitadas e custos; e com estimativas pobres

•  Revisão sistemática de estudos nível III

Nível IV

Séries de casos (pacientes tratados de uma maneira sem comparação com outros)

Série de casos

•  Estudo de caso controle

•  Referência de padrão pobre

•  Estudo sem análise de sensibilidade

Nível V

Opinião do especialista

Opinião de especialista

Opinião de especialista

Opinião de especialista

 

1 19729

Revisão sistemática da literatura é um tipo de estudo cada vez mais utilizado atualmente na busca por evidências científicas em medicina. Diferentemente das revisões de literatura simples ou narrativas, a revisão sistemática responde a uma questão formulada especificamente e expõe, a priori, seu método sistemático e predefinido de trabalho.

Assim, enquanto numa revisão de literatura narrativa o autor escolhe os artigos que quer ler e relatar de acordo com critérios subjetivos, pessoais, na revisão sistemática ele tem de estabelecer antes as “regras do jogo”: quais são as bases de dados em que vai buscar publicações, quais são as palavras-chaves utilizadas na pesquisa, quais são as línguas dos artigos incluídos e quais são os critérios de exclusão dos artigos. Tal como num artigo original ou experimental, a revisão sistemática tem, portanto, um capítulo chamado de “métodos” em que justamente o método de pesquisa, coleta de sujeitos (no caso, as publicações) e de análise dos resultados são claramente predefinidos. Assim, mesmo que não resulte em achados úteis, ela pode ser reproduzida, com o mesmo método, algum tempo depois. Além disso, a possibilidade de viés de seleção de artigos se reduz bastante.

Outra característica importante das revisões sistemáticas é que elas podem possibilitar a avaliação quantitativa dos resultados. Assim, quando uma revisão sistemática inclui pelo menos dois artigos, é possível, dentro de determinados critérios de qualidade, reunir os resultados numéricos de todos num pool único. O método estatístico aplicado nesse procedimento é chamado de metanálise. Revisões sistemáticas de literatura que contêm também metanálises são muitas vezes chamadas, simplesmente, de “metanálises”. As metanálises analisam os resultados numéricos de todos os estudos incluídos em conjunto, como se fossem um único estudo com enorme amostra de pacientes.

Revisões sistemáticas e metanálises permitem que a enorme e crescente quantidade de informação em saúde seja transformada em conhecimento com utilidade clínica. As revisões reúnem, organizam, avaliam de forma muito crítica e mensuram quantitativamente os resultados, de maneira que possibilitam a produção de diretrizes clínicas para tomada de decisões na área de saúde, por médicos e administradores, tanto do setor público como do privado.

O Centro Cochrane e a Universidade Federal de São Paulo publicam diversos cursos e manuais sobre a elaboração de revisões sistemáticas e metanálises. Algumas sugestões de textos contendo o passo-a-passo dessa importante tarefa estão listadas abaixo.

 

Para ler mais:

Aula 1. Revisão sistemática com ou sem metanálise. Disponível em: http://www.virtual.epm.br/cursos/metanalise/

conteudo/modulo2/aula1/passos2.htm. Acessado em 7 de abril de 2009.

Castro AA. Revisão sistemática e meta-análise. Disponível em: http://www.metodologia.org/meta1.PDF. Acessado em 7 de abril de 2009.

Castro AA. O que é necessário para fazer uma revisão sistemática. Disponível em: http://www.metodologia.org/lv5_rsl03.PDF. Acessado em 7 de abril de 2009.

Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam Consultation on Meta-Analysis. J Clin Epidemiol 1995, 48:167-171.

Cook DJ, Mulrow CD, Haynes RB: Systematic reviews: synthesis of best evidence for clinical decisions. Ann Intern Med 1997, 126:376-380.

Imperiale TF. Meta-analysis: when and how. Hepatology 1999, 29:26S-31S.

 

0 1

Como abordado na última Dica do Centro Estudos, é intensa atualmente a discussão a respeito da dificuldade que a área cirúrgica tem de adotar os padrões de qualidade da medicina baseada em evidências na realização de estudos científicos. Postula-se que os estudos de melhor nível de evidência são as revisões sistemáticas e os estudos clínicos randomizados. No entanto, menos de 5% dos artigos publicados em revistas de cirurgia são estudos clínicos randomizados, o que mostra que esse paradigma ainda não foi incorporado à área cirúrgica.

Além das tradições dos grandes centros cirúrgicos e da autoridade dos renomados cirurgiões (que ratificam a publicação de enormes e repetidas séries de casos, baseadas no seu expertise pessoal), da dificuldade em transmitir para o acaso o destino do paciente (na aleatorização, não é o cirurgião quem decide qual tratamento seu paciente receberá, mas o sorteio) e da resistência em receber como certa para o indivíduo a evidência coletada num grupo (em cirurgia, geralmente as populações arroladas para os estudos são heterogêneas), há também algumas outras dificuldades especiais que tornam o assunto um especial desafio. Tem havido, de fato, resistência dos cirurgiões à realização de pesquisas no desenho de estudos clínicos randomizados. As justificativas vão desde a dificuldade da montagem e implementação desses estudos até uma certa oposição à idéia de questionar a própria prática.

Em cirurgia, problemas técnicos específicos do ambiente cirúrgico (instrumentos, próteses, uso de material biológico etc.) ou da variação normal das técnicas entre os indivíduos, ou mesmo a indicação da cirurgia (e portanto a seleção de pacientes para cada estudo) são dificuldades impostas à realização de trabalhos prospectivos, especialmente em ortopedia, mais ainda se forem aleatorizados. Por exemplo: como garantir a ocultação do tratamento designado para o paciente e para o cirurgião ( blindness )? O que pode ser muito fácil com uma pílula placebo, semelhante fisicamente à pílula com medicamento, em cirurgia pode ser impossível.

O momento de iniciar o estudo clínico também é uma questão crucial: em que ponto da curva de aprendizado de uma determinada abordagem cirúrgica se devem iniciar esses estudos? O período de treinamento das técnicas cirúrgicas pode desviar resultados, e está intimamente ligado ao risco, inerente a toda cirurgia, mas maior ainda em cirurgias experimentais — risco ao qual se submete o paciente incluído no estudo.

Além dessas dificuldades, muitas vezes o desfecho que se analisa em cirurgia tem evolução muito lenta (por exemplo, consolidação, recuperação de função, diminuição de taxa de fraturas), o que, aliado à raridade de casos em certas afecções, faz com que rapidamente a intervenção testada se torne obsoleta. Encontrar casos que se encaixem num grupo e controles rigorosamente semelhantes que se encaixem em outro para comparação pode ser realmente trabalhoso para o cirurgião.

O caminho, apontado por especialistas em medicina baseada em evidências, é a realização inicial de revisões sistemáticas sobre o assunto em questão, seguida da implementação de estudos clínicos prospectivos, porém sem randomização, para só então iniciar os estudos clínicos randomizados sobre os assuntos de maior relevância e impacto clínico para a população. Cientes das dificuldades inerentes ao tipo de estudo e à área ortopédica, os cirurgiões podem prever antecipadamente suas soluções, já no momento do projeto.

O consenso geral, no entanto, é de que a área da cirurgia está muito carente de estudos clínicos randomizados, que têm um valor inerente, em termos de evidência científica, não alcançado pelos relatos de séries de casos. Ou seja, ainda que seja complicado implementar esse tipo de estudo, há muitas questões ainda sem resposta em ortopedia, justamente porque as séries de casos não são capazes de respondê-las. Algumas evidências importantes em saúde só poderão ser obtidas com estudos clínicos randomizados. Há que se produzi-los.

 

Para ler mais:

Cook JA. The challenges faced in de design, conduct and analysis of RCTs. Trials 2009;10:9.

Byer A. The practical and ethical defects of surgical randomized prospective trials. J Med Ethics 1983;9:90-3.

McCulloch P, Sasako M, Lovett B, Griffin D. Randomised trials in surgery: problems and possible solutions. BMJ 2002;324:1448-51.

Stirrat GM. Ethics and evidence based surgery. J Med Ethics 2004:30:160-5.

0 1528

A prática da medicina tem, nos últimos anos, procurado se basear nas evidências de melhor qualidade que surgem de estudos clínicos “randomizados” e de metanálises. Porém, a realização desses estudos clínicos prospectivos na área da cirurgia é ainda um especial desafio: menos de 5% dos artigos publicados em revistas de cirurgia são estudos clínicos randomizados, o que mostra que esse paradigma ainda não foi incorporado à área cirúrgica.

Enquanto na área farmacológica os estudos clínicos aleatórios são a regra, em cirurgia, ainda prevalece o desenho retrospectivo ¾ a mentalidade é “vamos ver o que tem acontecido”, mais do que “vamos testar o que pode acontecer”. São assim os relatos de casos, os estudos longitudinais comparativos e as grandes séries de casos, de um único cirurgião ou uma única equipe ¾ e todos freqüentemente competindo entre si quanto ao tamanho da casuística.

A publicação desses relatos com freqüência está mais baseada na respeitabilidade do autor no meio do que no rigor da investigação científica ¾ mais facilmente atribuído aos estudos clínicos randomizados. Gerações de cirurgiões são formadas debaixo da tutoria dos grandes especialistas, cuja autoridade é difícil de questionar, e a própria indicação de um procedimento cirúrgico envolve uma mentalidade prática, uma tomada de decisão muitas vezes urgente (para condições agudas) no benefício do paciente, à beira do leito.

Ainda que o desenho do estudo clínico randomizado seja hoje considerado o menos sujeito a vieses e o que promove a produção de evidências de melhor qualidade, há quem defenda a disseminação dessas observações isoladas ¾ os relatos de casos e de séries de casos ¾, mesmo contendo vieses, pois elas podem, no final das contas, inspirar novas idéias de novos estudos… prospectivos. De fato, em cirurgia, a realização de estudos clínicos randomizados a respeito de várias técnicas só ocorreu depois que essas mesmas técnicas já haviam se tornado tradição nos centros, e foram repetidamente relatadas em diferentes locais.

A produção do conhecimento em ciência envolve alguns passos básicos: a idéia, que surge de uma crença ou de uma observação casual, “anedotal”, ou mesmo do desenvolvimento de um pensamento, depois a elaboração da hipótese, o teste dessa hipótese por meio da coleta de dados e sua aplicação na prática. No desenho retrospectivo de estudos, a aplicação da intervenção foi decidida pelo cirurgião, de acordo com seu julgamento do que é o melhor tratamento disponível para seu paciente individualmente, e, pelo menos teoricamente, pelo princípio de não causar dano (non nocere, a não-maleficência).

Já no desenho prospectivo e randomizado, esse mesmo cirurgião perde o poder de designar este ou aquele tratamento para seu paciente específico, e o arrola aleatoriamente para um grupo que poderá obter melhor ou pior resultado. O desígnio do tratamento passa então para as mãos do acaso: tanto um quanto outro grupo terão as mesmas chances de receber o melhor tratamento, seja ele qual for. A escolha não é mais pessoal, do cirurgião, e nem mesmo do paciente, mas do protocolo.

Há quem argumente contra a medicina baseada em evidências postulando que o que é bom para um grupo (frequentemente heterogêneo) de pacientes pode não ser bom para o sr. João da Silva, sentado na sala de espera para que seu médico decida se deve ou não ser operado, com esta ou aquela técnica. Aparentemente, a cirurgia vai precisar dialogar com a medicina baseada em evidências numa via de mão dupla: por um lado, a experiência clínica do cirurgião e seus conhecimentos sobre patofisiologia podem pesar na balança na hora da tomada de decisão. Por outro, o cirurgião precisa estar cada vez mais aberto a questionamentos, impostos pelos estudos clínicos randomizados, a respeito da real eficácia dos procedimentos comparados com placebo, ou comparados com outras modalidades de tratamento (inclusive as não-cirúrgicas). Assim, ao mesmo tempo em que a experiência clínica questiona a medicina baseada em evidências, também as evidências podem ser colocadas no contexto da expertise pessoal.

Quais os motivos das dificuldades de se realizar estudos clínicos randomizados numa área predominantemente cirúrgica como a ortopedia? Confira a abordagem desses problemas na próxima Dica do Centro de Estudos! 

 

Para ler mais:

Cook JA. The challenges faced in de design, conduct and analysis of RCTs. Trials 2009;10:9.

Byer A. The practical and ethical defects of surgical randomized prospective trials. J Med Ethics 1983;9:90-3.

McCulloch P, Sasako M, Lovett B, Griffin D. Randomised trials in surgery: problems and possible solutions. BMJ 2002;324:1448-51.

Stirrat GM. Ethics and evidence based surgery. J Med Ethics 2004:30:160-5.

0 1606

Como divulgado na última Dica do Centro de Estudos, existem muitas portas de acesso a resumos de artigos científicos publicados, e algumas vias para se obter os textos completos gratuitamente. Uma destas é o portal ” .periódicos. Capes “, mantido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), órgão do Ministério da Educação.

Professores, alunos, residentes, estagiários e funcionários do Pavilhão Fernandinho Simonsen têm, desde o ano passado, permissão para o uso desse portal para conseguir acesso direto aos artigos completos publicados internacionalmente em mais de 12 mil revistas, 110 só da área de Ortopedia. A partir do Portal Capes, é possível buscar por meio de bases de dados conhecidas, como o Medline, o Lilacs, o Scopus e outras, ou acessando diretamente os nomes das revistas. Ao encontrar um artigo de uma revista que compõe o acervo do Portal Capes, é possível baixá-lo na íntegra gratuitamente.

O acesso é possível a partir de computadores, ligados à internet, que estejam localizados no ambiente do Hospital Central e da Faculdade de Ciências Médicas da Irmandade da Santa Casa de Misericórdia (SCMSP). Os computadores que têm acesso ao Portal Capes são os que estão na rede da Santa Casa (e têm servidores da Santa Casa como provedores de acesso à internet). Computadores pessoais (desktops ou laptops) cujos números de identificação (IP) não forem cadastrados como sendo de propriedade da Santa Casa não terão acesso. Ao tentar o acesso ao Portal Capes de computadores não cadastrados, aparecerá uma mensagem na tela dizendo que o número IP da máquina não é reconhecido.

Como não é possível oferecer o serviço para todos (ou seja, cadastrar todos os IPs de todos os computadores de todo o pessoal), o acesso ao Portal Capes está disponível a partir da sala do Centro de Estudos Waldemar de Carvalho Pinto Filho, no Pavilhão. Além disso, professores e alunos da Faculdade podem obter uma senha para acesso remoto, a distância, a qualquer hora do dia, junto à Biblioteca e à Central de Processamento de Dados (CPD) da Faculdade.

Se o acesso ao Portal Capes estiver difícil, esclarecimentos podem ser obtidos junto às bibliotecárias da Biblioteca da Faculdade ou junto à CPD. Os contatos estão abaixo. Boa pesquisa!

 

Portal.periódicos.Capes:

http://www.periodicos.capes.gov.br/portugues/index.jsp

 

Biblioteca da Faculdade: 

3367.7736 ou 3367.7735 ou 3367.7737

 

E-mail: 

sonia.arevalo@fcmscsp.edu.br 

sadia.mustafa@fcmscsp.edu.br

 

CPD da Faculdade: 

3367.7819 ou 3367.7821

ÚLTIMAS PUBLICAÇÕES