http://repositorio.febab.org.br/files/original/45/4713/SNBU1996_039.pdf 5e3c83eaf0949a45abfcb5c901a2c8db PDF Text Text 6.1 INDICADORES DE AVALIAÇÃO PARA COLEÇÕES DE PERIÓDICOS DAS BIBLIOTECAS UNIVERSITÁRIAS BRASILEIRAS: REFLEXÕES SOBRE O ESTUDO DAS REVISTAS DO INSTITUTO DE FILOSOFIA E CIÊNCIAS HUMANAS - IFCH - UNICAMPErro! Indicador não definido. Maria Alice Rebello Nascimento* RESUMO Apresentam-se, a partir de um projeto-piloto em desenvolvimento na UNICAMP, indicadores de avaliação para as coleções de periódicos em bibliotecas universitárias brasileiras, objetivando oferecer metodologia que estabeleça parâmetros semelhantes, com vistas à racionalização de recursos e desenvolvimento da pesquisa e da capacitação nacional. 1 INTRODUÇÃO Os processos avaliatórios em Ciência e Tecnologia, no Brasil, não constituem novidade. Embora avaliações existam desde a década de 70 e perpassem todos os órgãos de fomento à pesquisa, como é o caso do CNPq, CAPES, FINEP, FAPESP etc., o processo avaliatório é ainda incipiente. O País não dispõe de indicadores comparáveis e sistêmicos que possam ajudar a repensar a política científica e tecnológica nacional de maneira abrangente. Os indicadores convencionais de avaliação, além de extremamente diferenciados entre os vários órgãos de financiamento, dizem respeito à competência * Diretora Técnica da Biblioteca do Institutode Filosofia e Ciências Humanas da Universidade Estadual de Campinas - IFCH/UNICAMP �6.1 profissional de docentes e pesquisadores e à qualificação das instituições de pesquisa. Até agora os indicadores eleitos no processo avaliatório tratam da produção científica e institucional. Porém, a avaliação dessa produção requer indicadores que contemplem os meandros do processo de pesquisa, ou seja, as condições de pesquisa e suas ferramentas de trabalho. Tais critérios, raramente pensados, permitem completar o ciclo avaliatório do processo de pesquisa e são imprescindíveis para subsidiar a política científica e tecnológica nacional. No tocante à questão da análise das ferramentas de trabalho, com o objetivo de dimensionar a produção científica, é possível pensar na necessidade de estabelecimento de relações entre indicadores de C&T versus coleções de bibliotecas das universidades brasileiras, esforço conjunto de bibliotecários e pesquisadores, estabelecimento de indicadores para países em desenvolvimento e, ainda, estudos bibliométricos versus estudos qualitativos. A revisão de literatura efetuada permite constatar que a abordagem de estudo, do ponto de vista de ferramenta de trabalho, como indicador da produção científica e tecnológica, não tem sido objeto de preocupação de pesquisadores. Poucos são os estudos de especialistas envolvidos com indicadores de C&T e que acreditam na importância da avaliação da coleção como objeto de estudo. Quando o �6.1 tema é abordado, as coleções das bibliotecas têm sido tratadas muito mais como uma pesquisa eventual. Ao abordar a questão do perfil de excelência da pós-graduação norteamericana, CASTRO registra que "cumpre mencionar a ausência, nos exercícios realizados, de algumas variáveis perfeitamente quantificáveis. A experiência norteamericana revela, por exemplo, forte associação entre a reputação dos cursos e o acervo das bibliotecas especializadas que os servem. Eventualmente, esta informação poderia ser coletada para o caso brasileiro" (CASTRO, 1986). VILLASMIL, ao tratar da questão da avaliação de programas de pósgraduação, afirma que é essencial "a disponibilidade de recursos de informação através de bibliotecas, centros de informação e documentação." (VILLASMIL, 1995). IRVING e MARTIN, pesquisadores da Science Policy Research Unit (SPRU) da Universidade de Sussex, no capítulo abordado por CASTRO, preocupados com a avaliação institucional, trabalham com indicadores parciais convergentes estruturados e que são baseados na estratégia de utilizar um número grande de indicadores parciais. Esse estudo apresenta características bastante diferenciadas dos demais métodos já utilizados, tratando de "comparar apenas instituições rigorosamente da mesma área e, se possível, que tenham equipamentos comparáveis." (SCHWARTZMAN, 1986). É claro que o relato retrata uma experiência na área tecnológica, com equipamentos de grande porte bem definidos. Entretanto, a biblioteca, enquanto laboratório de pesquisa e armazenadora de fontes de pesquisa nacionais, regionais e de alcance internacional, se não for possuidora de fontes adequadas, provoca diferenças e dificuldades na pesquisa. �6.1 Por último, a Conferência das Nações Unidas, ao abordar a questão da produção científica, detecta as dificuldades de pesquisa nos países periféricos. Relata que "os serviços de publicações e o acesso às revistas recentes são mais limitados nos países em desenvolvimento." (UNITED NATIONS, 1991). Por outro lado, o esforço conjunto de bibliotecários e pesquisadores é fundamental na busca de consolidação de indicadores de C&T. O bibliotecário, anualmente, é solicitado a contribuir no preenchimento de formulários dos órgãos de fomento e na coleta de dados para fins institucionais. Porém, trata-se de dados quantitativos que pouco contribuem para a análise da produção científica e tecnológica do País e, mesmo, para repensar os rumos institucionais. Todavia, se, por um lado, a literatura biblioteconômica é abundante em estudos de bibliometria para as análises das coleções de bibliotecas, de centros de informação e de documentação, esses estudos ocorrem à revelia da comunidade acadêmica e científica. A interação não é buscada nem na apresentação dos resultados e tampouco na discussão dos métodos empregados. Por outro lado, a comunidade científica e acadêmica ignora os estudos feitos por bibliotecários, mas, ao mesmo tempo, dispõe de uma literatura própria sobre o assunto. Ao percorrer a literatura, na área de produção científica, e ao analisar as bibliografias referenciadas, constata-se a inexistência de citações de trabalhos elaborados por bibliotecários. �6.1 É fundamental que bibliotecários e pesquisadores intercambiem experiências na área, a fim de que se possam compor indicadores nacionais que abordem a produção científica, do ponto de vista quantitativo e qualitativo. Se indicadores de pesquisa produzem resultados consistentes e fidedignos, a prática da avaliação das ferramentas de trabalho subsidia os avanços e os retrocessos da pesquisa propriamente dita. Há que se proclamar indicadores comuns que caminhem em direção ao estabelecimento de uma real política científica e tecnológica. Há evidências de que o processo avaliatório não é uma tarefa fácil. A margem de erros e inconsistência é significativa e deve ser objeto de preocupação e cuidados. De fato, pode ainda se constituir num instrumento de controle e poder. NEAVE conclui que "não se trata, portanto, de um mero fantasma a idéia de que a avaliação institucional possa constituir um instrumento poderoso de controle do estado sobre as universidades e, sim, de distribuição de sua autonomia" (NEAVE, 1986-1988). O estabelecimento de indicadores para países em desenvolvimento talvez possa assegurar indicadores diferenciados em relação à produção científica dos países centrais. Para tanto, é preciso pensar em institucionalizar múltiplos processos de avaliação, em busca de indicadores úteis aos países periféricos e que propiciem maior adequação para a política de composição da coleção e de formação de acervo desses países, de acordo com os objetivos da pesquisa local. ALBORNOZ salienta que "podemos observar um atraso relativo da América Latina... no que se refere a disponibilidade de informação confiável como a adoção de metodologias homogêneas e a elaboração de séries comparáveis" p.1). (ALBORNOZ, �6.1 No Brasil, para traçar uma política em C&T é recomendável a criação de indicadores comparáveis. Porém, as atividades de C&T são desenvolvidas em universidades e centros de pesquisa atrelados aos diversos ministérios, sem que haja integração entre eles. Para que haja um sistema de C&T no País há necessidade de um projeto de desenvolvimento, isto é, um Plano Nacional de Desenvolvimento em C&T que perpasse os vários ministérios e, assim, detalhe os critérios de avaliação e seus possíveis indicadores. WOLYNEC lembra que "há que se implantar um Sistema de Informações e Controle para obtenção de indicadores. Neste caso, Controle significa que as informações são cruzadas com outras para se verificar o grau de confiabilidade..." Diz ainda "estando a avaliação das universidades públicas do país estabelecida, seria importante a definição de um conjunto de indicadores que permitissem comparação entre instituições. Essas comparações auxiliariam as próprias universidades a identificar onde há necessidade de esforços para melhorar a eficiência e o desempenho. A avaliação deve, em princípio, comparar custos e desempenho" (WOLYNEC, 1989). BRISOLLA também enfatiza a necessidade de criação de bases de dados de publicações que contemplem os indicadores bibliométricos da atividade científica dos países periféricos e que consigam resgatar não só a produção científica publicada em línguas hegemônicas e dentro das regras internacionais, mas a de abrangência e com �6.1 cobertura de toda a literatura cinzenta local. "Os indicadores do conhecimento científico gerado são de fácil obtenção. O número e a qualidade das publicações onde quase sempre são divulgados os resultados da atividade científica constituem os indicadores bibliométricos, que são os melhores indicadores da área... Seria necessário, portanto, desenvolver indicadores mais sensíveis à produção dos países em desenvolvimento, que deveriam criar seu próprio sistema de estatísticas bibliométricas. Para isso é necessário não só recursos financeiros e conhecimentos específicos para o tratamento dos dados, como também para tratar questões conceituais de como definir o que constitui uma publicação científica." (BRISOLLA, p.11). Observa-se, atualmente, que quanto mais ativo e produtivo for o ambiente científico, mais freqüentes e rigorosas são as rotinas de avaliação vigentes. Nos países centrais, que lideram o universo da ciência, cultiva-se um complexo sistema de avaliação. A própria prática de financiamento transita por mecanismos onde a avaliação tem considerável peso. O vínculo entre avaliação e financiamento é hoje claramente constatado, à medida que os recursos ficam mais escassos e a comunidade científica cresce exponencialmente. Daí, discutir uma metodologia quantitativa, utilizando a bibliometria para fins de avaliação da coleção de periódicos da universidade, embora insuficiente, como se verifica no transcorrer do trabalho. Porém, é fundamental para dar início ao processo de repensar outras variáveis qualitativas, relacionadas ao final do trabalho. �6.1 2 Avaliação da Coleção de Periódicos Assinados pela UNICAMP-PROJETOPILOTO Em 1993, o Sistema de Bibliotecas da UNICAMP, através de um projetopiloto, efetuou a avaliação da Coleção de Periódicos Assinados pela Universidade. 2.1 UNIVERSO DA PESQUISA O estudo, com caráter de projeto-piloto, foi aplicado nas bibliotecas de Ciências Tecnológicas, compostas pelas Biblioteca da Área de Engenharia (BAE), o Centro de Tecnologia (CT) e Faculdade de Engenharia de Alimentos (FEA); de Ciências Biomédicas, representadas pela Faculdade de Ciências Médicas (FCM) e Instituto de Biologia (IB); de Ciências Exatas com o Instituto de Física (IF) e, finalmente, de Ciências Ciências Humanas (IFCH). Humanas com a participação do Instituto de Filosofia e Optou-se por trabalhar somente com os títulos assinados pela Universidade - 3519 títulos, o que representou 50% da coleção assinada. Não foram incluídos os títulos recebidos por intercâmbio e/ou doação, mesmo em se tratando de títulos correntes. �6.1 2.2 OBJETIVOS Dentre os vários objetivos específicos de fundamental importância, ressaltase o objetivo geral do projeto - busca de consolidação de metodologia, através de um elenco de critérios, para fins de análise das coleções de periódicos em bibliotecas universitárias brasileiras. 2.3 METODOLOGIA A literatura biblioteconômica nacional e internacional recuperou vários estudos de análise de coleções de periódicos de bibliotecas. Porém, todos os trabalhos optaram por um ou dois critérios, sem se ater à coleção em todos os seus aspectos. MULLER demonstra que "nenhum critério sozinho parece ser suficientemente confiável" (MUELLER, 1991). A metodologia empregada previu uma ampla gama de variáveis, permitindo equalizar todos os critérios numa única ponderação, de maneira a ser possível a comparação. Todos os critérios estão enquadrados numa escala de 0 a 100 pontos para efeito de normalização. A coleta de dados ocorreu no período de maio a novembro de 1993. Os critérios - uso da coleção e custo - tiveram tabelas próprias de escalonamento em respeito às características próprias das áreas do conhecimento. Por exemplo, a altíssima circulação de um periódico nas Ciências Humanas, isto é, peso 100, significa que o título em questão circulou 10 vezes. Já nas Ciências Biomédicas significa ter circulado 100 vezes. �6.1 No uso da coleção chegou-se aos denominadores próprios de cada área, após se ter testado a circulação separadamente, de acordo com as unidades participantes do projeto. Foram analisados os números de circulação e decidiu-se pela distribuição em faixas. Para a análise de custo, o valor de cada assinatura foi convertido da moeda original para o dólar americano, de acordo com a taxa de câmbio oficial (para todas as moedas) e em dia determinado e adequado às variações de custo nas diferentes áreas do conhecimento. 2.4 CRITÉRIOS Os critérios para a avaliação dos periódicos ficaram definidos em três grandes níveis: nível local (institucional), nível nacional e internacional. 2.4.1 Nível Local a) uso da coleção; b) consulta à comunidade docente; c) prioridade pré-estabelecida pelas Comissões de Bibliotecas; d) análise de custo. �6.1 2.4.2 Nível Nacional a) inserção do título na Lista Básica da CAPES; b) status do título no CCN - Catálogo Coletivo Nacional. 2.4.3 Nível Internacional a) inclusão do título em fonte de referência e/ou base de dados. 3 ANÁLISE DA COLEÇÃO DO IFCH O projeto piloto permitiu ao IFCH dar continuidade às análises da coleção de periódicos. O universo de pesquisa dos periódicos assinados pelo IFCH é composto de 403 títulos, distribuídos entre as áreas de Filosofia, Política, Sociologia, Antropologia, História e História da Arte. O resultado da avaliação da coleção de revistas do IFCH, tabulados através do software SAS, classificou os periódicos, de maneira abrangente, por ordem de interesse decrescente. Partiu-se para a análise de cada critério, promovendo-se, em alguns momentos, cruzamentos entre dois dos critérios para verificar a mobilidade de cada título no ranking da coleção. A idéia é estabelecer a core collection das revistas e, também, discutir possíveis cancelamentos, manutenções e incorporações de novos títulos, com o elenco do ranking final. �6.1 NÍVEL LOCAL Esses critérios visavam respeitar a própria estrutura institucional. Aí estão contemplados os critérios relativos ao volume de uso, às opiniões de docentes, à lista de prioridades estabelecidas anteriormente pelas Comissões de Bibliotecas e, também, às questões referentes ao custo e orçamento. 3.1 USO DA COLEÇÃO Os dados de uso da coleção referiam-se à sua especificação quantitativa, a partir da circulação interna e externa, durante um período pré-estabelecido. Os dados eram de consulta, empréstimo local, comutação, xerox e empréstimo entre bibliotecas dentro e fora da universidade. Como já relatado, respeitaram-se as características próprias de cada área do conhecimento, ou seja, os títulos foram enquadrados através do volume de circulação de cada área. A partir do maior e do menor movimento de uso em todas as bibliotecas envolvidas no projeto-piloto, estabeleceram-se a média e os demais parâmetros, bastante diferenciados entre as diversas áreas do conhecimento, e foi feita sua correspondência com a escala abaixo. �6.1 USO DA COLEÇÃO Conceito Peso altíssimo 100 alto 75 médio 50 baixo 25 nenhum 0 Inicialmente, dispunha-se de valores de uso absolutos no período, que foram padronizados com base na divisão por quartis, significando que para o conjunto dos valores ordenados em ordem de grandeza, o valor médio que divide o conjunto em duas partes iguais é a mediana. Por extensão, os valores que dividem o conjunto em quatro partes iguais são denominados quartis, sendo o segundo quartil igual à mediana. O peso 25 corresponde, então, aos valores compreendidos até o primeiro quartil; o peso 50 para os valores entre o primeiro quartil e a mediana; o peso 75 para os valores entre a mediana e o terceiro quartil e o peso 100 para os valores superiores ao terceiro quartil. O peso 0, ou seja nenhum uso, por coerência corresponde ao valor 0 dos dados originais. �6.1 3.2 CONSULTA À COMUNIDADE DOCENTE Para a coleta de dados empregada, diante do oneroso trabalho de se realizar uma pesquisa censitária que contemplasse o universo docente como um todo, optouse pela análise através de um plano amostral. Sorteou-se (sem reposição) 20% do total de professores de cada departamento constantes nas unidades contempladas. Os docentes receberam a lista de periódicos para análise, acompanhada da escala abaixo, para que se conceituasse o grau de importância de cada título. Solicitou-se, ainda, a indicação, se fosse o caso, de título de interesse não constante da lista, utilizando-se, para isso, a mesma tabela de conceituação. A última solicitação tinha como objetivo detectar os títulos inexistentes na universidade, bem como apontar títulos que talvez compusessem a lista de outra unidade da Universidade e que, eventualmente, pudesse ter uma baixa pontuação em sua biblioteca de origem. CONSULTA A COMUNIDADE DOCENTE Conceito Peso Imprescindível 100 Importante 75 Recomendável 50 Dispensável 25 Não Familiarizado com o Título 0 Para que não se atribuísse erroneamente esses pesos, elaborou-se uma fórmula para corrigir o número total de pontos obtidos por cada periódico, por uma �6.1 ponderação que não permitisse que um título pudesse ter peso alto se o número de docentes não familiarizados com o título também fosse alto. Da mesma forma, se apenas poucos docentes estivessem familiarizados com o título e atribuissem pesos máximos, este não poderia ter peso igual ou maior a um periódico com muitos docentes familiarizados que atribuissem pesos baixos. A ponderação utilizada foi uma razão entre o número de docentes familiarizados com o título e o número total de docentes que responderam o questionário, ou seja: TCP = TP X NA - NNF NA onde TC = total corrigido = TCP TP = total de pontos NA = número de docentes que avaliaram NNF = número de docentes não familiarizados com o título. Assim, o número de docentes familiarizados com o título = NA - NNF. A partir daí, o total corrigido foi classificado entre os cinco conceitos. �6.1 3.3 PRIORIDADE PRÉ-ESTABELECIDA PELAS COMISSÕES DE BIBLIOTECAS Em 1990, as Comissões das Bibliotecas Seccionais elaboraram uma lista por ordem de prioridade, para fins de aquisição, uma vez que a Reitoria da UNICAMP libera, em parcelas, os recursos financeiros anuais. A Biblioteca Central recebeu as listas, previamente selecionadas segundo os critérios de cada biblioteca seccional, exigindo apenas o respeito ao percentual de 20% dos títulos em cada categoria. As cinco categorias eram: Prioridade A, B, C, D e E. PRIORIDADE PRÉ-ESTABELECIDA PELAS COMISSÕES DE BIBLIOTECA Conceito Peso A 100 B 75 C 50 D 25 E 0 Este critério foi utilizado pelo IFCH diretamente. Novamente não foi necessária qualquer adaptação nos dados. �6.1 3.4 ANÁLISE DE CUSTO A análise de custo passou por processo semelhante ao uso da coleção. Foram analisados os títulos de periódicos (separadamente) de acordo com as unidades participantes do projeto. Todos os títulos cotados foram convertidos para o dólar americano. Em seguida, foram analisados os preços obtidos e decidiu-se pela distribuição em faixas de até US$ 99.00 até mais de US$ 10.000.00. Dos totais por faixa tirou-se a média ponderada, por unidade, utilizando-se a seguinte fórmula: preço médio= nº. periódicos/faixa x preço médio da faixa nº. total de periódicos Os títulos do IFCH com preço médio obtiveram conceito 50. Os títulos de maior valor receberam zero e os de menor valor tiveram 100 pontos. Os demais, 75 e 25, foram calculados segundo a média dos intervalos. ANÁLISE DE CUSTO Conceito Peso Muito Baixo 100 Baixo 75 Médio 50 Alto 25 Altíssimo 0 A divisão do critério em cinco conceitos, já previamente balizados pelas diferenças de custo das diferentes áreas, não exigiu qualquer modificação. �6.1 NÍVEL NACIONAL Ao contexto da instituição outros critérios se agregaram com o objetivo de apresentar o panorama do que significa a assinatura de determinado título de periódico para a pesquisa no País. 3.5 INSERÇÃO DO TÍTULO NA LISTA BÁSICA DA CAPES A Lista Básica da CAPES foi estabelecida, a partir do desenvolvimento de metodologia a pedido do PNBU (Programa Nacional de Bibliotecas Universitárias), para avaliar as listas básicas de periódicos financiados pelo PAP (Programa de Aquisição Planificada de Periódicos). Essa lista foi composta a partir da indicação de especialistas em cada área. Participaram do programa 19 universidades espalhadas em todo o território nacional, que ofereciam um total aproximado de 743 cursos, classificados em 63 áres do conhecimento. O programa selecionou, ao todo, 2334 títulos, composto da Lista Básica (LB) e da Lista de Títulos Sugeridos (LTS). Elas representaram um outro parâmetro metodológico, dada a sua representatividade junto à comunidade científica do País. Cada título de periódico foi confrontado com a LB e LTS das áreas específicas e correlatas, conforme pesos da escala abaixo. �6.1 INSERÇÃO DO TÍTULO NA LISTA BÁSICA DA CAPES Conceito Peso Integra LB e LTS da área 100 Integra LB e LTS de áreas correlatas 50 Não integra LB e LTS 0 Como os títulos analisados não continham a determinação de área do conhecimento, esse critério, inicialmente com três conceitos, desconsiderou - "integra LB (Lista Básica) e/ou LTS (Lista de Títulos Sugeridos da Area)" -, reduzindo apenas para: integra LB e/ou LTS da área - 100 não integra LB e/ou LTS - 0 3.6 STATUS DO TÍTULO NO CCN O critério de análise da coleção de periódicos face ao CCN, indicado como critério auxiliar, representou importante indicador na tomada de decisão. Porém, somente no que se refere aos periódicos de menor interesse, detectados na análise global, com o objetivo de evitar o corte de periódicos de difícil obtenção no Brasil. �6.1 Na tabela abaixo, é demonstrada a escala para este critério. STATUS DO TÍTULO NO CCN Conceito Peso Único no País 100 Mais completo no País 75 Único na Região 50 Mais completo na Região 25 Semelhante às outras bibliotecas 0 A análise dos dados acima revelou que muitos dos títulos eram recémassinados pela UNICAMP e os sistemas de indexação como o CCN levam tempo para absorver o novo registro. NÍVEL INTERNACIONAL Na era da globalização é essencial que as coleções de periódicos depositadas nas bibliotecas brasileiras sejam, também, analisadas face a critérios consagrados internacionalmente. Por outro lado, é fundamental que essa coleção contemple as discussões locais e regionais. �6.1 3.7 INCLUSÃO DO TÍTULO EM FONTE DE REFERÊNCIA E/OU BASE DE DADOS Títulos listados em fontes de referência internacionais, do tipo index, abstracts ou base de dados bibliográficas, denotam ser o título suficientemente importante para a área. No tocante à indexação, a coleta de dados foi feita a partir de dados extraídos do último fascículo de cada título e, também, em outras obras de referência da própria área e no ULRICH'S. Os pontos de escala são: INCLUSÃO DO TÍTULO EM FONTE DE REFERÊNCIA E/OU BASE DE DADOS Conceito Peso Indexado 100 Não indexado 0 Este critério também não exigiu qualquer modificação. 4 REVISÃO CRÍTICA DOS ESTUDOS E DE CRITÉRIOS APLICADOS Os problemas enfrentados durante o processo de coleta de dados e as dificuldades operacionais vivenciadas na aplicação de alguns dos indicadores permitem fazer inferências em relação a vários dos critérios utilizados. Para tanto, sugere-se a aplicação dos indicadores abaixo, já reestruturados, tanto no que diz respeito à coleta de dados, como em seus próprios objetivos. 4.1 UNIVERSO DA PESQUISA �6.1 A primeira questão diz respeito ao universo da coleção de periódicos, sendo recomendável a análise de todos os títulos correntes, sejam recebidos por assinatura, doação ou intercâmbio. A avaliação da coleção de periódicos, a partir dos títulos assinados pela UNICAMP, criou expectativas negativas quanto à possibilidade de redução do número de assinaturas e de cortes de despesa. Assim, o processo avaliatório, ao invés de contar com a participação da comunidade acadêmica, embora muitos esforços tenham sido envidados na busca dessa parceria, não contou, no princípio, com a motivação e a participação da comunidade acadêmica. 4.2 USO DA COLEÇÃO No tocante ao uso da coleção, a falta de padrão para estabelecer homogeneização na coleta de dados foi um dos grandes desafios. Ademais, a relação número de fascículos depositados na biblioteca e número de transações está diretamente vinculada ao número de transações de empréstimo. �6.1 4.3 CONSULTA À COMUNIDADE UNIVERSITÁRIA O indicador de consulta à comunidade docente é superado pela consulta à comunidade universitária. A inclusão de outros segmentos da comunidade, em especial pesquisadores e alunos dos programas de pós-graduação, é imprescindível para garantir a diversidade de opiniões dos diferentes grupos que compõem o cenário da pesquisa e da produção científica. Também em áreas do conhecimento, onde a diversidade temática é muito ampla e complexa, é importante realizar uma pesquisa censitária. Finalmente, as listas dos periódicos a serem enviadas à comunidade devem estar acompanhadas da área de conhecimento de cada título. 4.4 AVALIAÇÃO SISTEMÁTICA DA COLEÇÃO A prioridade pré-estabelecida pelas Comissões de Biblioteca nada mais é do que uma avaliação anterior, porém, elaborada a partir de análises informais. A adoção desse critério, agora estabelecido em bases metodológicas criteriosas, fornece subsídios para futuros estudos e deve ser adicionado em avaliações posteriores. Do ponto de vista prático, a atualização da lista disponível na Biblioteca Central para fins de aquisição é fundamental porque garante a agilidade na aquisição de "títulos chaves" para a pesquisa. 4.5 ANÁLISE DE CUSTO �6.1 A atualização dos dados de custo de aquisição é recomendável. A literatura, nos últimos anos, tem descrito aumentos anuais desses custos. Em síntese, a análise de custo é um critério de desempate na tomada de decisão e, portanto, é um critério auxiliar. 4.6 INSERÇÃO DO TÍTULO NA LISTA BÁSICA DA CAPES A comunidade científica tem sérias responsabilidades com respeito à composição de títulos de periódicos fundamentais e disponíveis no Brasil. Assim, duas questões são fundamentais. A proposição de reaplicação pela CAPES, objetivando sua atualização, uma vez que a pesquisa é dinâmica. Em segundo lugar, a Lista da CAPES fornece subsídios para o projeto de aquisição planificada, em âmbito nacional, e pode se transformar no embrião da criação de vocações e da valorização de centros referenciais nas universidades brasileiras. Representa o núcleo de interesse da comunidade científica nacional. 4.7 STATUS DO TÍTULO NO CCN O levantamento, mesmo que parcial, do status de cada título no CCN demonstrou que as coleções depositadas nas bibliotecas brasileiras têm excessiva duplicação, as coleções são incompletas e têm, também, ausentes muitos títulos importantes à pesquisa no Brasil. �6.1 Propõe-se, também, a redução para três conceitos: único no país, mais completo no país e semelhantes às outras bibliotecas, evitando elitizar ainda mais a região sudeste. 4.8 INCLUSÃO DO TÍTULO EM FONTE DE REFERÊNCIA E/OU BASE DE DADOS Talvez valesse a pena ser mais criterioso na seleção das fontes de referência, relacionando, previamente, apenas as mais importantes de cada área. De fato, a divulgação das bases de dados contempladas necessitam acompanhar o resultado da pesquisa. Para tanto, ULRICH's (diretório) e fontes menos significativas não seriam computadas. Por outro lado, a coleta não pode se restringir ao Science Citation Index porque contempla muito mais os periódicos publicados em língua hegemônica. 4.9 FATOR DE IMPACTO (MEDIDA DE FREQÜÊNCIA) DO TÍTULO O projeto inicial previa a utilização da medida de freqüência do título de cada periódico citado no Science Citation Index e no Social Science Citation Index, publicados no JOURNAL OF CITATION REPORTS, por um dado período, como outro indicador para identificação da qualidade do título a nível internacional. Tem-se como �6.1 resultado títulos classificados de acordo com o volume médio de citações obtidas por seus artigos. A opção por essa obra de referência se deu, embora não favoreça os países em desenvolvimento, por ser a única publicação existente a tratar da medida de freqüência de citações de publicações periódicas. Esse critério requer muita cautela. MUELLER elenca algumas dificuldades no uso desse indicador e sugere amplas análises antes da adoção e da aplicação do fator de impacto. Aponta, ainda, na área de humanidades, a irregularidade das publicações periódicas e a falta de hábito dos editores em colaborarem com os serviços de citação (MUELLER, 1991). Finalmente, apesar dos problemas detectados quanto à sua aplicabilidade, é recomendável que o fator de impacto seja acrescido nas avaliações de periódicos, não só para ser testado, mas também para acompanhar o ranking das publicações mais conceituadas na pesquisa internacional. 4.10 ORIGEM DE PUBLICAÇÃO DO TÍTULO DE PERIÓDICO A inclusão do país de origem de cada publicação periódica permite levantar dados para a discussão de globalização da pesquisa: países centrais versus países periféricos; pesquisa internacional versus pesquisa regional; línguas hegemônicas e outras variáveis. �6.1 4.11 DATA DE INÍCIO DE PUBLICAÇÃO DO TÍTULO E DE RECEBIMENTO NA BIBLIOTECA A data de início de publicação do título e de recebimento na biblioteca, para cada periódico, auxilia e aprimora a análise do critério de uso da coleção e interfere na análise dos critérios: da lista básica da CAPES, no status do título no CCN, na inclusão do título em fontes de referência e no fator de impacto, uma vez que existe defasagem entre disponibilidade do título e a sua inclusão nos sistemas CAPES, CCN e fontes de referência. 4.12 DEFINIÇÃO DA ÁREA DO TÍTULO E DE SUAS ÁREAS CORRELATAS A exclusão de determinação da área do conhecimento de cada título e de suas áreas correlatas incide diretamente nos critérios de consulta à comunidade e inclusão da lista básica da CAPES, que trabalha com as áreas e áreas correlatas. 6 CONSIDERAÇÕES FINAIS Como vimos, a aplicação da bibliometria é insuficiente para responder às questões pertinentes aos indicadores da produção científica, mas representa o ponto de partida e, mesmo, o ingrediente indispensável no processo avaliatório de C&T �6.1 nacional. Na verdade, os escores quantitativos são o somatório de pequenos julgamentos e apreciações, realizados sobre determinados aspectos. A análise de cada indicador vai nos revelando as várias facetas de uma mesma questão, o que nos leva a novos questionamentos e discussões. CASTRO nos auxilia quando diz que há duas vertentes nos processos de avaliação. "A avaliação por pares, fortemente ancorada na reputação adquirida pelo avaliado. A segunda deriva-se de critérios mais quantitativos que desembocam na bibliometria e na cientometria. Previsivelmente, as alternativas mais interessantes parecem residir em combinações dos dois métodos" (CASTRO, 1985). Examinando as idéias de CASTRO, verifica-se que a avaliação por pares, que contém muitos julgamentos subjetivos e imediatos, torna imprescindível o método quantitativo, o que significa, na verdade, manipular quantitativamente julgamentos qualitativos. No fundo, é um processo de contagem de coisas que já foram qualitativamente julgadas. Em síntese, na avaliação da produção científica contempla-se, primeiramente, os indicadores de avaliação pelos pares e, depois, emprega-se a bibliometria. A partir da combinação dos dois métodos chega-se a análises mais complexas. A avaliação inicial das coleções de periódicos demanda indicadores bibliométricos para, posteriomente, chegar a avaliações mais subjetivas. A análise da coleção existente à luz da bibliometria permite aprimorar as coleções depositadas em bibliotecas brasileiras. Evitar os desperdícios, o desequilíbrio e as injustiças próprias �6.1 da falta de diretrizes consensuais e de estudos básicos é essencial para dar suporte às atividades de pesquisa em escala sistêmica. A bibliometria, enquanto técnica, preliminarmente, permite manipular vários elementos quantitativos. Entretanto, não dá conta de continuar o processo de avaliação dessas coleções do ponto de vista de cancelamento de títulos e de inserção de novos títulos. A idéia de desenvolver indicadores objetivados de avaliação é uma medida que, na melhor das hipóteses, reflete a subjetividade da pesquisa. Em última instância, explicita critérios de estabelecimento de valores e de interesses. Segundo as palavras de SCHWARTZMAN "a questão da avaliação é, em última análise, uma questão política, no sentido de que implica um processo constante de negociações, compromissos e conflitos entre diversos tipos de interesse." (SCHWARTZMAN,1981). A pesquisa não é algo que se define por si mesma, mas sempre em relação a algo. Existem pelo menos três possibilidades para o fazer da pesquisa, que se misturam: a neutralidade versus o engajamento; a pesquisa de caráter internacional versus a pesquisa regional e local e, finalmente, a vocação de cada instituição de pesquisa. E, em todos esses momentos, as coleções das bibliotecas universitárias brasileiras refletem essa associação. ABSTRACT This paper, based on a pilot project being carried out at the University of Campinas (UNICAMP), presents indicators(?) for evaluating journal collections in Brazilian university libraries. The aim is to offer a methodology establishing similar parameters, which will make it possible to rationalize resources and develop research and knowledge. REFERÊNCIAS BIBLIOGRÁFICAS �6.1 1 ALEXANDER, A. W. Periodical prices, 1990-1992. Library Acquisitions, v.17, n. 1, p.3-19, 1993. 2 ALVARADO, R. U. Uso de periódicos no Sistema de Informação TécnicoCientífico da Empresa Brasileira de Pesquisa Agropecuária - SITCE. Rio de Janeiro, 1983. Dissertação (Mestrado em Ciência da Informação) - Instituto Brasileiro de Informação em Ciência e Tecnologia, Universidade Federal do Rio de Janeiro, 1983. 3 AYARZA, E. Hemán. Evaluación de la educación superior como estrategia para el cambio. Universidades, n 9, p.38-47,1995. 4 BADEL, César Américo , GALICIA, Fulvia Nieves de. Universidades e sistema nacional de ciencia y tecnologia. Universidades, n. 9, p.19-22, 1995. 5 BRISOLLA, Sandra N. Indicadores de C&T. Campinas : UNICAMP, [19--](mimeo.) 6 CASTRO, Cláudio Moura. Ciência e universidade. Rio de Janeiro :J. Zahar, 1985. 7 CHIARA, I. G. et al. Avaliação da coleção de periódicos correntes adquiridos mediante processo de compra pela Biblioteca Central da Universidade Estadual de Londrina (BC/UEL). Revista da Escola de Biblioteconomia da UFMG, Belo Horizonte, v. 21, n.1, 1992. 8 CHRZASTOWSKI, T. E. , SCHMIDT, K. A. Surveying the damage : academic library serial cancellations 1987-88 through 1989-90. College & Research Libraries News, v. 54, n. 3, p. 93-102, Mar. 1993. 9 DURHAM, Eunice R. A institucionalização da avaliação. São Paulo : NUPES/USP, 1990. (Documento de Trabalho, 9). Mimeo. 10 FIGUEIREDO, N. Metodologia para avaliação de coleções de periódicos em bibliotecas universitárias, 5., 1987, Porto Alegre. Anais. Porto Alegre : BC/UFRGS, 1988. v.1, p. 37-46. 11 HEGEDUS, Pedro de. Evaluación; aspectos conceptuales y relación con la investigación. Educacion de Adultos, n. 44, p. 69-82,1995. �6.1 12 KREMMER, J. M. Uso de periódicos por professores e estudantes universitários, Ciência da Informação, v. 18, n. 1, p. 74-82, jan./jun. 1989. 13 L'ECUYER, Jacques. Evaluación en la educacion superior; un instrumento para el cambio y consideracion. Universidades, n. 9, p. 29-37, 1995. 14 MUELLER, S. P. M. Metodologia para avaliação de lista básica de periódicos. Ciência da Informação, v.18, n. 2, p.111-118, ,jul./dez. 1991. 15 _____. Proposta de metodologia para adequação da coleção de periódicos da Biblioteca Central aos interesses do ensino e da pesquisa na UNB. Brasília : Departamento de Ciência da Informação/UNB, [199-]. (Relatório de Pesquisa). 16 NARVAEZ-BERTHELEMOT, M. et al. International scientific colaboration in Latin America. Scientometrics, v. 24, n, 4, p. 373-389, 1992. 17 NASCIMENTO, M. A. R. , SANTORO, M. I. Consolidação de critérios para avaliação de periódicos em bibliotecas universitárias; projeto piloto em desenvolvimento na UNICAMP. In: CONGRESSO BRASILEIRO DE BIBLIOTECONOMIA E DOCUMENTAÇÃO, 17., Belo Horizonte, 1994. Anais... Belo Horizonte,1994. (mimeo.) 18 NEAVE, Guy. On the cultivation of quality, efficiency and enterprise; an overview of recent trends in higher education in Western Europe, 1986-1988. European Journal Of Education, v. 23, n. 1/2, p.7-24, 1988. 19 NEVES, F. I. Uso do periódico na UFCE. Cadernos de Biblioteconomia, Recife, n. 4, p. 41-52, dez. 1981. 20 NOCETTI, M. A. et al. Avaliação das coleções de publicações periódicas do Sistema de Informação Técnico-Científica da EMBRAPA (SITCE) através da base de dados do CAB. In: CONGRESSO LATINO AMERICANO DE BIBLIOTECONOMIA E DOCUMENTAÇÃO, 1., 1980, Salvador. Anais... Salvador : MEC/Capes, 1980. p.465- 482. 21 OLIVEIRA, M. P. et al. Utilização de periódicos em algumas bibliotecas biomédicas de Salvador : uma avaliação. In: CONGRESSO LATINO AMERICANO DE BIBLIOTECONOMIA E DOCUMENTAÇÃO, 1., 1980, Salvador. Anais... Salvador : MEC/Capes, 1980. v.1, p. 435-461. 22 PASQUARELLI, M. L. R. et al. Avaliação de uso das coleções da Universidade de São Paulo. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 5., 1987, Porto Alegre. Anais... Porto Alegre : BC/UFRGS, 1987. v. 1, p.27-36. 23 PIKE, L. E. Conducting a serials review project. College & Research Libraries News, v.52, n. 3, p.165-167, mar. 1991. �6.1 24 PORCELLO, A. M. B. et al. Avaliação da coleção de periódicos adquiridos por compra para o Sistema de Bibliotecas da UFRGS:1982-1985. P.9-26. 25 PUERARI, D. B. M. , PEREIRA, M. N. F. Avaliação dos periódicos científicos nacionais na área de economia. Ciência e Cultura, v. 43, n. 7 supl., p. 549-550, jul. 1991. 26 SANCHO, Rosa. Measurements of scientific activities in less developed countries. Scientometrics, v. 24, n. 1, p. 221-233, 1992. 27 SCHWARTZMAN, Simon. Ciência, universidade e ideologia; a política do conhecimento. Rio de Janeiro : Zahar, 1981. 28 _____. Formação da comunidade científica no Brasil. São Paulo : Nacional; Rio de Janeiro : Finep, 1979. 29 _____, CASTRO, Cláudio de Moura (Org). Pesquisa universitária em questão. Campinas : Ed. da UNICAMP; São Paulo : Ícone, 1986. 30 SPONCHIADO, R. A. , RIBEIRO, M. J. Análise dos títulos de periódicos assinados pelo IF/UNICAMP. Campinas : IF/UNICAMP, 1990. (trabalho não publicado). 31 UNITED Nations Conference on Trade and Development. Technology indicators and developing countries. New York : UNCTAD, 1991. (UNCTAD/ ITP/ TEC/ 19). 32 UNIVERSIDADE DE SÃO PAULO. Biblioteca. Avaliação de títulos estrangeiros adquiridos por compra. São Paulo : USP, 1992. (trabalho não publicado). 33 UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL. Biblioteca Central. Avaliação da coleção de periódicos adquiridos para o Sistema de Bibliotecas da UFRGS: 1982-1985. Porto Alegre, 1986. (trabalho não publicado). 34 VERGUEIRO, W. Avaliação de coleções. In: ____. Desenvolvimento de coleções. São Paulo : Polis; APB, 1989. P.81-95. 35 VILLASMIL, José J. P. Criterios para la evaluación de programas de posgrado. Universidades, n. 9, p. 23-28, 1995. 36 WOLYNEC, E. O uso de indicadores de desempenho para avaliação institucional. In: SEMINÁRIO SOBRE AVALIAÇÃO DO ENSINO SUPERIOR, 1989, São Paulo. Anais... São Paulo : NUPES/USP, 1989. � Dublin Core The Dublin Core metadata element set is common to all Omeka records, including items, files, and collections. For more information see, http://dublincore.org/documents/dces/. Title A name given to the resource SNBU - Edição: 09 - Ano: 1996 (UFPR & PUCPR - Curitiba/PR) Subject The topic of the resource Biblioteconomia Documentação Ciência da Informação Bibliotecas Universitárias Description An account of the resource Tema: A biblioteca universitária e a sociedade da informação. Creator An entity primarily responsible for making the resource SNBU - Seminário Nacional de Bibliotecas Universitárias Publisher An entity responsible for making the resource available UFPR & PUC-PR Date A point or period of time associated with an event in the lifecycle of the resource 1996 Language A language of the resource Português Type The nature or genre of the resource Evento Coverage The spatial or temporal topic of the resource, the spatial applicability of the resource, or the jurisdiction under which the resource is relevant Curitiba (Paraná) Event A non-persistent, time-based occurrence. Metadata for an event provides descriptive information that is the basis for discovery of the purpose, location, duration, and responsible agents associated with an event. Examples include an exhibition, webcast, conference, workshop, open day, performance, battle, trial, wedding, tea party, conflagration. Dublin Core The Dublin Core metadata element set is common to all Omeka records, including items, files, and collections. For more information see, http://dublincore.org/documents/dces/. Title A name given to the resource Indicadores de avaliação para coleções de periódicos das bibliotecas universitárias brasileiras: reflexões sobre o estudo das revistas do Instituto de Filosofia e Ciências Humanas- IFCH-UNICAMP. Creator An entity primarily responsible for making the resource Nascimento, Maria Alice Rebello Coverage The spatial or temporal topic of the resource, the spatial applicability of the resource, or the jurisdiction under which the resource is relevant Curitiba (Paraná) Publisher An entity responsible for making the resource available PUCPR Date A point or period of time associated with an event in the lifecycle of the resource 1996 Type The nature or genre of the resource Evento Description An account of the resource Apresentam-se, a partir de um projeto-piloto em desenvolvimento na UNICAMP, indicadores de avaliação para as coleções de periódicos em bibliotecas universitárias brasileiras, objetivando oferecer metodologia que estabeleça parâmetros semelhantes, com vistas à racionalização de recursos e desenvolvimento da pesquisa e da capacitação nacional. Language A language of the resource pt