http://repositorio.febab.org.br/files/original/27/3600/SNBU1989_038.pdf 6412a83a88963bf2ce9e5c66f5b516e6 PDF Text Text APRESENTAÇÃO DA PROPOSTA DE METODOLOGIA E PLANO DE PESQUISA PARA AVALIAÇÃO DAS LISTAS BÁSICAS DE PERIÓDICOS FINANCIADOS PELO PAP 1º Seminário do PNBU Suzana Pinheiro Machado Mueller Universidade de Brasília 1 O Problema Em primeiro lugar gostaria de apresentar o problema, embora saiba que muitos aqui já estão familiarizados com ele. Diria que o problema central da minha pesquisa, que levou a coordenação do PNBU a me encomendar esse estudo e portanto todo o esforço que venho fazendo, foi motivado pela necessidade de renovação das assinaturas que vem sendo financiadas pelo Programa de Aquisição Planificada de Periódicos - PAP. Um programa dessa monta e importância, que garante a existência e por conseguinte a disponibilidade no país, de 2334 títulos de periódicos estrangeiros, em 63 áreas de conhecimento, num total de 7079 assinaturas, depositando-as em 19 instituições de nivel superior, espalhadas pelas cinco regiões geográficas, exige avaliação. A oportunidade de renovação dessas assinaturas provocou a necessidade de avaliação. 1.1 O objetivo. O problema é, então, a avaliação dos títulos financiados. Devemos responder às perguntas - são esses os periódicos mais importantes para o desenvolvimento da pesquisa e ensino dessas áreas de conhecimento no Brasil? Há outros que devem ser incluídos? Há alguns que deveriam ser retirados? Quais? O que se pretende neste estudo, o seu objetivo, é responder a essas perguntas. 1.2 Considerações sobre o problema. Avaliação, qualquei avaliação, se processa com a comparação do objeto de �estudo com algum parâmetro que tenha sido estabelecido e aceito. Ou seja, para que possamos "medir" se um periódico é melhor do que outro precisamos estabelecer algum critério segundo o qual faremos a avaliação. Essa escolha deve refletir a finalidade da avaliação. No nosso caso, então, devemos escolher critérios de avaliação que reflitam a adequação dos títulos ao desenvolvimento do ensino e da pesquisa dessas áreas no Brasil, pois este é o objetivo do PAP. Sempre antes de um trabalho, é proveitoso buscar na literatura experiências semelhantes, para orientar e respaldar decisões. Muitos autores, pesquisadores e bibliotecários com finalidades práticas, têm dedicado atenção a esse problema. Da leitura desses textos há várias conclusões. Uma delas é que o próprio conceito de lista básica, isto é a identificação de um núcleo de títulos que satisfaça, pela soma de seus artigos, as necessidades de informação de uma comunidade, é utópica na medida em que tanto os títulos selecionados quanto os interesses que levaram a essa seleção, não são estáticos, mas evoluem com muita rapidez. Assim, o que se pretende conseguir provavelmente não se conseguirá, pois a lista básica só será adequada no momento de sua concepção. Apesar disto, e conhecidas as suas limitações, as listas básicas são instrumentos úteis, tanto para a administração de coleções quanto para programas de fomento tais como o PAP. Mas exigem avaliação e atualização periódicas de maneira a se, tomarem aceitáveis. 1.3 A questão dos critérios. A adequação é medida de acordo com parâmetros estabelecidos. Esses parâmetros, ou critérios, são cruciais: quanto mais adequados, mais confiáveis os resultados da avaliação. Os critérios mais citados na literatura consultada são: - análise de citações - isto é a contagem da frequência de citações a artigos publicados por um periódico, encontradas em outros documentos. - produtividade do título - inclusão do título em periódicos de resumo e bases de dados bibliográficos. �- volume de consultas. - opinião de usuários Todos esses critérios apresentam pontos positivos e pontos negativos: - Análise de citações: A contagem de vezes em que artigos publicados por determinado periódico são citados por outros documentos, dentro de um espaço de tempo estabelecido, dá idéia da penetração desses artigos e fornece os insumos necessários para diversas manipulações estatísticas, resultando em indicadores diversos. O princípio que justifica o uso desses indicadores pressupõe que há relação entre frequência de citação e qualidade do periódico citado, da mesma maneira em que um autor muito citado geralmente ocupa lugar destacado na sua área. É uma medida quantitativa, prática, que permite, como foi dito acima, a produção de diversos indicadores, entre os quais: fator de impacto - medida de citações de um periódico por outros. auto citação - citação de artigos publicados pelo próprio periódico. Immediacy index - medida do tempo médio que artigos publicados por determinado periódico levam para ser citados na literatura em geral. O Journal of Citation Record, publicado pelos editores do Science Citation Index, como um suplemento anual, traz esses e vários outros indicadores, geralmente com base na litertura periódica internacional dos dois últimos anos. Dentre aqueles indicadores, o fator de impacto parece ser o mais utilizado, e para o nosso caso seria talvez o mais interessante. O JCR calcula esse indicador com bases nos dois últimos anos. Por exemplo, no fascículo de 1986, os dados se referem a 85 e 84. O cálculo é a razão das citações realizadas por itens citáveis publicados naqueles dois anos. ou seja: total de todas as citações encontradas em periódicos examinados, de 86, de todos os itens citáveis (artigos, comunicações etc) publicados �pelo periódico em questão durante 84 e 85, dividido pelo total de itens citáveis publicados por aquele titulo nos dois anos. Esse indicador mede a freqüência média de citações feitas ao titulo analisado. Apesar do fácil acesso e fácil manuseio desse indicador, há certos pontos que tornam o seu uso menos adequado: - autores dos periódicos analisados não podem ser considerados típicos usuários, e portanto não representam bem uma determinada comunidade. - os periódicos mais lidos nem sempre são os mais citados (a literatura diz raramente são os mais citados). Inclui-se aí periódicos do tipo letters por exemplo. - o valor absoluto das citações gera dívidas: todas as citações tem o mesmo valor? - a análise de citações geralmente não leva em conta citações realizadas em monografias. Uma autora, Pauline Scales, realizou em 1976 um estudo no qual comparou a demanda feita a uma lista de periódicos por usuários da então National Lending Library, ao número de citações registrado no Science Citation Index a esses mesmos títulos, no mesmo periódico. O resultado mostrou muito pouca co-relação. - Produtividade do titulo Produtividade pode ser definida como o volume de matéria citável de um titulo. O exame para avaliar a produtividade indicaria aqueles títulos que contém maior número de artigos relevantes a determinado assunto. Mas para que faça sentido, essa medida deve levar em consideração fatores tais como: número médio de páginas de um fascículo em relação a matéria pertinente, periodicidade e outros. Os estudos de Bradford, Zipf fornecem a base e inspiração para os estudos que propõem esses indicador. �As críticas e restrições ao uso do critério produtividade para elaboração de listas básicas são freqüentes na literatura. Segundo Singleton, o bibliotecário ou administrador que quizer usar a distribuição de Bradford como base para decisões terá que se certificar que a coleção que possui e que pretende avaliar satisfaz tal distribuição, ou que seus usuários seriam bem servidos se tal se desse. Não seria possível, segundo aquele autor, estimar produtividade e relevância para todos os periódicos, e outros meios teriam que ser usados, tais como resumos ou dados relacionados a consultas e citações. Ora, isso implicaria em muito trabalho e, ao se conseguir tais dados a distribuição de Bradford se tornaria irrelevante ou útil apenas para agregar títulos em núcleos. (Singleton:) - Citação em obras de referências ou bases de dados bibliográficos. Esse critério se baseia no fato de que a inclusão de um título de periódico em obras de referência do tipo abstract, índices ou bases de dados bibliográficos, denota ser aquele título suficientemente importante para a sua área, a ponto de merecer ter seus artigos regularmente examinados e resumidos para que se tornem acessíveis aos usuários. Esse indicador é excelente para respaldar decisões quando se inicia uma lista. Na avaliação de uma lista já elaborada, com as características das listas adotadas pelo PAP, no entanto, a utilidade decresce muito. O pré-teste realizado com os periódicos da área de Física, revelou que dos 78 títulos daquela lista, 55 aparecem na Seção Physics do Ulrich's como sendo indexado em pelo menos 2 fontes. Consulta posterior a outras seções paralelas (por exemplo, astrofísica, cristalografia, etc.) e a outras fontes, indicou que muito poucos, cerca de 6 títulos, não constavam como regularmente indexados por alguma obra de referência. O uso desse indicador no presente estudo não iria contribuir para avaliação, pois as listas já são refinamento de listas manuais. - Volume de consultas. O volume de consulta aos títulos indica a medida em que o título é efetivamente lido. Apesar de aparentemente segura, esta medida também apresenta alguns problemas. A obtenção do dado "consulta" pode ser feita por meios tais como observação ou identificação e contagem do material consultado, que se registra em formulários. O dado também pode ser obtido diretamente do usuário, por meio de questionários, entrevistas, ou diários. �Uma das restrições ao uso desse indicador tem origem na dificuldade de avaliar o ganho ou utilidade da consulta. Ou seja, todas as consultas havidas e registradas têm que ser consideradas proveitosas, com o mesmo valor. O fato de que dados obtidos em uma comunidade não poderem ser usados para outra também deve ser levado em consideração. A confiabilidade do dado obtido também apresenta problemas: por exemplo, a contagem de exemplares fora da estante pode ou não refletir o volume real de consultas. Documentos podem ter sido retirados e não consultados, assim como documentos consultados podem ter sido recolocados pelo usuário e não ser incluídos entre os contados como consultados. Questionários e entrevistas também apresentam dificuldades, pois a informação deve cobrir um período de tempo razoável que permita inferências, e os usuários nem sempre cooperam. Apesar de todas as restrições acima, como nota Singleton, o dado volume de consulta tem tido muita receptividade e tem sido bastante usado como base para decisões em situações reais, enquanto a análise de citações geralmente dá origem a trabalhos teóricos. (Singleton, 217) Opinião de Usuários. - A opinião subjetiva do usuário sobre a importância ou utilidade relativa do titulo fornece as bases para a formação desses indicadores. Uma lista de periódicos organizada segundo esses critérios classifica os títulos privilegiando aqueles que recebem maior número de avaliações positivas. A obtenção deste dado exige consulta a um número representativo de respondentes que reflita as opiniões da comunidade. Para captação do dado usa-se normalmente questionários ou formulários nos quais as avaliações são assinaladas em uma escala de valor pré-estabelecida. É possível também fornecer espaço para captação de títulos novos, ainda não constantes da lista, mas que, na opinião dos repondentes, deveriam ser incluídos. Há bem menos restrições a esse critério para formação de listas básicas do que os precedentes. A principal restrição parece ser a de que o respondente pode deturpar o resultado fazendo valer seus interesses pessoais e não os da comunidade como um todo. Mas segundo Singleton, a opinião de usuários é a melhor, ou menos inadequada, das fontes de dados para formação e julgamento de listas básicas. Os demais critérios, para esse autor, são pouco confiáveis e deve- �riam ser usados apenas como meios auxiliares na decisão do selecionador. (Singleton, 258). Conclusões do exame da literatura. Nenhum indicador é suficientemente confiável para ser usado sozinho. Uma combinação de alguns indicadores, escolhidos conforme a finalidade da lista e disponibilidades dos dados, parece ser a melhor opção. O uso de pesos, para conhecer a importância ou influência do critério que se julga mais adequado também contribui para adequar os resultados. A escolha de critérios para este estudo Tendo em vista tudo o que foi dito, e principalmente o objetivo da avaliação a ser feita - listas de periódicos estrangeiros dos quais a existência e disponibilidade em território nacional deve ser avaliada tendo em vista sua importância para professores, pesquisadores, alunos de pós-graduação e outros preocupados com o estudo e desenvolvimento da área de conhecimento no Brasil - julgou-se como mais adequado a escolha de três critérios, aos quais no entanto se dará pesos diferentes: - opinião de usuários, peso 3 - volume de uso, peso 2 - fator de impacto, peso 5 Esses três critérios misturam o dado qualitativo, com dados de caracter um pouco mais quantitativo, como a constatação do uso pela comunidade, e citação na literatura. 2 2.1 Metodologia Introdução: Modelo proposto O modelo proposto abaixo é fruto da análise da literatura e de um pré-teste realizado com esse fim, descrito na seção 6. Faz uso de três fontes, ou critérios, que serão diferenciados por meio de pesos atribuídos. A compatibilização das três listas resultantes se dá por um processo de normalização e soma de pontos obtidos por cada título, descrito mais adiante. O resultado �final pretendido mostrará os títulos atualmente financiados pelo PAP em listas, uma para cada assunto, organizadas em ordem decrescente de valor, segundo os critérios empregados. Os títulos estarão dispostos em uma escala de 100 pontos, onde 100 corresponde ao conceito mais positivo. As listas registrarão também títulos novos, isto é, cuja inclusão no Programa venha a ser recomendada pelos professores dos cursos beneficiados. A escolha dos critérios, e o seu valor relativo, decorrem não só das recomendações da literatura, mas também das caracterfsticas do Programa, que pretende atender necessidades reconhecidas da comunidade dos cursos de pos-graduação e com isto fomentar o desenvolvimento dos estudos nas áreas de interesse em questão. Os critérios adotados são tratados na seção 5.2. O modelo pode ser dividido em três fases. A primeira fase inclui a obtenção dos dados e a organização dos títulos dos periódicos já integrantes do Programa em listas arranjadas segundo os critérios base. Na segunda fase essas listas são consolidadas em uma única lista para cada assunto, em ordem decrescente de importância dos títulos. Na terceira fase, as listas obtidas na fase anterior serão enviadas aos coordenadores dos cursos beneficiados e outros especialistas para confirmação. A indentificação de títulos novos ocorre na primeira fase, e sua inclusão nas listas, na segunda. As atividades realizadas em cada fase estão descritas mais adiante. 2.2 Critérios Os critérios adotados nesse modelo são o julgamento de usuários, o volume de consulta e o fator de impacto. Como exposto acima, esses critérios serão considerados como tendo graus de confiabilidade diferentes. A influência que exercem sobre o resultado final é controlada mediante a atribuição de pesos: - opinião do usuário - peso 3 - volume de consultas - peso 2 - fator de impacto - peso 0.5 2.3 O processo de consolidação e normalização das listas O processo de consolidação, para cada assunto, deve resultar na integra- �ção das listas formadas segundo os critérios empregados em uma única lista. Mas essas listas devem sofrer também um processo de normalização. As três listas iniciais vêm ordenadas em escalas diferentes, segundo a natureza dos dados que originaram a sua formação. Por exemplo, as listas que trazem a opinião dos usuários dependem do número de respondentes em cada universidade enquanto a lista de volume de uso depende do número de consultas havidas. O processo de normalização deverá reduzir todas essas diferentes escalas a uma única, de maneira a permitir soma dos pontos obtidos e comparação entre elas. Deverá ser possível verificar a posição de qualquer titulo em uma escala do 0 a 100, onde 100 representa a posição mais bem conceituada, em quaisquer das listas formadas. 0 objetivo do processo, portanto, é reduzir a uma única escala listas que se apresentam em escalas diversas. A escala proposta, como visto acima, é de 0 a 100. A fórmula é a seguinte: f = 100:a f x p1,p2,p3,„. pn = 01,02,03,... on Onde: 100 é o número máximo da escala desejada. a é o número de pontos máximo conseguido por periódico na lista em questão. f é o valor do intervalo na lista, que deverá ser multiplicado pelo total de pontos conseguidos por cada titulo naquela lista. p1 ... pn são os valores conseguidos por cada título, na lista. 01 ... on são os valores para ordenação do título na lista, sua posição na escala. Na apresentação do pré-teste, seção 6, esse procedimento está descrito com exemplos. Lá, no entanto, a escala escolhida foi de 1 a 78, por serem os periódicos da área do saber testada, Física, em número de 78. Considerando os resultados, e o fato que uma escala única para todas as áreas seria mais interessante, o modelo finalmente proposto estabelece escala de 1 a 100. Essa mudança não altera o procedimento. 2.4 2.4.1 Execução do modelo Primeira fase: elaboração das listas iniciais �Deve-se levar em conta em toda a exposição que se segue que cada assunto - área do saber - é tratado separadamente. Em nenhum momento há integração de listas de periódicos de áreas diversas. Na primeira fase serão produzidas três listas, segundo cada um dos critérios adotados: opinião de usuários, volume de uso e fator de impacto. a) Lista segundo a opinião dos usuários O dado opinião de usuários será buscado junto aos professores dos cursos de pós-graduação contemplados pelo Programa, consultores da CAPES e membros dos Comitês Assessores do CNPq, por meio de um formulário. - Identificação dos professores dos cursos beneficiados. Segundo levantamento realizado em documento fornecido pela CAPES* havia, em 1986, 12033 professores permanentes nos cursos de pós-graduação que se beneficiaram com o PAP. Deve-se notar aqui que foram contados apenas os professores permanentes, excluindo-se visitantes e colaboradores. Os dados de 1986, único disponíveis, embora não ideais são considerados satisfatórios, uma vez que modificações no corpo docente permanente são, em geral, pequenas. Outro fato a ser notado diz respeito às várias IES beneficiadas nas quais não há curso de pós-graduação correspondente. Os usuários dessas IES não serão consultados. A distribuição de usuários pelas áreas do saber e IES é bastante desigual, como pode ser verificado na tabela. A área Teologia, por exemplo, apresenta apenas 9 professores, todos em uma única IES, a PUC/RJ, enquanto na área de Medicina foram registrados 1830 professores, distribuídos em 13 IES. Com base no universo identificado, e na sua distribuição pelas IES, estabeleceu-se como norma geral uma amostra equivalente a 20% desse universo. Assim, serão consultados cerca de 2400 professores. Para cada área, no entanto, a amostra finalmente estabelecida levará em conta a distribuição dos professores, especialmente naquelas IES com corpos docentes muito pequenos ou muito grandes. Um número mínimo de 4 respondentes deve ser estabelecido para todos os casos, e um número máximo que corresponda aproximadamente 10% para corpos docentes de mais de 150 membros deve ser considerado. �Os consultores da CAPES e os membros dos comitês assessores do CNPq foram identificados por meio de listas fornecidas por essas entidades, e são cerca de... Todos esses serão consultados. - A captação das opiniões de usuários As opiniões do usuários serão captadas por meio de um formulário. O instrumento de captação de dados usado no pré-teste, área de Física, está reproduzido no Anexo 1. Como pode ser visto nesse formulário, os títulos dos periódicos estão listados em ordem alfabética, e ao seu lado há uma escala de quatro pontos, que representam conceitos, na qual o respondente deve marcar sua opinião sobre a importância da existência do título em território nacional. No caso de o respondente não estar suficientemente familiarizado com um título para poder avaliá-lo, há um espaço onde ele indica isso. Aos quatro conceitos da escala, listados abaixo, foram atribuídos pesos. No caso de não conhecimento do título o peso é 0. * MEC/CAPES/DAA. Sistema de acompanhamento da ção. 1987. Dados de 1986 • IMPRESCINDÍVEL IMPORTANTE RECOMENDÁVEL DISPENSÁVEL NÃO CONHEÇO PARA OPINAR Pós-Gradua- 10 9 8 1 0 Os dados oriundos de cada IES são sempre trabalhados em separados, originando, portanto, uma lista para cada Instituição. Na tabulação dos dados, para cada conceito da escala, o número de indicações que um título recebeu de todos os respondentes é primeiramente somado e depois multiplicado pelo peso atribuído ao conceito em questão. Depois, para cada título, o número de pontos obtidos nas quatro posições escala de conceitos são somados resultando em um valor único para cada título. - Obtenção de sugestões de títulos para inclusão no Programa �Ao final do formulário, após a lista de títulos financiados em avaliação, é fornecido espaço para que o respondente sugira e classifique na escala de conceitos, títulos ausentes da lista original, mas que, na opinião dele deveriam ser incluídos. Os resultados dessas sugestões serão também consolidados na lista final única resultante. Como dito acima, cada IES é considerada em separado, e nelas cada área do saber. Assim, serão produzidas listas por assunto e por IES. Os títulos novos, sugeridos, são listados após a lista principal. As listas devem ser ordenadas por ordem decrescente de pontos obtidos e depois normalizadas, conforme o procedimento anteriormente descrito, ordenando os títulos na escala de 0 a 100. Como há um peso negativo, relativo ao conceito DISPENSÁVEL, alguns títulos poderão obter uma soma de pontos abaixo de 0. Nesse ponto, realizadas as operações descritas, haverá uma lista para cada IES, para cada assunto, onde os títulos avaliados são posicionados segundo os conceitos recebidos, em uma ordem decrescente de valor, seguidos dos títulos sugeridos. O objetivo seguinte é conseguir uma única lista representando a soma das opiniões dos grupos de usuários (por IES) para cada assunto. Para isso, os pontos conseguidos por um mesmo título, em cada universidade são somados e normalizados para que se consiga sua distribuição na escala de 0 a 100. O resultado é a lista de títulos financiados avaliados pelos usuários, seguida da lista de títulos sugeridos. b) Lista dos títulos segundo volume de uso A fonte de dados é o registro do volume de uso verificado para cada título em todas as IES, durante um período pré-estabelecido, ou seja, o total de consultas havidas. Os procedimentos de normalização e ordenação dos títulos, já descritos, serão utilizados, produzindo listas por assunto onde os títulos se colocarão em uma escala de 1 a 100, em ordem decrescente de consultas havidas. c) Lista dos títulos segundo fator de impacto Os dados de fator de impacto estão disponíveis e serão extraídos do JCR, para cada título. Usando o procedimento já descrito, os dados são normalizados para a escala de 0 a 100 e depois ordenados em ordem decrescente de valores conse- �guidos. Para os títulos que não dispuserem desse indicador será atribuído o valor 0. 2.4.2 Segunda fase: Consolidação das listas- iniciais As três listas obtidas segundo descrição acima devem agora ser consolidadas. Para cada uma das três listas: a) Primeiro: o peso atribuído ao critério que orientou a obtenção dos dados e formação da lista é multiplicado pelo número de pontos obtidos por cada titulo: Opinião de Usuários Volume de uso Fator de impacto peso 3 peso 2 peso 0.5 b) Segundo: o total de pontos obtidos por cada periódico nas três listas é somado, resultando em um valor único para cada título. c) Terceiro: o número de pontos para cada título nessa lista única é normalizado, posicionando os periódicos na escala de 0 a 100, conforme procedimento já descrito, e organizados em ordem decrescente de número de pontos obtidos: A lista de títulos novos, resultante da consulta aos usuários, será colocada ao final da lista única, para confirmação na próxima etapa da pesquisa. Essa lista também estará organizada em ordem decrescente de importância atribuída pelos usuários. O pré-teste exemplifica o procedimento. 2.4.3 Terceira fase: Confirmação das listas As listas obtidas nas fases anteriores devem agora passar por um segundo filtro, representado pela opinião dos coordenadores dos cursos, consultores da CAPES e membros dos Comitês Assessores do CNPq. Cerca de 743 "cursos" receberam títulos nas 19 IES, mas como pode ser verificado no documento da CAPES que serviu de base para identificação dos professores, não havia, em todas essas IES, cursos de pós-graduação, pois muitas vezes o PAP contemplou bibliotecas cujo acervo se apresentava bem desenvolvido em determinadas áreas e cuja demanda potencial justificava o financiamento. Portanto, o número exato de coordenadores terá que ser levantado área por área. �Quanto aos consultores da CAPES, são em número de...conforme a informação daquela instituição, mas pretende-se consultar 2 pessoas por área. Os assessores do CNPq são em número de 136. As listas consolidadas serão reenviadas aos cursos e aos consultores para confirmação da ordem dos títulos. O procedimento será o mesmo já descrito, mediante formulário. Mas agora os títulos aparecem em ordem decrescente de valor atribuído. Sua posição na escala deve aparecer (ser comunicada ao usuário), mas o fato que esses números representam apenas meios para ordenação, sem valor cardinal, deve ser bastante enfatizado. Os respondentes desta terceira fase serão solicitados a examinar a lista de periódicos de sua especialidade e confirmar a posição dos títulos. Quando houver alguma discordância, o respondente deverá assinalar o título em questão e indicar a posição em que, na sua opinião deveria estar sendo ocupada por aquele título. Isto será feito riscando a posição (o número ordinal) correspondente ao título e escrevendo, ao seu lado a posição adequada. Na lista que lhe é apresentada, além da posição na escala de 0 a 100, haverá indicação de percentagem - os primeiros 10%, 20%, etc - para facilitar a recolocação do título. Por exemplo, o título X, que se apresenta na posição 37, deveria, na opinião do respondente, estar em posição mais favorável. Ele indicará então qual será essa nova posição, riscando o número 37 e escrevendo no seu lugar a nova posição. Ou simplesmente escreverá o percentil em que acha que seria adequado colocar o título. a) Inclusão dos títulos novos na lista básicaOs respondentes desta terceira fase deverão também examinar a lista de títulos sugeridos com vistas a inclusão na lista básica. Sua tarefa será a de indicar o percentil em que o novo título deveria ser incluído. No caso de uma discordância quanto a sugestão, isto é, do respondente desta terceira fase achar que o titulo sugerido não deva ser incluído, deverá colocá-lo em último lugar na lista básica. b) Análise e tabulação dos dados obtidos na terceira fase Os formulários obtidos nesta terceira fase deverão ser examinados mais uma vez, e consolidados. Isto é, deverá prevalecer a opinião da maioria. Essa fase não foi testada no pré-teste. �A consolidação dos formulários recebidos de volta dos respondentes se dará pela simples média aritimética do total das opiniões confirmadas ou modificadas, ou seja: Para os títulos que foram alterados: Primeiro, serão somados os pontos (posição) obtidos por cada título em todos os formulários revistos. Segundo,o total é devido pelo número de respondentes ou formulários recebidos. Obtem-se assim a média aritimética de opinião dos respondentes quanto a posição do título. Terceiro, procede-se a ordenação por valores decrescentes. Quarto, procede-se a uma comparação entre a ordem agora obtida e aquela resultante da segunda fase. O objetivo é detectar se houve mudanças substanciais na ordenação, de mais de um percentil, por exemplo, e identificar caso isso tenha acontecido, quais os títulos sobre os quais houve tanta discordância. Atenção especial deve ser dada aos títulos que perderam posição, exageradamente, a ponto de terem seu financiamento ameaçado por eventuais cortes que se façam necessários. Todos os títulos que mudaram posição, quer para cima ou para baixo da escala, deverão ser objeto de mais um rodada de investigações, da qual resultará a forma final da lista. Partindo do principio que os consultores da CAPES e assessores do CNPq possuem, por sua experiêcia como consultores e assessores, uma visão mais apurada do estágio de desenvolvimento da área de sua especialidade no país todo, à opinião deles será atribuído um peso maior que às opiniões dos coordenadores de curso. Procedimento, para avaliar mudanças na ordem: Todos os formulários recebidos na terceira fase devem ser revistos, buscando-se neles somente opiniões sobre os títulos que tiveram suas posições substancialmente alteradas. Aos formulários - opiniões - oriundos dos consultores e assessores da CAPES e CNPq é atribuído o peso 2, e peso 1 aos oriundos dos coordenadores. Será então realizada nova ordenação. Essa será a ordenação final. �Mas, além disto: a) Identificar nas obras de referência pertinentes, (Ulrich's e outras do gênero) indicações relacionadas a inclusão do título em índices e abstracts. A existência dessas obras no Brasil - os índices e abstracts em que os títulos em questão são indexados-deverá ser verificada no Catálogo Coletivo de Periódicos. b) Verificar o número de assinaturas do título financiadas pelo PAP. c) verificar o volume de uso por IES, onde o título é financiado. Essas informações não mudarão a ordenação, mas servirão de base para comentários com a finalidade de orientar ações posteriores da coordenação do PNBU. ��.. 0- • ..---• • ~ • • • • • I 36 • • • - a . • • �ANEXO FATOR DE IMPACTO. FONTE: JOURNAL OF CITATIONS RECORD, 1986. POR PERIÓDICOS REVIEWS OF MODERN PHYSICS ADVANCES IN NUCLEAR PHYSICS ADVANCES IN PHYSICS REPORTS ON PROGRESS IN PHYSICS PHYSICAL REVIEW LETTERS ASTROPHYSICAL JOURNAL SUPPLEMENT NUCLEAR PHYSICS B ADVANCES IN ATOMIC AND MOLECULAR PHYSCS ATOMIC DATA AND NUCLEAR DATA TABLES ASTROPHYSICAL JOURNAL PHYSICS LETTERS B APPLIED PHYSICS LETTERS PHYSICAL REVIEW B SURFACE SCIENCE JOURNAL OF PHYSICS A JOURNAL OF PHYSICS B ANNALS OF PHYSICS JOURNAL OF THE OPTICAL SOC AMER B PHYSICAL REVIEW D COMMUNICATIONS IN MATHEMATICAL PHYSICS NUCLEAR PHYSICS A JOURNAL OF STATISTICAL PHYSICS PHYSICAL REVIEW A JOURNAL OF PHYSICS C NUCLEAR FUSION JOURNAL OF PHYSICS F PHYSICAL REVIEW C ACTA CRYSTALLOGRAPHICA A PHYSICS OF RUIDS PROGRESS OF THE ORETICAL PHYSICS JOURNAL OF APPUED PHYSICS ZEITSCHRIFT PHYSIC B JETP LETTERS ZEITSCHRIFT FUR PHYSIK A ACTA CRYSTALLOGRAPHICA B SOLID STATE COMMUNICATIONS JOURNAL OF PHYSICS G JOURNAL OF THE OPTICAL SOC AMER A OPTICS COMMUNICATIONS APPUED OTICS JOURNAL OF APPUED CRYSTALLOGRAPHY JOURNAL OF LOW TEMPERATURE PHYSICS PHYSICA B/C JOURNAL OF COMPUTATIONAL PHYSICS PHYSICS LETTERS A DECRESCENTE FATOR IMP 25.025 11.571 7.000 6.696 6.538 5.585 4.892 4.800 4.575 3.701 3.534 3.482 3.277 3.176 2.778 2.711 2.655 2.623 2.613 2.541 2.482 2.394 2.363 2.165 2.143 2.057 2.038 2.090 1.916 1.764 1.750 1.749 1.718 1.643 1.625 1.622 1.475 1.398 1.387 1.288 1.258 1.210 1.153 1.148 1.125 P E S 0 1 FATOR 3.116 77.978 36.055 21.812 20.865 20.372 17.403 15.243 14.957 14.256 11.532 11.012 10.850 10.211 9.896 8.656 8.447 8.273 8.173 8.142 7.918 7.734 7.460 7.363 6.746 6.678 6.410 6.350 6.260 5.970 5.497 5.453 5.450 5.353 5.120 5.064 5.054 4.596 4.356 4.322 4.013 3.920 3.770 3.593 3.577 3.506 PESO 0.50 38.99 18.03 10.91 10.43 10.19 8.70 7.62 7.48 7.13 5.77 5.51 5.42 5.11 4.95 4.33 4.22 4.14 4.19 4.07 3.96 3.87 3.73 3.68 3.37 3.34 3.20 3.18 3.13 2.99 2.75 2.73 2.72 2.68 2.56 2.53 2.53 2.30 2.18 2.16 2.01 1.96 1.89 1.80 1.79 1.75 � Dublin Core The Dublin Core metadata element set is common to all Omeka records, including items, files, and collections. For more information see, http://dublincore.org/documents/dces/. Title A name given to the resource SNBU - Edição: 06 - Ano: 1989 (UFPA - Belém/PA) Subject The topic of the resource Biblioteconomia Documentação Ciência da Informação Bibliotecas Universitárias Description An account of the resource Tema: Automação de bibliotecas e serviços aos usuários. Creator An entity primarily responsible for making the resource SNBU - Seminário Nacional de Bibliotecas Universitárias Publisher An entity responsible for making the resource available UFPA Language A language of the resource Português Type The nature or genre of the resource Evento Coverage The spatial or temporal topic of the resource, the spatial applicability of the resource, or the jurisdiction under which the resource is relevant Belém (Pará) Event A non-persistent, time-based occurrence. Metadata for an event provides descriptive information that is the basis for discovery of the purpose, location, duration, and responsible agents associated with an event. Examples include an exhibition, webcast, conference, workshop, open day, performance, battle, trial, wedding, tea party, conflagration. Dublin Core The Dublin Core metadata element set is common to all Omeka records, including items, files, and collections. For more information see, http://dublincore.org/documents/dces/. Title A name given to the resource Apresentação da proposta de metodologia e plano de pesquisa para avaliaçao das listas básicas de periódicos financiados pelo PAAP. (Painel 3: Plano Nacional de Bibliotecas Universitárias - PNBU) Creator An entity primarily responsible for making the resource Mueller, Suzana Pinheiro Machado Coverage The spatial or temporal topic of the resource, the spatial applicability of the resource, or the jurisdiction under which the resource is relevant Belém (Pará) Publisher An entity responsible for making the resource available UFPA Date A point or period of time associated with an event in the lifecycle of the resource 1989 Type The nature or genre of the resource Evento Description An account of the resource Pesquisa motivada pela necessidade de renovação das assinaturas que vem sendo financiadas pelo Programa de Aquisição Planificada de Periódicos - PAP. Um programa dessa monta e importância, que garante a existência e por conseguinte a disponibilidade no país, de 2334 títulos de periódicos estrangeiros, em 63 áreas de conhecimento, num total de 7079 assinaturas, depositando-as em 19 instituições de nivel superior, espalhadas pelas cinco regiões geográficas, exige avaliação. A oportunidade de renovação dessas assinaturas provocou a necessidade de avaliação. Language A language of the resource pt snbu1989