http://repositorio.febab.org.br/files/original/20/2010/cbbd1979_doc73.pdf 26a5550f2e3577b1f4905f78ce5eecf5 PDF Text Text 987 AVALIAÇÃO DE DESEMPENHO EM BIBLIOTECAS RESUMO Wanda Wenda Maria Maia da Rocha Paranhos CRB-9/107 Professora Assistente do Departamento de Bibi Biblio io teconomia da Universidada Universidade Federal do Paraná. Discute conceitos gerais de avelieçSo Discuta avaliaçSo em bibliotaces, bibliotecas, enfatizando avaliação de eficácia. Apresenta e compare compara dois modelos de da avaliação (quantidade de uso e disponibilidade de documentos) èà luz de quatro critérios: informatividade, velldade, validada, comparabllldade comparabilidade ae praticidada. praticidade. O modelo de disponibilidade da de documentos éá considerado mais conveniente por permitir a identificação de problemas na bilioteca qua que causam frustração nos usuários. As llmiteçfies limitações do modelo são também apresentadas, assim como' como sua utilidade nos processos administrativos edministrativos de justificação ea elocação, alocação, servindo de diretriz na tomada da de decisões. Enfatize Enfatiza a necessidade de se desenvolverem outros modelos, devido às limitações dos modelos modalos atualmente disponíveis. 1. INTRODUÇÃO Uma das funções do bibliotecário é dirigir bibliotecas. Dirigir, conforma conforme salienta Carvalho, Ume é "astabalecer "estabelecer objetivos e organizar recursos para p>ara atingi-los" (5:62). procura de modelos para aveliação avaliação da de bibliotecas, com a literatura Isto tem levado à procure respectiva crescendo consideravelmente nas dues duas (iltimas últimas décadas. À perte parte ae curiosidade netural natural de pesquisadoras pesquisadores por métodos novos pera para examinar e apresentar os fenômenos relativos às áreas em que estejam envolvidos, contribuindo para pare seu desenvolvimento, há atualmente uma necessidade inerentes eo ao processo de transferência de premente de uma melhor compreensão das variáveis Inerentes informações, básico a tantas atividades, ae que tem nas bibliotecas agências agências, da de funtamental importãrK:ia. importãrKia. Segundo Jackson, citado por Figueiredo, "padrões ea estatísticas são o próprio cerne cerna dos procedimentos da de medida e avaliação" eveliação" (10:191). Esta afirmativa efirmetiva sugere não só a potencialidade, potancielldade, mas ea nacessidade, necessidade, de estudos quantitativos ne na caracterização do desempenho da biblioteca, mormante mormente se de seu efeito sobre o usuário. este desempenho for medido em termos da Dados, portanto, são necessários para esta caracterização. O problame problema é: que dados se dave deve coletar, e como? Dei Daf a necessidade, ao nosso ver, da de modalos modelos de avaliação que claramenta claramente definam colatar, os dados cuja coleta requerem, ea meneira maneira da de promover esta coleta, e o uso que se possa posteriormente fazer deles, principalmente em termos tarmos de tomadas de decisão que qua contribuam contribuem para pere um incremento no desempenho da biblioteca em relação à setisfação satisfação dos usuários. A literature literatura profissional brasileira tem feito elusão alusão àá necessidade de estudos de aveliação, avaliação, mas ainda não existe disponível para discussão um ralato relato detalhado ae constante de da experiências. O objetivo do presante presente trabalho trabelho é divulgar modalos modelos já propostos na literatura estrangeira, discutí-los ae aprasentar apresentar elgumas algumas limitações e aplicações. Z MODELOS DE AVALIAÇÃO Z1. Nfvais Níveis de avaliação Segundo Lancastar, Lancaster, a avaliação de serviços bibliotecários pode poda ser desenvolvida em três níveis (16:1): 1. Eficácia ("effectiveness"): refere-se àá habilidade do sistema am em atingir os objetivos para o qual foi projetado; 2. Eficiência ("efflclency" ("efficiency" ou "cost-effectiveness"): refere-se áè habilidade do sistema sisteme de da utilizar o mínimo da de recursos, principalmente financeiros, para atingir etingir seus saus objetivos; Custo-beneficio ("cost-benefit"): refere-se à habilidade do sistema 3. Custo-beneficlo sisteme de produzir bens ou serviços cujo valor seja maior do que o custo de provê-los. Os qua que estão familiarizados com o processo da de transferência da informação percebem de da início o grande problema existente na tentativa de se avaliar bibliotecas, como sistemas de informação que são de acordo com o nível nivel três citado acima: como determinar, para cada usuário de cada informação qua que encontra? Qual o valor da falta da real que acorre à biblioteca, o valor da informação se esta não pude ser provida pelo sistema? Como estabelecer, da de uma maneira padronizada, o custo no fornecimento destes destas informações, de da tal maneira que, quando comparados cm Digitalizado gentilmente por: 11 12 13 14 �988 conforme o seu uso pela população a que são destinadas, o com o valor das informações obtidas conforma saldo — positivo ou negativo — - possa ser um indicador do desempenho do sistema? Questões como estas ainda não foram de todo respondidas ae impedem que este tipo de biblioteconômica. análise e avaliação se desenvolva na área biblloteconômica. Estamos, com isso, dependentes de outros modelos. Os que nos restam são os de eficácia ea os de da eficiência. De acordo com Peter Drucker, com a concordância de Wiliard Willard (29), organizações que prestam serviços, como bibliotecas, são melhor avaliadas em termos da qua de eficácia ("fazer a coisa certa") do que qua de eficiência ("fazar ("fazer certo a coisa") (8:137). Uma vez que, geralmenta, geralmente, elas não objetivam lucro (um dos maiores determinantes para a ênfase na diminuição dos custos) é mais Importante qua sejam avaliadas do ponto de da vista da consecussão consecussãò dos seus objetivos. De Da acordo com importante que esta este ponto da de vista, o mais importante é atingir, primeiro um nível aceitável de eficácia; depois, tenta-se manter esta este nível ao mesmo tempo em que se procura diminuir os custos envolvidos. Este éá o enfoqua enfoque seguido no prasenta presente trabalho. 2.2. 2.Z Avaliação da de eficácia. primeiro passo em qualquer esforço de avaialiação da eficácia em bibliotecas é definir o O primalro objetivo que se pretenda atingir ea redigí-lo de forma a permitir a verificação. Quando o objetivo da biblioteca é apresentado como sendo, por exemplo, "auxiliar pessoas a se tornaram tornarem melhores membros da comunidade mediante a provisão de fontes variadas da de informação", será bastante difícil verificar se o objetivo, conforme conforma formulado, astá está sendo atingido. Como provar que as pessoas se tornam tomam melhores membros da comunidade na medida em que sa se utiiizam desta provisão? O que é ser melhor membro da comunidade? Para fins de avaliação, quando utilizam um desempenho será resumido de alguma maneira ae comparado com um ideal (o objetivo), este esta precisa astar pracisa estar redigido radigido de da forma tangível, permitindo observação ea mensuração. mensuraçãò. Encarregando-se da de prover potenciais usuários com as informações de que possam precisar conforme estejam registradas em conforma am documentos (tomados aqui em seu senso mais lato), as bibliotecas de colocar o usuário em contato com as fontes de informação cumprem o papel essencial da (documentos). Para cumprirem este asta papel, recursos são alocados ea serviços são desenvolvidos. Não cabe aqui uma detalhada axposição exposição dos componentes da biblioteca como um sistema, mas masafienasa apenas a alusão parmitindo permitindo o dastaqua destaque desta deste ponto: a bibliotaca biblioteca sarve serve cómo como contato antre entre usuários ea documentos, ae com os recursos de qua que dispõa dispõe procura facilitar ao máximo este contato. Nestes termos, pode-se dizer que qua o objetivo objativo (ou um dos objetivos) objativos) da biblioteca é aumentar ou maxirnizar, maximizar, na medida do possível, o contato entra entre usuários e documentos. documantos. Tem sido bastanta bastante difícil sumarizar am em uma única estatística todo o esforço que qua a biblioteca desenvolva desenvolve para atingir todo o esforço qua que a biblioteca desenvolva desenvolve para atingir esta este objetivo tangíval objativo tangível (observável (obsarvável ea mensurável) de da aumentar o contato entre usuários e documentos, fazendo com qua fazando que deste dasta contato resultam resultem usuários satisfeitos. Na Impossibilidade impossibilidade da de fazê-lo, até atá agora, de uma forma abrengenta, da abrangente, alguns aspectos desta deste contato têm sido escolhidos como indicadores do desempenho da biblioteca. A aste este respeito áê possível caracterizar uma tendência tradicional ea uma tendência moderna. ZZ1. Tandência Tendência tradicional. A tendência tradicional áé caracterizada pala pela coleta ae organização, em forma sumária, de dados comumenta comumente rotulados de "estatísticas da biblioteca": total de da usuários, total de recursos gastos, documentos usados, aspaço espaço ocupado, total da de assinaturas de da periódicos, detalhas detalhes relativos à circulação ea outros no gênero. Esta tendência enfatiza tão somente os recursos existentes, ou a clientela em am demanda ou potencial. Refere-sa Refere-se mais aos componentes do sistema tomados isoladamente. Desta maneira o desempenho em si não áé satisfatoriamente descrito, pois que qua tais estatísticas, am em geral, não refletem raflatem a interação Interação existente entre antre usuários e sistema, que áé o aspecto mais revelador da consecução do objetivo da biblioteca conforme tentativamente estabelecido anteriormente. Além disto, estas estatísticas coletadas regularmente e qua que abundam nos relatórios mais Alám diversos via de ragra regra não permitem, por si sós, a tomada de decisões visando a melhoria dos serviços. Q conhecimento do tamanho da coleção não é Indicação indicação suficiente de sua adequação à clientela; o D conhecimento da magnitude da freqüência freqüêncla da de usuários não áé garantia que eles saiam satisfeitos setisfaitos da biblioteca; o mero. conhecimento de investimento faito feito não assagura assegura que o serviço esteja meilhor. mellhor. ' O gerente da biblioteca precisa de dados que não apenas espelhem uma situação, mas D favoreçam a tomada de decisões. Isto levou ao desenvolvimento de outros modelos de avaliação. cm Digitalizado gentilmente por: �989 2.2.2. 2.ZZ Tendência moderna Há vários modelos para medidas de desempenho propostos pelos pesquisadores na érea. área. A grosso modo eles podem ser reunidos em am dois grupos: 1. Estudos de "quantidade de uso", que procuram reduzir a estatísticas vários dos serviços prestados, usando-se em geral como critério o tempo de exposição axposIçSo a documentos pelos peios freqüentadores da biblioteca; fraqüentadores 2, Estudos de "disponibilidade de documentos", que definem a probabilidade da 2. de o usuário encontrar na biblioteca documento qua que está procurando. procurando, De acordo com Orr, 6é desejável que toda medida de Da da desempenho apresente certas propriedades no tocante a seu uso como caracterização da biblioteca ea como orientador de ação gerencial (19:328). Algumas destas propriedades são: 1. informatividada Informatividade (a capacidade da medida ser informativa): a medida deve ravelar revelar fontes dos problemas operacionais da biblioteca, eventuaimente eventualmente responsáveis pelo nível nfvel do desempenho, ae auxiliar na sugestão de soiuçSes soluções para tais problemas; 2. Validade: a medida madida deve estar baseada em pressupostos aceitáveis, e, na medida do possível, ser produzida mediante uso de técnicas estatísticas padronizadas. O esforço necessário para possivel, gerá-la, sendo um reflaxo reflexo da realidade da biblioteca, não deve deturpar a representação dasta desta realidade; 3. Comparabilidade: a medida precisa ser computada px}ssam ser feitos, para fins de comparação, em outras bibliotecas (estudos sincrônicos) semelhantes possam mesma biblioteca, em épocas diferentes| (estudos diacrônicos). Isto também requar requer qua que o ou na mesnfia-biblioteca, resultado seja representado em am magnitudes que favoreçam tais comparações; 4. Praticidade: os custos associados com a coleta de informações Informações a partir das quais a precisam ser inferiores ao possível medida é computada pracisam possivel valor vaior que a medida tenha tanha para fins gerenciais. funcionamento normal da biblioteca ae não O esforço necessário para gerá-la não deve perturbar o fundonamanto deve exigir recursos fenomenais (em termos da de pessoal, equipamento, tempo) para a sua realização . ' À luz iuz destes dastes critérios, vamos examinar um modelo de análise de eficácia correspondente a cada um dos dois tipos de estudos mencionados anteriormente, anteriormante, a saber: "quantidade de uso" ea "disponibilidade de dpcumentos". documentos". 2,2.3. Modelo da de "quantidade da de uso" 2.2.3. ZZ3.1. Descrição ^. Descrição 2.2.3. Os autores deste modelo, Hamburg, Ramist e Bommar Bommer (12) consideram como principal objetivo da biblioteca maximizar a exposição de usuários aos documentos existentes na biblioteca. Como esta exposição pode processar-se por vários modos — cada um constituindo-se em evento avento exige um procedimento especifico para sua independentemente observável e mensurável — cada qual axige quantificação. Em cada caso, dois parâmetros são usados: (a) o tempo médio de duração do evento ae (b) a frequência, frequência média rnédia do evento, obtidos em um determinado intervalo de tempo. Os possivais possíveis modos de exposição são; são: inclui uso do material dentro e fora da biblioteca: 1. exposição direta, que Inclui 1.1. uso do material fora da biblioteca: refere-se refare-se ao material retirado por ampréstimo. empréstimo. Os usuários são entrevistados no sentido de identificarem quanto tempo passaram real realmenta mente usando o material. A partir das respostas uma média áé obtida (estatística A, parâmetro de tempo). O número médio de usuários retirantes de documentos no período constitui o parâmetro de freqüèncla freqüència (A‘). 1.2. Uso do material dentro do recinto da billoteca: bilioteca: otém-se o tempo médio que usuários passam na biblioteca marcando-se a hora de entrada e saída de cada usuário. Deduz-se desta média de da tempo gasto dentro da biblioteca a proporção de tempo empregado em tarefas do tipo consulta a catálogos, uso do recinto para outros propósitos que não o contato com documentos, etc. O resultado é a média de tempo gasto em contato com documentos (B, parâmetro de tempo). O número médio de usuários no recinto, no período estudado, constitui o parâmetro de freqüència freqüèncla (B'). 2. Exposição indireta, que inclui situações em que o pessoal da biblioteca serve como de referência, por intermediário entre os usuários e os documentos (respondendo a questões 'da exemplo). Também neste caso tanto a média do tempo empregado (C, parâmetro de tempo) quanto o número médio de funcionários envolvidos IC’, (C', parâmetro de freqüència) frequência) são obtidos. As medidas parciais correspondentes a cada evento são o produto dos valores de cada par de parâmetros: AxA', BxB', CxC'. O tempo de exposição final finai (a medida de desempenho) é a soma cm Digitalizado gentilmente por: II 12 13 14 �990 dos três resultados parciais e é representado na medida de tempo julgada conveniente. O modelo proposto pelos autores inclui outras variáveis relativas a custo. Estas não foram consideradas na presente análise por representarem mais aspectos de eficiência do que de eficácia, que é o principal enfoque aqui seguido. 2.Z3.2. Discussão 2.2.Z.2. O resultado final obtido pela aplicação deste modelo constitui o espelho sumário de uma realidade. No entanto, não está claro se a medida é capaz de refletir problemas operacionais da biblioteca. Em outras palavras, se bibliotaca. sa a mudança em am um dos valores ficar evidenciada em um segundo experimento, quando comparada ao obtido no primeiro, a medida revela o que podería poderia ser o responsável pela mudança? Não parece ser possfvel, possível, neste modelo, representar no resultado final alterações específicas nas operações da biblioteca de tal modo que o resultado pudesse expressar tais alterações como benvindas ou não relativamente ao objetivo que e pretende atingir. atirtgir. Em suma, será possível verificar que uma mudança ocorreu, mas não será possfvel possível precisar por qua que ela ocorreu, ou qual a responsabilidade de um determinado componente do sistema . (coleção, pessoal, etc) em relação a esta mudança. A medida, então, antão, passa a não ser informativa no que concerne a seu uso para fins gerenciais, gerenciais. A medida é válida considerando que a metodologia usada para coletar os dados (entrevista, observação) pode ser aplicada de modo a não alterar o que está sendo medido, desde que, naturalmente, se aceite o pressuposto em que o procedimento está baseado: que o usuário êé capaz da de lembrar-se com exatidão, e assim informar, por quanto tempo realmente usou cada documento biblioteca. ÉÊ válida considerando que técnicas estatísticas comuns podem ser usadas na retirado da biblioteca, determinação de amostragens confiáveis e na definição das possíveis variações dos valores. Utilizando procedimentos reproduzíveis ae medidas finais de tempo padronizadas, a medida é também comparável. Se a obtenção dos dados (A, A', B, B', C, C') não prejudica o uso normal da biblioteca e não exige investimentos extraordinários, a medida também atende ao requisito de praticidade. Em resumo, o maior problema ralacionado relacionado com este modelo é que não se tem uma noção, mesmo intuitiva, do que poderia ser um bom nível níval de serviço se este modelo fosse utilizado. Qualquer que seja o resultado obtido da primeira vez que o experimento for desenvolvido (X), o vê limitado a repetir os experimentos com o objetivo de verificar resultados menores, pesquisador se vé iguais ou maiores que x, sem contudo poder justificar qualquer alteração percebida. Esta limitação prejudica o uso do modelo para fins gerenciais, pois não se tem sugestões de problemas a atacar ou alternativas preferenciais a seguir. 2.2.4 Modalo Modelo de "disponibilidade de documentos" ZZ4.1. Descrição Z2.4.1. O modelo descrito a seguir, preposto por Kantor (13,14), éê o mais recente dentre os que utilizaram disponibilidade de documentos como critério e representa um aperfeiçoamento de modelos menos completos anteriormente sugeridos por De Prospo, AItman Altman e Beasley (7), Urquart (27) e Buckiand (3), para citar apenas alguns. Kantor propõe a análise do problema mediante uso de um diagrama (14:107) que reflete os possíveis obstáculos que um usuário precisa ultrapassar quando procura algum documento específico na biblioteca. A habilidade de da ultrapassar tais obstáculos é representada em temos de probabilidades (cada resultado é demonstrado no intervalo 0 ^1) e o resultado final representa o índice combinado da de sucesso ou satisfação dos usuários. Os obstáculos que podem representar causas de frustração para o usuário em busca de um documento específico são apresentados em uma progressão lógica: o documento precisa ter sido adquirido pela biblioteca, precisa não estar sando sendo usado por outra pessoa, precisa estar em seu lugar correto nas estantes para poder ser encontrado, e, finalmente, o usuário precisa ser hábil o suficiente para encontrá-lo, se as condições anteriores estiverem satisfeitas. A partir do conhecimento dos documentos desejados pelos usuários e procurados mediante uso de catálogo, identifica-se: a. o total de documentos desejados (W); b. o total de documentos encontrados (S); c. o total de documentos não encontrados (W - S): S). Digitalizado gentilmente por: �991 causa documentos não adquiridos (R). IRI. IQI causa documentos em uso IQI. causa: funcionamento inadequado da biblioteca (P). (PI. - causa inabilidade do usuário (NI. Nestes termos. W ■ S -=■ R Q P N. Conhecidos estes números, as seguintes medidas podem ser obtidas: Pg> Pg. que representa a probabilidade de qua que o documento desejado (cujo autor a/ou e/ou titulo o usuário conhecei está incluído na coleção da biblioteca listo conhece) (isto é, è, foi adquirido). edquirido). Este número áé conseguido dividindo-se o número de documentos desejados constentes constantes da coleção da biblioteca (V) pelo número total de documentos desejados (W). Logo, Logo. Pe Pa = V/W; V/W. P^. que representa a probabilidade de que o documento adquirido e desejado pelo usuário não está P^> sendo usado no momento da busca. Este número é conseguido dividindo-se o. o total de documentos edquiridqs adquiridos identificados como não estando em uso no momento da busca lU) pelo total de documentos identificados como adquiridos pela biblioteca IV). (V). Logo. Logo, P^ = U/V; P|.que representa a probabilidade de que um documento que se sabe não estar sendo usado no P|,que momento na biblioteca encontra-se em am seu correto lugar no recinto (provavelmente (provevelmente em estantes ou armários), conforme identificado no catálogo à disposição do público. Este número é conseguido dividindo-se o número de documentos encontrados em sua localização correta (T) pelo númaro número de documentos não sendo usados na ocasião da busca (U). Logo, Logo. P ]| = T/U; Pj‘ que representa a probabilidade de que o usuário é suficientemente hábil em encontrar na P^j' biblioteca os documentos cujo número de chamade chamada ele obtiver do catálogo e que estiverem corretamente armazenados. Este número éá obtido dividindo-se o número de documentos encontrados pelos usuários (S) pelo número de documentos sabidamente locelizados encontredos localizados em seus locais corretos na biblioteca (T). Logo. loceis Logo, Py Pg = S/T; Pj- que representa o (ndice P,> índice final de satisfação ou sucesso dousário, do usário. computado como o produto das quatro medidas anteriores: Pa x Pc x P j x Pu ou Ps *- S/W. Para coleta dos dados, dois tipos de instrumentos são necessários: (a) (e) um formulário que é entregue eos aos usuários à entrada da de biblioteca (completado por uma breve entrevista desenvolvida à saida) e (b) uma lista detalhada das possíveis razões pelas quais os documentos não forem saída) foram encontrados (correspondentes a uma decomposição des das causas de frustração), levando-se em conta as características e procedimentos seguidos na biblioteca em que o estudo for feito. O formulário prevã espaço para as es seguintes Informações: — autor e/ou titulo do documento desejado (possível a indicação da de mais de um); — número de chamada correspondente ea cada documento, conforma conforme obtido mediante consulta ao catálogo da biblioteca à disposição do público; — informação relative relativa ao status de cada documento, no sentido de ter sido encontrado pelo usuário ou não. Quando o usuário entra na biblioteca, o objetivo da de (lesquisa pesquisa lhe é brevemente explicado e, e. desde que ele se utilize do catálogo de autor e/ou titulo, o formulário é entregue, e serve para o usuário como um mero papel pepel rascunho rescunho para as informações a serem obtidas do catálogo. À sua salda, o pesquisador procede a ume uma breve entreviste, entrevista, apenas para certificer-se certificar-se de que pera para cada documento constante do formulário haja haje a indicação de ter sido encontrado ou não, não. e retém o formulário. Muidos deste, o pesquisador imedietemente imediatamente retoma a busca dos documentos não encontredos encontrados pelos usuários, procurando determinar a causa da frustração, mediante uso da lista (b) mencionade mencionada anteriormente. Um exemplo da lista utilizade utilizada em um dos estudos feitos é a seguinte, com as correspondentes causas de frustração coma com e notação indicada no presente trabalho: 1. Documento não incluído na coleção R 2. Número de chamada incorretamente copiado N 3. Documento localizado em área especial aspecial assim identificada no catálogo . . N 4. Documento corretamente armazenado N 5. Documento localizado em local incorreto P 6. Documento recentemente usado ou em uso Q 7. Documento aguardando recolocação na coleção P 8. Documento localizado em área especial não identificada no catálogo . . P 9. Documento retirado por empréstimo Q 10. Outro (documento em reparo, desaparecido, etc) P Digitalizado gentilmente por: �992 Esta lista è desenvolvida a partir da situação real da biblioteca estudada. Quando as causas estiverem determinadas para todos os documentos não encontados pelos usuários, as contagens podem ser feitas e os cálculos levam à especificação de cada um dos valores das probabilidades. O 0 número de usuários a entrevistar Ia composição da amostra) amostrai pode ser determinado mediante uso de técnica estatística apropriada, de acordo com o nivel nível de confiança desejado. Z2.4.2. Discussão Discussio O modalo modelo identifica quatro fatores que. que, independemente, podem afetar o sucesso dos usuários em busca de documentos específicos na biblioteca. Este aspecto é importante na medida em que estas causas da de frustração correspondem a fontes de problemas operacionais, reveladas pela medida, ae suscetíveis de ações açSes corretivas uma ume vez diagnosticadas. A cada passo os resultados são informativos. Tem também a virtude de exeminar examinar a biblioteca partindo de uma amostra que é gerada pelos usuários. A medida é válida considerando-se que a obtenção dos dados requeridos não interfere com a sua mensuração astá está baseada em pressupostos aceitáveis. A representação da medida em termos de probabilidades permite comparações sincrônicas sincrõnicas ae diacrônicas. A magnitude da amostra pode ser determinada por técnicas técnicasestatísticas estatísticas comuns. Erros metodológicos com ralação relação à determinação do status de cada documento, que é crucial para a computação da medida, podam podem apenas ser minimizados, pelo empenho dos pesquisadores, até que negligiveis. possam ser considerados negligíveis. A medida produzida é pfatica, uma vez que qua não perturba o funcionamento fundonamento da bilioteca, embora isto dependa um pouco da disposição espacial do interior da biblioteca e do número de pesquisadores em ação (se a biblioteca tiver apenas um ponto de entrada/saída ea o catálogo público estiver nessas imediações, dois pesquisadores podem ser suficientes: um procede à entrega do formulário e à entrevista, enquanto enquanto'oo outro procura determinar o status de cada documento não encontrado pelos usuários constante dos formulários já entregues). Em resumo, ambos os modelos atendem aos requisitos anteriormente mencionados de da validade, comparabilidade e praticidade. No tocante à informatividade, porém, o modelo de Kantor é superior ao de Hamburg, Ramist ae Bommar, Bommer, na medida am em que o primeiro revela fontes da problemas operacionais, que podem ser alvo para decisões gerenciais, virtude esta asta que o segundo não apresenta. Por outro lado, iado, o modelo da de Hamburg, Ramist e Bommer é mais abrangenta abrangente no tocanta tocante a levar em conta outros serviços da bibliotaca biblioteca além da circulação de material, qua que é uma limitação no modelo de Kantor. Outra limitação neste eie pode nesta modeio modelo é que qua ela poda ser aplicado unicamente unicamenta a buscas de documentos específicos (autor e/ou título previamanta previamente conhecidos) realizadas medianta mediante uso do catáiogo. Documentos procurados na biblioteca por assunto, ou "browsing", catálogo. "browsing”, por exemplo, estão excluídos deste modalo. modelo. 3. O MODELO DE AVALIAÇAO COMO INSTRUMENTO PARA AÇÃO AÇAO GERENCIAL trás aspectos administrativos estudos de avaliação podem ser úteis para o Em pelo menos trés gerente de bibliotecas (15:83): gerante (a) Justificação: refere-se ao processo pelo qual o gerente persuade os responsáveis no nível hierarquicamante hierarquicamente superior a (i) aumentar o orçamento para o próximo exercício, ou (ii) não nivel cortá-lo. ou (iii) na pior das hipóteses, não cortá-lo damais. cortá-lo, demais. Neste Nesta processo, qualquer medida que o gerente percebe ter valia na demonstração da quantidade ou qualidade do serviço prestado será gerante naturalmente de grande ajuda; naturalmenta (b) Alocação: refera-se refere-se às decisões quanto à distribuição ou aplicação do orçamento que, uma vez disponível, deverá ser feita faita relativamente às operações da biblioteca. Idealmente, salienta Kantor (1584) tais decisões são feitas com base em um modelo que mostre quanto qualquer das possíveis alocações poderá maximizar os objetivos incialmente estabelecidos. Na prática, tais decisões requerem "uma rara combinação de intuição ae julgamento". (cl Maximização: refere-se aos detalhes específicos dos procedimentos e políticos que, (c) depois da alocação, procuram assegurar à biblioteca a obtenção do máximo possível para cada oentavo gasto. Corresponde aos modelos de avaliação de eficiência. centavo Modelos de avaliação de eficácia podem ser úteis particularmente nos processos de justificação ae alocação, constituindo diretrizes na coleta, organização e interpretação de dados relativos à intereaçâo intereação usuário/biblioteca, de modo a permitir a tomada de decisões. Eis porque seja desejável que o modelo revele problemas que possam substancialmente afetar o desempenho da cm Digitalizado gentilmente por: ^ , 11 12 13 14 �993 ' biblioteca, particularmente os que qua causam frustração nos usuários. Se o modelo é capaz de tal revelação, os problemas podem ser atacados mediante adoção de medidas corretivas eficazes. No caso do modelo de disponibilidade de documentos proposto por Kantor, isto é feito. Uma vaz vez realizado o experimento, os problemas ficam aparentes e ênfase poda pode ser dada à solução soiução dos aspectos que forem mais cruciais. O maior impacto possfvel possível na medida final (Pj) (P,) é causado pela melhoria no desempenho desenrpenho do aspecto parcial (Pa, Pc, PPjj ou Pu) qua que apresentar o valor mais baixo. Se a cada análise tal for feito, a biblioteca 'jradativamente atinge atirige melhores níveis niveis de desempenho em cada um dos aspectos. Vale aqui lembrar que, sendo Pj um produto de quatro fraçSes, frações, (estando as probabilidades expressas no intervalo o ^ 1), seu valor sará será necessariamente infarior inferior a qualquer dos quatro valores qua que o gararam. geraram. Um fndica (ndice de sucesso da ordem de da 65%, que intuitivamente pode parecer baixo, corresponde à obtenção de resultados F>arecer resuitados parciais da ordem de 90% (.90 x .90 x .90 x .90 = .65). 3.1 Frustração causada por aquisição (P|i) (P,) Um nfvel nível baixo de Pg pode indicar que a política de da aquisição precisa ser revista. Documentos desejados que não estão ainda incluídos na coleção são alvos naturais para uma aquisição imediata, uma vez que há a garantia da demanda. É importante notar, entretanto, que os dados levantados por este modelo advêm de uma amostra e, a, portanto, nem todos os documentos em demanda estarão representados. Por causa disto, outras maneiras de da acompanhar ativamente os interesses dos usários têm que qua ser desenvolvidas com o propósito de melhorar o índice da de satisfação relativo à coleção. Tem sido ultimamente proposta na literatura a análise dos documentos em demanda para daí se extraírem diretrizes várias. Estudar a distribuição, por uso, dos itens incluídos na coleção pode permitir decisões quanto a estudos de disposição espacial (1), ea localização manos menos acessível para itens pouco usados, por exemplo (9). ÉÊ também defensável a idéia de se extraírem diretrizes para seleção a partir da análise dos itens em demanda. É conveniente enfatizar, entretanto, que este não pode representar o Onico bnico enfoque para seieção. seleção. Enquanto este tipo de análise de uso representa uma estratégia aceitável aceitával (a única observável no processo de transferência da informação) é importante lembrar que precisa haver também uma preocupação praocupação com o estudo do não-usuário (17). O mero fato de haver não-usuários de um sistema poda pode representar falha de alguma espécie no provimento de serviços de informação, provavelmente não reveladas nos estudos dos usuários reais, e isto não pode absolutamente necessário, mas ser desconsiderado. Ter estudos de usuários reais como base é, então absolutamenta não suficiente: eles não contam a estória toda. O estudo de não-usuários constitui, deste modo, enorme e Inexplorada inexplorada área da de pesquisa. 3.2 3L2 Frustração causada por circulação (p^) P^., já constam da literatura estudos detalhados que comprovam haver três Com relação a P^, afetando a disponibilidade de documentos: a) período de importantes variáveis afatando da empréstimo; b) o de exemplares existentes para cada título procurado; c) a popularidade ou freqüência de número da demanda de cada documento. A reiação demarKia raiação existente axistante entre estas variáveis pode ser sumarizada como sendo: a disponibilidade é maior quando o período de empréstimo é menor; a disponibilidade disponibiiidade é disponibilidade é maior quando a popularidade é baixa. A maior quando há duplicação de cópias; a disponibilidada política a adotar am politica em cada caso tará terá qua que levar em consideração os custos envolvidos, de vez que o mesmo resultado final pode ser conseguido com a adoção de alternativas similares em efeito, mas diversas quanto ao investimento exigido (por exemplo, axemplo, diminuir o período de empréstimo pode seir ser mais barato do que comprar mais exemplares de livros com popularidade acima da média). Uma medida parece estar ganhando aceitação: é o período de da empréstimo variável de acordo com a popularidade do documento, documento. Esta medida foi sugerida em atendimento ao caráter conflitante do empréstimo com relação à disponibilidade de documentos para F>ara os usuários: por um lado, quer-se permitir ao usuário que retire os documentos da biblioteca mas, em o permitindo, se está determinando que tais documentos não estarão disponíveis para outros usuários. A determinação do atender a tentativa período de empréstimo em dependência da popularidade do documento procura atènder de disponibilidade máxima, em função também do número de exemplares existentes. Também convém notar que estudos comprovaram os seguintes fatos (pelo menos em bibliotecas universitárias): (a) os usuários procuram completar a consulta aos documentos dentro do empréstimo: (b) os documentos são período permitido para sua retenção, evitando renovações do empréstimo; devolvidos em um ritmo constante, previsível, a partir de 0 até 80% do período de empréstimo; (c) cm 2 3 Digitalizado gentilmente por: �994 de 80% a 100% do perfodo período de empréstimo, o ritrrra ritrrro se acentua sob a influência da tiata data devida ae das penalidades impostas em caso da inobservância do prazo. Estas observações são úteis no estudo da política de circulação ea ser adotada, tendo sido comprovadas por Shaw (26) em uma variedade de poiftica variedade da de períodos perfodos da de empréstimo ae variedades da de categorias de blibliotecas universitárias, com variedada usuários. 3.3 Frustração causada por erro da biblioteca (Pj) Nesta categoria, em todos os experimentos relatados na literatura, a maioria dos casos refere-se a livros desaparecidos. desaparecidos, Isto isto pode indicar que recursos precisam ser reservados para a reposição dos documentos que, sabidamente perdidos, estão ainda em demanda. Outro aspecto a considerar áé a introdução de dispositivos controladores da salda iegal legal de documentos; documentos: este esta aspecto é ainda controverso, conforme o atastam atestam artigos recentes. A introdução de tais dispositivos, qualquer que seja sua natureza (eletrônicos ou não) pode consideravelmente afetar efetar o comportamento do usuário e levar a outres outras causas de frustração, tais como cOmo aumento eumento no índice Indica de da documentos mutilados, no índice Índice de livros propositalnrtente propositalmente colocados em iugar lugar errado na biblioteca, e atitudes similares que, embora não caracterizando retirade retirada iiegai ilegal do documento, são igu igual ei mente menta responsáveis por frustração, e, talvez, mais difíceis ainda de sa a, se eviter, evitar, descobrir a/ou e/ou corrigir. Ainda nesta categoria, o índice diagnosticado pode determinar; determinar: (a) ae necessidade de treinamento do pessoal encarregado da recolocação dos documentos nos lugares apõs epòs o uso; Ib) (b) ea frequência com que se precisa proceder a esta recolocação; (c) a necessidade necessidada de elaboração de controles para localização de itens retirados de da coleção por qualquer outro motivo além do empréstimo (encadernação, reparo, etc). 3.4 Frustração causada por arro erro do usuário (Pj,) (P^) A este respeito, há duas categorias de erros mais comuns; comuns: (a) erro de cópia, ou de atenção, na obtenção do número de chamada correto constante do catálogo; (b) inabilidade de localizar nas estantes o número da de chamada copiado corretamente. Ambos os pontos podem ser abordados por intermédio de programas instrutivos de orientação aos usuários quanto ao eo funcionamento da biblioteca, incluindo-se neste esforço a elaboração de sinalização ciara clara e sua coioceção colocação em locais adequados. adequados, Informações informações sobre a disposição espacial da biblioteca são essenciais e precisam constar de programas de instrução, sejam eles elaborados por iniciativa ou não da biblioteca. A tentativa de melhorar o resultado parcial de P^ portanto, implicará em um maior comprometimento da biblioteca, em termos de recursos e tempo, para com a instrução de seus usuários, seja por intermédio de progremas programas formais ou informais. A literatura existente existenta ae este respeito é vasts vaste e pode ser axpiorada explorada pera para detalhes específicos. 3.5 Avaliação e o astabeiecimento estabelecimento da de padrões da de dasampenho. desempenho. É constentemente constantemente enfatizada na ne literatura ea necessidade do estabelecimento de padrões de serviço. Desnecessário reafirmar a utilidade destes em todos os aspectos da administração. A repetição de experiências de avaliação com a aplicação do modelo de da disponibilidade de documentos pode iever levar a este estabelecimento. Os valores obtidos am em bibliotecas mais variadas podem constituir guias para pera ea adoção de níveis aceitáveis de serviço. É possível inclusive esperar resultados da de Pg, Pg, Pq, P], P|, Pj, Py, P,, Pj,{regularmente regularmente variáveis, conforme se refiram as bibliotecas públicas e exemplo. Assim sendo, a mesma metodologia sendo utilizada por várias bibliotecas acadêmicas, por axempio. bibliotecas de tipos diversos pode euxiliar auxiliar na compreensão de seus problemas característicos. imp>ortante é que o modeio modelo — seja ala ele quai qual for — atenda aos requisitos de O importante informatividade, comparabilidade, validade ae praticidade, de modo a garantir aplicação ae intervalos regulares no maior número possível de instituições, instituições. Isto isto pode representar um esforço original no estabelecimento de pedrões. padrões. 4. CONCLUSÃO Todo esforço de avaliação representa um auxílio potencial potancial na atividade de direção de bibliotecas, com a aplicação de recursos de modo a contribuir de maneira manaira mais eficaz na consecução dos objetivos de instituição. Este auxilio é raal real na medida em que o modelo usado reveia revela os problemas que impedem a consecução do objetivo estipulado. Digitalizado gentilmente por: �995 O modelo de disponibilidade de documentos discutido no presente trabalho tem essa virtude. Um administrador pode usar os resultados da análise para identificar o fator limitador do desempenho da biblioteca e proceder ae medidas corretivas. O modelo pode ser útil nos processos administrativos de justificação e alocação. As medidas distintas (Pa' (Pe> ^'c' ^1' ^^u^ (’u* oferecem um rumo para a distribuição dos recursos, enquanto melhoramentos na medida final (P,) (P^) podem ser utilizados para demonstrar a eficácia da administração, ao eo mesmo tempo em que um declínio pode ser argumento para justificar pedido de incremento nos recursos. O processo de avaliação tem maior utilidade para pere fins gerenciais na medida em que se torna parte da rotina normal dos procedimentos da biblioteca, alimentando os processos decisórios ea intervalos regulares. Para tanto, é preciso que o modelo usado seja reproduzfvel, reproduzlvel, gerando resultados comparáveis, válidos, informativos, e de realizeção comperãveis, realização prática. A repetição das experiências pode levar eo ao estabelecimento de padrões de desempenho de bibliotecas, necessidade esta constantemente lembrada na literatura profissional. Finalmente, éá essencial que as eventuais experiências com este ou qualquer outro modelo aberto para sejam publicadas para garantir ampla divulgação. A literatura constitui-se em foro eberto através do qual um aprimoramento dos procedimentos pode ser buscado, levando ae um debates, etravés constante estado de maior eficácia no dinâmico processo de transferência de informações. REFERÊNCIAS BIBLIOGRÁFICAS 1. BOÒTH, BOOTH, A. D. D, On the geometry of libraries. Journal of documentation, documentation. 25 (1 (1):28-42, ):28-42, Mar. 1969. 2. BOW, Eric. Library measurement and evaluation. Ontario Library Review: 249-251, Dec. Dec, 1971. 3. BUCKLAND, MicheeI Michael K. Book availability and the library user. New York, Pergemon, Pergamon, 1975. 196 P. 4. BURNS JR, Robert W, W. Library use as performance measure; measure: its background and rationale. The 4(1):4-11, 1978. Journal of Academic Librarianship, 4(1);4-11, 5. CARVALHO, Abigail de Oliveira. Função gerencial — direção de Biblioteca. Revista da Escola de Biblioteconomia da UFMG, 5 (1):60-71, mar. 1976. 6. CORDEIRO, Peulo Paulo Py. A participação da biblioteca unviersitária no sistema nacional de informação cientifica e tecnológica e em outros sistemas sistemes de informação. Revista da Escola de Biblioteconomia da UFMG, 4(1 4(1):79-89, ):79-89, mar. 1975. 7. DE PROSPO, Ernest R.; ALTMAN, Ellen; BEASLEY, Kenneth. Performance measuresfor measures for public libraries, s.1., libraries. s.1.. Public Library Association, American Library Associetion, Association, 1974. 8. DRUCKER, Peter F Management: tasks, responsibilities, practices. New York, Harper & Row, 1972. p. 137-147. 9. ELIOT, Charles William. The division of a library into books in use, and books not in use, with different storage methods for the two classes of books. Collection Management, 2(1 ):73-82, Spring 1978. 10. FIGUEIREDO, Nice. Evolução e avaliação avalieçãò do serviço de referência. Reviste Revista de da Escola de da Biblioteconomia de da UFMG.2 2 (21:175-198, (2):175-198, jul./dez. 1974. 11. GALVIN, CALVIN, Thomas J. & KENT, Allen. Use of a University library librery collection. Library Journal, 102(201:2317-2320, Nov. 15, 1977. 12. HAMBURG, Morris; RAMIST,-Leonard RAM 1ST,. Leonard £.; E.; BOMMER, Michael R. W. Librery Library objectives and performance measures and their use in decision making. Library Quarterly, 42(1):107-128, 42(11:107-128, Jan. 1972. 13. KANTOR, Paul B. B, Availabity analysis. Journal of the American Society for Information Science, 27(6):311-319. Sep./OcL Sep.,'OcL J97a 397a Digitalizado gentilmente por: II 11 12 12 13 13 14 1 �996 14. . . The library as an Information information utility in the universíty university context; context: evolution and measurement of service. Journal of the American Society for Information Scienca, Service. Science, 27(2):100-112, 27(2):100'112. Mar./Apr. 1976. 15. KANTOR, Paul. Paul, Vitality: an indiract indirect measure of relevance. Collaction Collection management, 2(11:83-95, 2(1):83-95, Spring 1978. 16. LANCASTER, F.W. F,W. Tha The measuremant measurement and evaluation avaluation of library servicas, services, Whasington, O.C., D,C., Information Resources, 1977. 1977, 395 p. 17. The tip of the iceberg. Bulletin Buliatin of the tha American Amarican Society for Information Scie Feb, 1978. Feb. 1978, 18. MAIA, Alice 8arros. Barros. Aspectos ea problemas de administração de bibliotecas universitárias. SEMINÁRIO nacional SEMINARIO NACIONAL DE de BIBLIOTECAS bibliotecas universitárias. UNIVERSITÁRIAS. 1, Niterói, 23-28 de julho de 1978. 16f. 16 f. 19. ORR, R.H. Measuring the goodness of library Services: services: a general framework framevrork for considering quantitative measures. Journal of documentation, 29(3):315-332, quantitativa 29131:315-332, Sep. Sep, 1973. i973. 20. PRADO, Heloisa de Almeida. Almeida, Técnicas de avaliação de serviços em bibliotecas. bibliotecas, In:_. ln:_. Organização ae administração de bibliotecas. Rio de Janeiro, Livros Técnicos e Científicos, 1979. 221 p., p„ p.144-148. 21. REIS, Maria Ângela Angela Lagranga Lagrange M. Avaliação de serviços prestados a usuários de bibliotecas de biomédicas. Niterói, Niterõi, 1978. 5 p. Trabalho apresentado ao I Seminário Serriinário Nacional 'da Bibliotecas Universitárias. 8ibliotecas 22. SARACEVIC, T.; SHAW JR., W.M.; KANTOR, P.8. P.B. Causes and dynamics of user frustration in College & Research Librarias, Libraries, 38(1):7-18, 38(11:7-18, Jan. 1977. an academic library. Collega 23. SCHOFIELD, J.L.; COOPER, A.; WATERS, D.H. evaluation of an academic library's sotck effectiveness. Journal of Librarianship, 7 (31:207-227, affectiveness. (3):207-227, July 1975. 24. SHAW JR., William M. Library effectiveness. effactivaness. Cleveland, Ose Case Western Reserve University, School of Library Science, 1978. Notas de aulas. 25. -.Library-user interface: a simulãtion simulation of the circulatlon circulation subsystem. Information Processing processing & management, 12:77-91, 1976. managament, 26 Loan period distribution in academic libraries. Information procassing processing & managamant, meitagement, 12:157-159,1976. 27. URQUHART, John A. & St SCHOFIELD, J.L. Measuring reader's failure at the shelf in three university libraries. Journal of documentation, 28(3):233-246, Sep. 1972. 28. WHITE, G. Travis. Quantitative Quantitativa measures of library effectiveness. The Tha Journal of Academic Acadamic Librarianship, 3 (3) :128-136, July 1977. 29. WILLARD, D.D. Seven realities of library administration. Library 1976. 197a Digitalizado gentilmente por; por: jourttal, jourtial, ;313, :313, Jan, Jan. 15, II 12 13 14 �997 ABSTRACT A general discussion of library evaluationiconcapts evaluationiconcepts is presented wlth with particular emphasis on library effectiveness. Two evaluation'models (amount of use and document availability) are compared under four critaria: criteria: informativeness, validity, comparability and presented and comparad practicality. The availability model is considered very convenient due dua to its Its power in revealing revaaling problems in the library causing user frustration. The limitations limitatlons of the tha model modal ara are also aiso presented as well as its application appiication in the administrative processes of justification and allocation, helping in In the decision-making process. It aIso also emphasizes the need for developing other models which should dacislon-making overcoma overcome the tha limitatlons limitations of tha the models currentiy currently available. cm 2 3 Digitalizado gentilmente por; por: 4 J^-LrLJ � Dublin Core The Dublin Core metadata element set is common to all Omeka records, including items, files, and collections. For more information see, http://dublincore.org/documents/dces/. Title A name given to the resource CBBD - Edição: 10 - Ano: 1979 (Curitiba/PR) Subject The topic of the resource Biblioteconomia Documentação Ciência da Informação Publisher An entity responsible for making the resource available FEBAB Date A point or period of time associated with an event in the lifecycle of the resource 1979 Language A language of the resource Português Type The nature or genre of the resource Evento Coverage The spatial or temporal topic of the resource, the spatial applicability of the resource, or the jurisdiction under which the resource is relevant Curitiriba (Paraná) Event A non-persistent, time-based occurrence. Metadata for an event provides descriptive information that is the basis for discovery of the purpose, location, duration, and responsible agents associated with an event. Examples include an exhibition, webcast, conference, workshop, open day, performance, battle, trial, wedding, tea party, conflagration. Dublin Core The Dublin Core metadata element set is common to all Omeka records, including items, files, and collections. For more information see, http://dublincore.org/documents/dces/. Title A name given to the resource Avaliação do desempenho em bibliotecas Creator An entity primarily responsible for making the resource Paranhos, Wanda Maria Maia da Rocha Coverage The spatial or temporal topic of the resource, the spatial applicability of the resource, or the jurisdiction under which the resource is relevant Curitiba Publisher An entity responsible for making the resource available FEBAB & Associação Bibliotecária do Paraná Date A point or period of time associated with an event in the lifecycle of the resource 1979 Type The nature or genre of the resource Evento Subject The topic of the resource Bibliotecas Avaliação de Desempenho Description An account of the resource Discuta conceitos gerais de avaliação em bibliotecas, enfatizando avaliação de eficácia. Apresenta e compare dois modelos de avaliação (quantidade de uso e disponibilidade de documentos) à luz de quatro critérios: informatividade, validade, comparabilidade e praticidade. O modelo de disponibilidade de documentos é considerado mais convenientes por permitir a identificação de problemas na biblioteca que causam frustação nos usuários. As limitações do modelo são também apresentadas, assim como sua utilidade nos processos administrativos de justificação e alocação, servindo de diretriz na tomada de decisões. Enfatize a necessidade de se desenvolverem outros modelos, devido às limitações dos modelos atualmente disponíveis. Language A language of the resource pt