O bibliometrii i jej pułapkach mówi dr hab. Zbigniew Osiński
z Instytutu Bibliotekoznawstwa i Informacji Naukowej UMCS w
Lublinie
Redakcja: Jakie są zalety i wady bibliometrii?Nie tyle sama bibliometria, czyli zbiór statystycznych metod i narzędzi służących ilościowej analizie piśmiennictwa naukowego ma jakiekolwiek wady i zalety, lecz praktyka wykorzystywania tej subdyscypliny, która może przynosić przydatne wyniki lub narażać na ryzyko wyciągania błędnych wniosków (jak w przypadku oceny jakości pracy badaczy).
Jeżeli chodzi o zalety bibliometrii, to sprowadzają się one do dostarczania informacji pomocnych w planowaniu, organizowaniu i prowadzeniu badań. Oferowane przez bibliometrię metody i narzędzia umożliwiają uzyskanie odpowiedzi na pytania, które każdy naukowiec powinien stawiać, zwłaszcza na etapie planowania pracy badawczej oraz szukania kontaktów naukowych.
Można wymienić szereg problemów, na które bibliometria pomaga znaleźć rozwiązanie: - Jakie badania prowadzi określony naukowiec/zespół/instytut? - Gdzie i kto prowadzi badania na określony temat? - Jakie obszary badawcze wyróżniamy w poszczególnych dyscyplinach i kto się nimi zajmuje?
- Kto z kim współpracuje przy określonych badaniach? - Kto, kiedy i gdzie opublikował wyniki badań na określony temat? Kogo cytował? - Ile osób zajmuje się określonymi badaniami?
- Ile pojawiło się publikacji na ten temat? Które badania są bardziej lub mniej popularne? - Jak zmienia się w czasie aktywność badawcza osób i instytucji? Jak zmieniają się zainteresowania badawcze? - Jakie istnieją nisze badawcze? Jakie są najmodniejsze i najnowsze tematy badawcze? - Które obszary badawcze przenikają się lub uzupełniają? - W którym czasopiśmie lub wydawnictwie możemy publikować wyniki badań na określony temat? Jakość i wiarygodność odpowiedzi na powyższe pytania zależy nie tylko od poprawnego stosowania metod i narzędzi oferowanych przez bibliometrię, lecz także od prawdziwości i kompletności danych bibliograficznych i zbiorów cytowań, które poddajemy analizie i przetwarzaniu.
W przypadku danych bibliograficznych sytuacja badaczy jest dosyć komfortowa, gdyż poza tradycyjnymi źródłami, dysponują licznymi internetowymi zasobami pozwalającymi na pozyskanie kompletnych i wiarygodnych informacji. Mogą korzystać z katalogów bibliotecznych on-line, internetowych baz bibliograficznych, serwisów czasopism, wydawnictw i księgarni, informacji o dorobku naukowym poszczególnych badaczy dostępnych na stronach uczelni lub uczelnianych bibliotek oraz wyników podawanych przez wyszukiwarki wyspecjalizowane w przeszukiwaniu zasobów naukowych (np. Google Scholar i Google Books).
W przypadku cytowań sytuacja jest dużo trudniejsza. Ogólnoświatowe, multidyscyplinarne bazy indeksujące cytowania (Web of Science i Scopus), opierają się na ograniczonym korpusie czasopism (różny stopień kompletności - zależnie od dyscypliny), uznanych z różnych powodów przez prowadzące je redakcje za najbardziej wartościowe.
W Web of Science występuje zdecydowana nadreprezentacja czasopism amerykańskich, a w obu bazach pomijane są wartościowe czasopisma, wydawane nie tylko w innych językach narodowych (co jest typowe i całkowicie zrozumiałe w przypadku większości dyscyplin z nauk humanistycznych i społecznych), lecz często także po angielsku.
Dużym problemem, w przypadku wspomnianych obszarów nauki, jest ograniczenie indeksowania dorobku naukowego prawie wyłącznie do czasopism z pominięciem monografii i książkowych prac zbiorowych, uznawanych przecież za wartościową formę prezentacji wyników badań humanistycznych i społecznych (od kilku lat polityka redakcji Web of Science w tej sprawie zaczyna ulegać zmianie, jednakże na razie polega ona na uwzględnianiu cytowań jedynie w nielicznych, angielskojęzycznych wydawnictwach konferencyjnych i seriach monografii).
Pomijając problem, na ile prawdziwa jest teza, iż w Web of Science i Scopus indeksowane są najwartościowsze czasopisma, to niepodważalnym jest fakt, że w przypadku większości dyscyplin i państw indeksowaniu podlega jedynie nieznaczna część dorobku naukowego. W związku z tym, analiza cytowań w czasopismach obecnych w obu bazach nie pozwala najczęściej na uzyskanie wiarygodnych odpowiedzi na przytoczone powyżej pytania.
Sytuacji nie poprawiają inicjatywy polegające na tworzeniu baz cytowań uwzględniających np. czasopisma z jednej dyscypliny wydawane w jednym państwie (często przestają być rozwijane po zakończeniu grantu). Także te bazy charakteryzują się niekompletnością danych, bo nie uwzględniają najczęściej czasopism multidyscyplinarnych oraz książek. Tak więc badacz, który chciałby przeprowadzić rzetelne analizy bibliometryczne najczęściej skazany jest „ręczne” wyszukiwanie cytowań występujących w pracach z interesującego go obszaru badań. - Czy open access jest lepszym rozwiązaniem w systemach oceny? - Open access, czyli udostępnianie w Internecie prac naukowych bez dodatkowej opłaty (badania opłacili przecież podatnicy, tak więc z ich efektami powinni zapoznawać się bez kolejnych opłat), może przyczynić się do stworzenia nowych rozwiązań w zakresie oceny jakości pracy badaczy. Przede wszystkim, pojawia się szansa na stworzenie rozproszonej, internetowej bazy prac naukowych, pozwalającej na indeksowanie cytowań, która będzie dużo bardziej kompletna niż Web of Science i Scopus.
Weźmy pod uwagę takie fakty jak ten, że spośród recenzowanych artykułów opublikowanych w latach 2008-2011 w czasopismach indeksowanych w bazie Scopus, ok. 40% jest już dostępnych bezpłatnie w Internecie (od 64% z indeksu General Science & Technology, 61% Biomedical Research do 21% Communication & Textual Studies, 13% Visual & Performing Arts), a liczba wszystkich czasopism udostępniających bezpłatnie większość artykułów opublikowanych w minionych latach szybko rośnie.
Obecnie zdecydowana większość czasopism z listy ministerialnej (A, B i C) udostępnia bezpłatnie opublikowane artykuły już od daty publikacji lub po okresie karencji trwającym nie dłużej niż rok lub dwa lata.
Coraz więcej uczelni wymaga od swoich pracowników udostępniania prac naukowych na zasadzie open access w uczelnianych repozytoriach lub bibliotekach cyfrowych. Popularność zyskują także ogólnoświatowe repozytoria multidyscyplinarne.
Przykładowo, repozytorium Academia.edu we wrześniu 2013 r. udostępniało bezpłatnie ponad 1,6 mln artykułów naukowych. Moment, w którym program Publish or Perish liczący cytowania w pracach dostępnych w Internecie będzie tworzył zbiory danych dużo bardziej kompletne, a przez to i bardziej wiarygodne niż wymienione dwie bazy komercyjne, jest już bliski.
Dalszy rozwój open access zależy od przemiany mentalnej u badaczy. Muszą oni zrozumieć, że w XXI wieku odbiorcami ich naukowych studiów są już nie tylko inni badacze, lecz także coraz liczniejsze zastępy specjalistów, którzy do swojej pracy potrzebują najnowszych wyników badań, i którzy swojej działalności zawodowej nie mogą opierać na akademickich podręcznikach i różnych formach wiedzy popularno-naukowej. W związku z tym zapewnienie takim grupom łatwego i taniego dostępu do najnowszych artykułów i książek naukowych staje się problemem kluczowym z punktu widzenia rozwoju społeczno-gospodarczego.
Jeżeli w Internecie dostępne będą prawie wszystkie prace naukowe z ostatnich kilkunastu lat, to pojawią się dużo większe możliwości obiektywnej i sprawiedliwej oceny badaczy, gdyż obok rzeczywistej cytowalności danej publikacji będzie można uwzględnić jej pobieralność z Internetu.
Pojawiły się już pierwsze badania tego wskaźnika. Ronald Snijder dokonał analizy różnorodnych aspektów pobieralności książek udostępnianych przez Open Access Publishing in European Networks Library (http://www.oapen.org/home). Ustalił, że powiązanie danych dotyczących odsetka pobrań dla każdego typu dostawcy książek (autor, uczelnia, wydawnictwo) ze średnią liczbą pobrań dla grup tytułów pozwala na ocenę wpływu i użyteczności badanych prac (Snijder R., Measuring monographs: A quantitative method to assess scientific impact and societal relevance, „First Monday”, 2013, Vol. 18, nr 5 - http://firstmonday.org/ojs/index.php/fm/article/view/4250/3675).
W ten sposób bibliometria uzupełniana jest webometrią (mierzenie zjawisk ilościowych występujących w Internecie).
Jeszcze większą rewolucję we wskaźnikach wykorzystywanych do oceny badaczy może przynieść zjawisko webometryczne zwane społecznościowym indeksem cytowań. Polega ono na zliczaniu recenzji, cytowań, wzmianek i opinii na temat określonego artykułu lub książki pojawiających się w naukowych i ogólnych serwisach społecznościowych, forach dyskusyjnych, blogach, serwisach zarządzających bibliografią, platformach dzielenia się prezentacjami oraz repozytoriach naukowych.
Służą do tego takie narzędzia jak Altmetric (http://www.altmetric.com/) i Total Impact (http://impactstory.org/). Potrafią zbierać informacje z wymienionych obszarów Internetu o książkach i artykułach, które w Sieci umieszczono z dodatkiem identyfikatora DOI (digital object identifier – cyfrowy identyfikator dokumentu elektronicznego). W ten sposób mierzona jest popularność prac danego autora wśród użytkowników określonych zasobów Internetu oraz ich wpływ na innych badaczy i specjalistów.
Ale chyba najbardziej rewolucyjnym rozwiązaniem, bazującym na open access i przydatnym dla oceny jakości pracy naukowej, może stać się społecznościowe recenzowanie. Jeżeli czasopisma open access, biblioteki cyfrowe i repozytoria naukowe wyposażą swoje witryny w funkcjonalność polegającą na tym, że zarejestrowany pod własnym nazwiskiem i zalogowany czytelnik będzie mógł dodawać recenzje poszczególnych prac (pamiętajmy, że będą to głównie inni badacze lub specjaliści wykorzystujący daną dziedzinę wiedzy w pracy zawodowej), to obok wskaźnika typu pobieralność uzyskamy zbiór wartościowych opinii o jakości i przydatności danej pracy. Dzięki temu ocena jakości pracy badacza będzie w większym stopniu merytoryczna i bardziej obiektywna niż w przypadku kierowania się głównie wskaźnikami bibliometrycznymi. Od Redakcji: poprzednie odcinki Autora zamieszczaliśmy w Nr 12/13 SN – Bożek miary naukowców oraz w Nr1/14 SN - Mierzenie umysłów