O bibliometrii i jej pułapkach mówi dr hab. Zbigniew Osiński z Instytutu Bibliotekoznawstwa i Informacji Naukowej UMCS w Lublinie
Redakcja: Czy przy pomocy metod bibliometrycznych można ocenić jakość pracy naukowców?
Jednoznaczna, a zarazem uczciwa odpowiedź na tak postawione pytanie nie jest raczej możliwa, bowiem w grę wchodzi wiele zmiennych czynników, które powodują, że niekiedy bibliometria pomaga w ocenie dorobku naukowego, a niekiedy nie jest przydatna do tego celu. Obiektywna i rzetelna ocena musi być oparta na danych, które pozwalają na wnioskowanie charakteryzujące się wysokim stopniem pewności. Bibliometria dostarcza dwóch grup danych, które potencjalnie mogą być przydatne w procesie oceny badacza. Pierwsza z nich to informacje bibliograficzne wskazujące na ilość i typ (artykuł, rozdział w pracy zbiorowej, samodzielna monografia) opublikowanych prac oraz miejsce ich publikacji (czasopismo, wydawnictwo). Dla potrzeb procesu oceny badaczy przyjęto założenie, że im więcej ktoś opublikował artykułów w renomowanych czasopismach i książek w renomowanych wydawnictwach, tym lepszym jest naukowcem.
Druga grupa danych to informacje o cytowaniach prac pozwalające na wyliczenie takich wskaźników jak impact factor i indeks Hirscha. Przyjęto założenie, że im częściej ktoś jest cytowany, tym większy wywiera wpływ na rozwój nauki, a tym samym jest lepszym naukowcem.
Z pozoru taka koncepcja wykorzystania danych bibliometrycznych do oceny jakości pracy badaczy wydaje się uzasadniona i spójna. Jednakże dopiero dokładna analiza praktyki w tym zakresie pokazuje, że przynajmniej w przypadku części dyscyplin naukowych (głównie z obszaru humanistyki i nauk społecznych) przekonanie takie nie jest uzasadnione.
Ocena według czego?
Do czasopism renomowanych, w których publikowanie nobilituje badacza zaliczono te, dla których amerykańska firma Thomson Reuters wylicza corocznie impact factor i umieszcza w zestawieniu Journal Citation Reports. W tym momencie pojawia się pierwszy problem – dlaczego ocenę badaczy w Polsce opieramy na danych pochodzących z komercyjnego przedsięwzięcia akurat firmy amerykańskiej, której baza indeksująca Web of Science wyraźnie preferuje czasopisma amerykańskie?
Dlaczego nie korzysta się z bazy Scopus holenderskiej firmy Elsevier, która indeksuje znacznie więcej czasopism europejskich (np. w przypadku historii aż 50% więcej)?
Można też postawić pytanie dlaczego monografie, traktowane przez większość humanistów i przedstawicieli nauk społecznych jako najważniejsze osiągnięcie naukowe, otrzymują tylko tyle punktów, ile artykuł w przeciętnie punktowanym czasopiśmie z wykazu JCR?
W humanistyce za prestiżowe czasopisma uznaje się też te, które występują na liście ERIH prowadzonej przez European Science Foundation. Jednakże czasopisma z tej listy, które nie występują jednocześnie w zestawieniu JCR są w Polsce punktowane wyraźnie niżej. Jeszcze mniej punktów otrzyma badacz za publikowanie w innych czasopismach uznanych przez MNiSzW za naukowe i umieszczonych na tzw. liście B. Zdecydowanie za najmniej wartościowe uznano rozdziały w pracach zbiorowych (recenzowanych i wydawanych przez wydawnictwa naukowe).
Moja wątpliwość wynika z faktu, że brak jest wiarygodnych, współczesnych badań, które uzasadniałyby przekonanie, iż w pewnych czasopismach prawie zawsze publikowane są bardziej wartościowe prace niż w innych, a najmniej wartościowe publikowane są w pracach zbiorowych. Najwyraźniej przyjęto określone zasady opierając się bardziej na tzw. „powszechnym mniemaniu” niż na twardych danych.
Pseudonauka też doceniana
Historia nauki pokazuje jednak, że nawet w czasopismach uznawanych za najbardziej prestiżowe ukazują się publikacje oparte na błędnych lub nawet sfałszowanych wynikach badań.
Przypomnieć w tym miejscu należy prowokację Alana Sokala, który w latach 90. XX wieku wykazał, że słynni europejscy humaniści publikujący m.in. na łamach wiodących czasopism naukowych i zdobywający dużą liczbę cytowań często uprawiali pseudonaukę. Ukrywali brak sensownej treści pod płaszczykiem naukowej terminologii i żargonu, używali pojęć niezgodnie z ich znaczeniem, korzystali z naukowych teorii w oderwaniu od ich kontekstu, mieszali pojęcia i teorie z różnych dziedzin nauki, ulegali modom, prowadzili teoretyczne dyskursy niepodatne na sprawdziany empiryczne, manipulowali zdaniami i zwrotami pozbawionymi sensu.
Sokal udowodnił też, że wystarczy napisać tekst, nawet kompletnie bzdurny, ale mieszczący się w opisanej powyżej konwencji, by przeszedł on pomyślnie proces recenzji i został opublikowany w tzw. wiodącym czasopiśmie.
Podobną prowokację, ale na większą skalę, przeprowadziła ostatnio redakcja „Science”. Okazało się, że całkowicie zmyślony artykuł przyjęło do publikacji ponad sto pięćdziesiąt naukowych czasopism open access, w tym niejedno wydawane przez renomowane wydawnictwa i obecne w uznanych bazach danych. Sama redakcja „Science” też nie ustrzegła się przed kompromitująca wpadką, publikując pracę Diederika Stapela o tym, że nieuporządkowane środowisko sprzyja utrzymywaniu stereotypów i dyskryminacji, która oparta była na zmyślonych danych.
Przypomnieć można też problemy (raczej wstydliwe), które czasopismom naukowym przysporzyło publikowanie prac takich badaczy jak Sergio Focardi, Andrea Rossi, Stanley Pons i innych o zimnej fuzji, czy Woo Suk Hwang o klonowaniu ludzkich zarodków.
Jeszcze więcej wątpliwości w sprawie jakości prac publikowanych w renomowanych czasopismach wywołuje lektura dwóch artykułów zamieszczonych w październiku 2013 r. na łamach „The Economist” (Trouble at the lab; How science goes wrong). Wynika z nich, że proces recenzyjny w czołowych czasopismach z zakresu biomedycyny jest wysoce zawodny. Wyników wielu opisanych w tych czasopismach badań nie udaje się powtórzyć, zostały bowiem przez autorów artykułów po prostu sfałszowane lub prowadzono je przy zastosowaniu niechlujnej metodyki.
Takie doniesienia, wcale nierzadkie w ostatnich latach, nie pozwalają na bezkrytyczne przyjęcie tezy, iż wszystkie prace opublikowane w prestiżowych czasopismach są wartościowe i świadczą o wybitnym dorobku badacza. Okazało się, że niejedno renomowane czasopismo z listy JCR w ostatnich latach musiało wycofywać artykuły, które przeszły proces recenzyjny i ukazały się drukiem, a dopiero potem wyszło na jaw, iż są bezwartościowe. Rekordzista, japoński anestezjolog Yoshitaca Fuji, jest autorem 183 wycofanych artykułów, a wspomniany wcześniej Diederik Stapel - 49.
Nieskuteczność anonimowych recenzji
Z raportu opublikowanego w 2011 r. w „Nature” wynika, że w ciągu dziesięciu lat liczba wycofanych publikacji naukowych wzrosła ponad dziesięciokrotnie. Okazało się, że najczęściej zdarzało się to czasopismom najlepszym, włącznie z „Nature”, „Science” i „The Lancet”. Wśród prac, które anulowano, były odkrycia szeroko komentowane we wszystkich mediach, których autorami byli badacze z czołówki światowej nauki.
Wydaje się, iż stosowana przez redakcje zasada anonimowej recenzji nie sprawdza się. Mechanizm ten można wyjaśnić na przykładzie internetowych forów dyskusyjnych. Wypowiedzi anonimowe często charakteryzuje emocjonalność, brak kultury osobistej, obiektywizmu i wartości merytorycznej. Zdecydowanie lepiej prezentuje się jakość wypowiedzi na tych forach, na których dyskutanci występują pod własnym nazwiskiem.
Być może należy rozważyć zasadę, że recenzje dopuszczające pracę naukową do publikacji muszą być podpisane i drukowane jako załączniki do danej książki lub artykułu, albo w inny sposób upubliczniane. Bez wątpienia zmobilizowałoby to recenzentów do większej odpowiedzialności za słowa.
Warto też rozważyć postulaty, które zgłosili w 2012 r. Arturo Casadevall i Ferric C. Feng. Uznali oni, że nauka potrzebuje fundamentalnych zmian typu reforma zasad recenzowania, zmiana kultury badań, zastąpienie zasady „zwycięzca bierze wszystko” promocją współpracy, a także odrzucenie kultu gwiazd w nauce.
W przypadku czasopism mniej docenianych przez MNiSzW (lista B), oraz prac zbiorowych, brak jest wiarygodnych danych (przynajmniej w naukach społecznych i humanistycznych) świadczących o tym, że prace tam publikowane z zasady są mniej wartościowe niż te publikowane w czasopismach z listy A.
Zarzuty, że proces recenzyjny w pracach zbiorowych i czasopismach z listy B i jest „łagodniejszy” niż w przypadku czasopism z listy A pewnie są zasadne, ale problem ten można rozwiązać wspomnianym upublicznianiem recenzji.
Ważny język narodowy
Kolejny dylemat wynikający z dzielenia czasopism naukowych na mniej i bardziej prestiżowe na podstawie danych firmy Thomson Reuters dotyczy głównie części dyscyplin humanistycznych i społecznych, a sprowadza się do języka publikacji.
Wśród czasopism indeksowanych przez tę firmę w Arts & Humanities Citation Index (humanistyczna część bazy Web of Science) zdecydowanie dominują angielskojęzyczne. Sporadycznie trafimy w tym indeksie na język niemiecki, francuski, hiszpański i włoski.
Czy to oznacza, że humaniści nie prowadzą wartościowych dyskusji naukowych w innych językach lub prace w języku innym niż angielski są mniej wartościowe? Odpowiedź TAK na takie pytania byłaby absurdem.
Marek Kolasa (Analiza cytowań w naukach historycznych, [w] Nauka o informacji w okresie zmian, red. B. Sosińska-Kalata i E. Chuchro, Warszawa 2013) wykazał, że historycy na całym świecie publikują głównie w językach narodowych (średnio 95% prac). Wynika to z faktu, że nie można prowadzić badań historycznych bez znajomości języka źródeł i kontekstu kulturowego ich powstania, a skoro wszyscy badacze zajmujący się określoną problematyką znają język źródeł (a zdecydowana większość z nich reprezentuje jeden naród), to dyskusję naukową prowadzą głównie w języku narodowym, a nie po angielsku.
Opieranie oceny badaczy na zasobach bazy, która nie uwzględnia tego dosyć oczywistego faktu i deprecjonuje wiele wartościowych czasopism i książek tylko ze względu na język publikacji mija się z celem.
Poza tym, czasopisma historyczne indeksowane w Web of Science (poza pojedynczymi wyjątkami) publikują głównie prace mieszczące się w określonych obszarach tematycznych, modnych w świecie anglosaskim.
Zdecydowanie poza obszarem ich zainteresowań leży większość problematyki dziejów Polski (i innych narodów).
Podobne przedstawia się sytuacja w tych dyscyplinach humanistycznych i społecznych, w których język narodowy i kontekst kulturowy są podstawowymi wyróżnikami obszaru badań.
Podsumowując ten wątek należy podkreślić, że miejsce publikacji nie zawsze świadczy o jakości, wybitnej lub słabej, pracy naukowej określonego badacza.
Wróżenie z fusów
Jeszcze większe problemy pojawiają się przy analizie problemu cytowań. Wiarygodność i rzetelność wskaźników typu liczba cytowań, impact factor i indeks Hirscha (przy uwzględnieniu problemów, o których wspomniałem w odpowiedzi na wcześniejsze pytanie) zależy od kompletności bazy danych, na podstawie której są wyliczane.
W związku z tym, tylko w tych dyscyplinach naukowych, w których zasoby Web of Science obejmują w miarę kompletny zestaw czasopism uznawanych przez dane środowisko naukowe za renomowane oraz monografie wydane w wydawnictwach także uznanych za renomowane (WoS od 2005 indeksuje część angielskojęzycznych monografii naukowych) można stosować wymienione wskaźniki bibliometryczne do oceny badaczy. W przypadku większości dyscyplin humanistycznych i społecznych baza ta jest dalece niekompletna i dyskryminująca języki inne niż angielski. Stąd też w tych dyscyplinach ocenianie oparte na bibliometrii przypomina „wróżenie z fusów”.