banner

                                                                                    Refleksje o bibliometrii (1)


osinskiO bibliometrii  i jej pułapkach mówi dr hab. Zbigniew Osiński z Instytutu Bibliotekoznawstwa i Informacji Naukowej UMCS w Lublinie 

 

 

Redakcja:  W latach 90. XX w., czyli bardzo niedawno, część polskiego środowiska naukowego, głównie fizycy, ze wskaźnika Impact Factor stworzyli bożka miary wielkości naukowca. Dzisiaj moc IF w polskiej nauce jakby zmalała, coraz więcej słychać krytyki związanej z tym miernikiem.

Z czego to wynika? Z poziomu polskiej nauki, czy może niedoskonałości tej miary, a może z otrzeźwienia, że nie wszystko można zważyć, zmierzyć, policzyć?


- Impact factor
(IF) – miara oddziaływania, wskaźnik znaczenia - w założeniu odnosić się miał do konkretnego czasopisma i określać stosunek liczby cytowań uzyskanych przez artykuły opublikowane w tym czasopiśmie w określonym czasie do ogólnej liczby artykułów zamieszczonych w tym czasopiśmie w tym samym czasie. Został stworzony z myślą o ułatwieniu bibliotekarzom podejmowania decyzji w sprawie wybierania konkretnych czasopism do prenumeraty, w sytuacji gdy przyrost ilościowy i wzrost cen tych czasopism uniemożliwiał prenumeratę większości z nich.
Dzięki porównywaniu popularności czasopism wyrażonej cytowaniami, spośród wielu tytułów można wybrać te, jakoby najważniejsze dla badaczy, najbardziej wpływowe.
U podstaw tego przekonania leży teza, że wartościowe prace publikują jedynie nieliczni badacze w dosyć ograniczonej grupie czasopism. W związku z tym sięganie po inne czasopisma to najczęściej strata czasu.

Teza ta jest efektem badań Alfreda Lotki z lat 20. XX wieku, który miał ustalić, iż większość ważnych prac naukowych jest dziełem niewielkiej grupy badaczy oraz badań Samuela Bradforda z lat 30. XX wieku, który stwierdził, iż zdecydowaną większość wartościowych prac naukowych opublikowano w niedużej grupie czasopism. Jednakże wartość tych ustaleń jest obecnie negowana ze względu na niemożność uzyskania podobnych wyników w przypadku analizowania czasopism z większości dyscyplin naukowych, zwłaszcza z obszaru humanistyki i nauk społecznych.

Należy również zaznaczyć, iż u podstaw idei IF leży ciągle nierozstrzygnięty spór toczony w drugiej połowie XX wieku na łamach takich czasopism jak Library Quarterly i Scientometrics. Prowadzony był  pomiędzy zwolennikami filozofii nauki Vilfredo Pareto - włoskiego ekonomisty,  a zwolennikami podejścia Jose Ortegi y Gasseta. Vilfredo Pareto, badając strukturę własności dóbr materialnych społeczeństwa włoskiego pod koniec XIX w. ustalił, iż 80% całkowitego majątku kraju znajduje się w rękach zaledwie 20% społeczeństwa. Było to podstawą do stwierdzenia, że tylko niewielka grupa badaczy przyczynia się do prawie całego postępu naukowego (zasada 80/20).
Z kolei zwolennicy podejścia Jose Ortegi y Gasseta uważali, że postęp naukowy jest dziełem ogromnej większości badaczy, z których każdy wnosi niewielki wkład sumujący się w wielki postęp.

IF w Polsce

W Polsce krytyka wykorzystywania IF do oceny badaczy, a nie wyłącznie czasopism, nie jest zjawiskiem dotyczącym tylko ostatnich lat. Nie ma nic wspólnego z aktualną oceną kondycji polskiej nauki. Już kilkanaście lat temu prof. Andrzej Kajetan Wróblewski, podsumowując dyskusje toczone na temat bibliometrii, stwierdził, że nie można porównywać liczby cytowań i IF w różnych dyscyplinach naukowych, te bowiem są zależne od specyfiki danej dyscypliny.

Przykładem ilustrującym ten problem jest różnica średnich cytowań jednej pracy – dla biologii molekularnej i genetyki w latach 1981-2000 wynosiła ona 31,32, a dla historii w tym samym okresie - 1,18.
Dla zilustrowania kolejnego problemu profesor Wróblewski opracował indeks cytowań prac z połowy XVIII wieku i doszedł do wniosku, że najczęściej cytowani wówczas autorzy są dziś w dużej części zapomniani, natomiast uczeni dziś uznawani za wybitnych znaleźli się daleko od czołówki.
Ponadto, A. K. Wróblewski ustalił, że:

- sposób wyliczania IF faworyzuje czasopisma publikujące oprócz artykułów naukowych także listy do redakcji (np. Nature), bowiem do obliczania IF zlicza się cytowania w tych listach, ale już same listy nie są wliczane do liczby artykułów opublikowanych w danym czasopiśmie;

- w bazach stanowiących podstawę do wyliczanie IF (bazy firmy Thomson Reuters, właściciela filadelfijskiego Instytutu Informacji Naukowej) nie ma różnicy pomiędzy cytowaniami pozytywnymi i krytycznymi, a autorzy prac krytykowanych - uznawanych za bardzo słabe lub wprowadzające w błąd - uzyskują niekiedy wysoki wskaźnik cytowań (przykładem jest Francis Fukuyama, którego błędna teza, że liberalna demokracja jest szczytem w rozwoju ludzkości i nic już po niej nie może powstać, spotkała się z totalną krytyką, dzięki czemu cytowalność jego pracy tak wzrosła, iż postawiła go w gronie najczęściej cytowanych badaczy);

- dużą liczbę cytowań zyskują prace poświęcone tematyce modnej, nawet całkowicie błędne, np. dotyczące „zimnej fuzji”;

- artykuły przeglądowe uzyskują więcej cytowań niż wartościowe prace oryginalne i metodologiczne, na których te przeglądy są oparte;

- niektóre prace o dużej wartości bywają niezrozumiałe i przez wiele lat nie są cytowane;

- jeśli wyniki badań jakiegoś autora zostają powszechnie zaakceptowane w danej dziedzinie i stają się klasyką, to często jego prace przestają być cytowane;

- w bardzo wąskich dyscyplinach, w których pracuje niewielu autorów, cytowań jest dużo mniej niż w dziedzinach rozległych;

- część cytowań jest efektem zmowy grupy badaczy lub nacisków przełożonych na podwładnych.


Grzechy miary

Impact factor jest krytykowany także za to, że uśrednia liczbę cytowań uzyskanych przez poszczególne artykuły opublikowane w danym czasopiśmie, a przez to nie radzi sobie z przypadkami, w których czasopismo może uzyskać wysoki wskaźnik wpływu dzięki pojedynczym, często cytowanym artykułom. Toleruje się w ten sposób sytuację, gdy wysoki IF (czyli wysoką renomę naukową) może zdobyć także autor, który opublikował artykuły nie wywierające wpływu na naukę, bo rzadko cytowane.


Badania bibliometryczne pokazują, że w dużej grupie czasopism indeksowanych w bazach filadelfijskiego Instytutu Informacji Naukowej wysoką cytowalność zdobywają właśnie pojedyncze artykuły. 


Na problemy wynikające ze skutków stosowania IF zwrócił uwagę Richard Monastersky (Liczba, która paraliżuje naukę. Impact factor – kiedyś prosta metoda tworzenia rankingów czasopism naukowych, dziś bezwzględne kryterium zatrudniania i przyznawania grantów, „EBIB” 2006, nr 3). Stwierdził, że badacze zamiast skupiać się na istotnych problemach, które wcale nie muszą stać się naukowymi przebojami, zabiegają o tematy, na które panuje moda – czyli takie, które łatwiej będzie opublikować w wiodących czasopismach i zdobyć dzięki temu wysoką cytowalność.

Dostrzegł też, że w redakcjach części czasopism rutynowo prosi się autorów o poruszanie tzw. tematów modnych oraz o cytowanie wcześniejszych artykułów z tych samych czasopism – taka polityka sztucznie podnosi wartość wskaźnika IF.

Redakcje – w sposób świadomy, lub nie – biorą pod uwagę potencjalne wskaźniki cytowań przy podejmowaniu decyzji o opublikowaniu danego artykułu. Rzeczywista wartość naukowa pracy staje się w ten sposób mniej ważna.

Za jeszcze większy problemem uznał Monastersky wykorzystywanie IF do oceny badaczy i jakości ich pracy. Niezależnie bowiem od merytorycznej wartości artykułów lepiej oceniane są te, które zostały opublikowane w czasopiśmie zajmującym wyższą pozycję w rankingu.

Tak więc przy podejmowaniu decyzji o awansach, zatrudnianiu i przydzielaniu grantów zaczyna się stosować wskaźnik, który nie do tego celu został stworzony.

Humanistyka na marginesie


W przypadku nauk humanistycznych i społecznych już w 1995 r. w pracach naukowych zwracano uwagę na niewielką przydatność dla oceny europejskich badaczy wskaźników typu IF i cytowalność wyliczanych w oparciu o bazy firmy Thomson Reuters. Głównie z powodu szczątkowej obecności europejskich czasopism z tych dziedzin nauki we wspomnianych bazach  oraz z powodu nieuwzględniania cytowań w monografiach, czyli najbardziej wartościowych osiągnięciach humanistów i przedstawicieli nauk społecznych.


Podobną diagnozę postawili badacze skupieni wokół European Science Foundation, którzy w Budapeszcie w 2001 r. ocenili, że problem jakoby słabej widoczności europejskiej humanistyki sprowadza się do nieadekwatności wskaźników bibliometrycznych stworzonych w USA z uwzględnieniem wyłącznie metodologii nauk ścisłych i eksperymentalnych i wyraźnie preferujących publikacje w języku angielskim.

Do tego dodam jeszcze, że zbyt często zwolennicy stosowania wskaźników bibliometrycznych do oceny badaczy zapominają o podstawowym fakcie - ilość nie równa się jakość, a osiągnięć naukowych nie da się prosto zmierzyć, zwłaszcza, że ich rzeczywista waga ujawnia się dopiero po wielu latach.