News

Z dr. Markiem Graczyńskim oraz Tomaszem Właszczukiem, twórcami systemu rankingu naukowców, rozmawia Andrzej Holicki

Czy można zmierzyć pracę uczonego?

Marek Graczyński - Praca uczonego już jest mierzona. Problem polega na tym, że jest mierzona jednym parametrem - cytowaniami. Wynika to z powszechnego przeświadczenia, że pracy intelektualnej nie da się w inny sposób zmierzyć. Nie można bowiem przewidzieć, czy z pracy badawczej coś wyniknie w przyszłości czy nie. My jednak nie zajmujemy się przyszłością, tylko oceną aktywności w przeszłości. Dotychczas źródłem pomiaru była głównie lista filadelfijska, zliczająca cytowania ok. 1% całej literatury. Niemniej trzeba pamiętać, że cytowaniami można manipulować: powszechnie stosuje się autocytowanie. Zdarzają się “cytowania negatywne” (potwierdzenie złej pracy), cytowanie w nieodpowiednim kontekście (czyli nie wiadomo, dlaczego), czy cytowania mechaniczne, bez związku z tekstem, powielane. Najważniejsze jednak by dostrzec, że cytowanie to tylko jeden parametr: to tak, jakby oceniać IQ na podstawie jednego pytania. Tego systemu do naszych czasów nikt nie zmienił, choć były takie próby, wszystkie jednak były modyfikacjami liczenia cytowań a wiec ciągle jednego parametru. My określiliśmy 15 aspektów pracy naukowej - elementów kariery, miedzy innymi granty, patenty, tytuły i stopnie naukowe, funkcje pełnione w instytucjach naukowych, wykłady na konferencjach, no i oczywiście publikacje. Przy konstruowaniu systemu wyszliśmy ze zmierzenia wysiłku, także czasu, jaki jest potrzebny do opublikowania oryginalnej pracy naukowej. A ten zmierzyliśmy wartością czasopism, w jakich praca została opublikowana, przy czym za wartość bazową przyjęliśmy czasopismo z IF=1. Następnie przyłożyliśmy odpowiednie “wagi” do poszczególnych aktywności czy osiągnięć, np. prezentacji plakatowej, czy wygłoszenia referatu, obrony doktoratu, zrecenzowania wniosku grantowego, etc.

Ale doktorat doktoratowi nierówny: różnie się trzeba naharować przy doktoracie z medycyny i matematyki.

Tomasz Właszczuk - Błędem byłoby porównanie wartości doktoratu z tak odległych dziedzin wiedzy jak medycyna i matematyka. To tak jakby porównywać biegacza ze skoczkiem wzwyż: który lepszy? Natomiast z pewnością można “wycenić” wartość doktoratu w obrębie jednej dziedziny. Do tego właśnie służy wycena potencjału naukowego instytucji. Im lepsza instytucja, tym większa wartość uzyskanego tam stopnia naukowego. Na razie zajmujemy się medycyną i naukami pokrewnymi. Nasza metodologia może być jednak przydatna do wszystkich nauk ścisłych, gdzie przeprowadza się badania naukowe poprzez opracowanie metodologii i zebranie wyników, które można sprawdzić i porównać.

M.G.Co więcej, konsultowaliśmy nasze koncepcje z profesorami ze State University of New York, którzy nasz system kupili, a ich uwagi pozwoliły nam go udoskonalić. System dla nauk medycznych zakupiła też agenda rządu Egiptu, Chińczycy, Amerykanie, obecnie prowadzimy rozmowy z Europejską Radą Badań (ERC). Problem ERC bowiem polega na tym, że unia ma kłopot z oceną wniosków grantowych, a dzięki naszemu systemowi można byłoby to robić szybko i efektywnie. System nasz byłby też pomocny do ewaluacji osób aplikujących o granty.

T.W.Główny ciężar położyliśmy w nim na innowacyjność, czyli nie można sobie wykreować kariery np. samą działalnością dydaktyczną. Najwyżej wycenione są osiągnięcia związane z pracą badawczą, czyli oryginalna publikacja, patenty, duże, znaczące granty. Granty zresztą nie są wyceniane jednakowo; inaczej lokalne, krajowe, międzynarodowe, w zależności od ich kwoty, czasu trwania, roli naukowca w tym projekcie. Jeśli uczestnictwo uczonego trwa dłużej niż rok - to co roku otrzymuje on z tego tytułu punkty.

A jak ocenia się w tym systemie udział kilku autorów publikacji - każdy otrzymuje po 100% ogólnej wyceny, czy proporcjonalnie do swojego wkładu? Dwa lata temu, przy ustalaniu systemu parametrycznej oceny jednostek naukowych, jeden z uczonych zgłosił projekt, aby każdy ze współautorów publikacji otrzymywał za nią maksymalną liczbę punktów. Ministrowie stali wówczas na stanowisku, że musi obowiązywać zasada partycji, stosownie do wkładu pracy.

MG.W naszym systemie każdy ze współautorów otrzymuje taką liczbę punktów, jaka jest przewidziana dla danej publikacji. “Dzielenie włosa na czworo” nie ma sensu, bo w ogólnym rozrachunku, ocenie, w której uwzględnia się tak wiele czynników, nie ma to większego znaczenia, a tylko komplikuje sprawy. Prościej jest dać każdemu odpowiednią liczbę punktów za publikację. Te punkty są wliczane do osobnych kart danej osoby, potem kariery osobowe są brane pod uwagę przy ocenie instytucji. Zwykle jest tak, że osoby pracujące nad daną pracą pochodzą z różnych ośrodków, zatem w rezultacie punkty te jakoś się i tak rozłożą. Ale główna zasada jest taka, że punkty przyznaje się osobie, nie instytucji - zatem one się niby multiplikują, ale poprzez osoby. Nasze symulacje komputerowe potwierdzają jednak, że nie ma to znaczenia dla spójności systemu.

Niemniej poprzez dorobek naukowców oceniane są placówki naukowe ich zatrudniające. Ten problem mocno był akcentowany przy finansowaniu działalności statutowej, ale i przy patentach, gdzie mogą być zyski.

M.G. My nie zajmujemy się prawami majątkowymi, natomiast prawa autorskie do odkrycia czy patentu mają konkretni ludzie, a instytucja, która ich zatrudnia ma dzięki nim odpowiednio wysoką pozycję w rankingu. Nawet jeśli prawa rzeczowe mają instytucje, prawa autorskie należą do osób, które z tego tytułu otrzymują w ocenie dodatkowe punkty.

T.W. Zrobiliśmy to w ten sposób, że oceniamy instytucje przez pryzmat pojedynczych ludzi, którzy w niej pracują. I jeśli nad daną publikacją czy patentem pracuje 5 osób, to każda z nich ma wliczone punkty za te pracę. Natomiast jeśli instytucja jest zainteresowana rozkładem udziałów w tej pracy jej wykonawców, to można to zrobić przy użyciu naszego systemu. Jest to tylko kwestia decyzji dysponenta ewaluacji. W naszym systemie wyłapanie powtarzających się prac jest bardzo proste.

A co z oceną ludzi młodych? Czy system ich nie wycina?

M.G. Oni są na początku swojej drogi zawodowej, zatem trudno, aby mieli osiągnięcia na miarę dojrzałych badaczy. Ale możemy mierzyć przyrost ich punktów kariery, analogicznie jak mierzy się przyrost PKB. Jesteśmy w stanie pokazać, komu i w jakim tempie przyrasta, a komu spada wskaźnik kariery, pokazać jego rozwój naukowy na tle innych: danej jednostki naukowej, środowiska naukowego kraju, czy międzynarodowym.

To jednak straszne obnażenie, zawodowy striptiz. Jak na to reaguje środowisko naukowe?

M.G. Środowisko naukowe za granicą reaguje dobrze, w Polsce z pewną rezerwą, bo pewnie niektórzy obawiają się konfrontacji z rzeczywistością.

Nie jest miłe, kiedy wszyscy widzą, że człowiek ma niezbyt dobry okres. W dodatku w Polsce każda słabość wykorzystywana jest do zniszczenia osoby.

M.G. System jest skonstruowany w sposób zapobiegający takim pokusom. Wprowadzenie go jest jednak konieczne, jeśli chce się zarządzać pieniędzmi na badania naukowe w sposób racjonalny. Czyli przeznaczać je tym, którzy potrafią je wykorzystać. Dzisiaj powszechnie wiadomo, że część środków jest wykorzystywana nieefektywne - gdyby nawet przy tym niskim finansowaniu nauki z budżetu umieć lepiej zarządzać tymi pieniędzmi - skutek byłby lepszy, bardziej pożyteczny społecznie. Mamy przecież sukcesy w chemii, onkologii i innych naukach. Przede wszystkim ci, którzy są ojcami sukcesu, winni otrzymać fundusze.

T.W. Jeżeli patrzeć na naukę poprzez finalne produkty, tj., publikacje w "Nature", "Science", to wygląda na to, że Amerykanie są gigantami. Ale nie bierzemy pod uwagę faktu, iż na te sukcesy oni zużywają 100 razy więcej pieniędzy niż my. Przy zastosowaniu naszego systemu możemy pokazać, że jest w Polsce grupa badaczy np. pracująca nad komórkami macierzystymi, która produkuje 1 pkt za 275 tys. dolarów, podczas gdy w Harvardzie taki punkt kosztuje już państwo 2,5 mln dolarów. I wtedy się okazuje, że Harvard jest taki genialny być może dlatego, że mają tam obfitość pieniędzy. I jeśli ktoś się temu przyjrzy, to stwierdzi, że są naukowcy, którzy dysponując mniejszym budżetem mogą wyprodukować tak samo zważony, policzony, z użyciem tych samych parametrów punkt naukowy i może ich właśnie warto zatrudnić. Albo przekazać im większe pieniądze, aby taka ekipa pracowała w Polsce na przykład na potrzeby Harvardu. Byliśmy teraz na Litwie, która w nauce ma kompleks małego kraju. Dla nich fakt, że mogą przy pomocy naszego systemu pokazać, że naukowcy z uniwersytetu wileńskiego mają większą produktywność niż inne uniwersytety unijne, tzn. za mniejsze pieniądze mogą “wyprodukować” podobny rezultat, daje im większe możliwości konkurowania i przyciągania do siebie pieniędzy na naukę - bo tam jest taniej i efektywniej. Dzisiaj, jeśli porównać produkcję naukową uniwersytetu wileńskiego do Harvardu, to jest jak mrówka do słonia, ale jeśli pokazać to porównanie poprzez produktywność - to niekoniecznie Harvard będzie najlepszy.

Przymierzają się panowie do rozszerzenia tego systemu na nauki stosowane, techniczne, na wdrożenia, kontakty miedzy sferą gospodarczą a naukową?

T.W.Ten kontakt między sferą gospodarczą a naukową jest przygotowany poprzez panel dla firm komercyjnych, które zechcą skorzystać z tego systemu. Firmy mogą w nim fundować własne granty, proponować własne badania naukowe potrzebne im w produkcji i poprzez skierowanie oferty czy zadanie pytania do wyselekcjonowanej grupy ludzi potencjalnie zainteresowanych tym, czego ta firma poszukuje. Firma otrzymuje zatem informacje z dokładnymi odpowiedziami na swoje zapotrzebowanie: kto się interesuje tym zagadnieniem, jaki jest jego profil, tzn. jak przebiega jego kariera, czym się do tej pory zajmował. Mogą z tego wnioskować, która z wyszukanych osób jest im najbardziej potrzebna.

,b>M.G.,/b> My nie tylko jesteśmy przygotowani do tego, aby kojarzyć firmy z naukowcami, ale i dziennikarzy z naukowcami. Przygotowaliśmy dla dziennikarzy naukowych panel, dzięki któremu będą mogli szybko znaleźć naukowca z interesującej ich dziedziny na całym świecie, a naukowcy - dziennikarza znającego się na danej dziedzinie.

Czy podczas tworzenia tego systemu zgłaszali się do panów ochotnicy, chcący zaistnieć w nim, czy działo się to dopiero po podpisaniu umowy z określonymi instytucjami naukowymi?

M.G.Jest różnie. System jest bezpłatny dla indywidualnych naukowców i jeśli naukowiec chce do niego wejść i skorzystać z jego dobrodziejstw, wpisuje o sobie tyle, ile chce - z reguły jest to więcej niż mniej, wszyscy bowiem mają bodziec do tego, żeby być znanymi i aby mogli się wyszukiwać. Jest to platforma nie tylko wymiany informacji, ale głównie współpracy naukowej.

W.T. Mamy takich dobrowolnych wpisów samodzielnych naukowców ok. 10 tysięcy i system się ciągle powiększa. To są ludzie ze 140 krajów, pracujący głównie w naukach biomedycznych. Z Polski jest 500 osób. Cały system powstał jako globalny, nie zaczynaliśmy jego tworzenia od Polski, choć można z niego wyodrębnić informacje dotyczące kraju, grupy państw, czy instytucji - w zależności od zlecenia.

W jaki sposób budowany był system? Skąd wzięły się dane wyjściowe?

W.T.Każdy z uczestników ma możliwość zapraszania do systemu innych naukowców - jest to rodzaj łańcuszka tworzonego dobrowolnie, bez żadnych nacisków instytucjonalnych, działający jak sieć www. Miesięcznie przybywa nam w systemie ok. 1000 nowych użytkowników, którzy sami się zgłaszają.

Ktoś weryfikuje te dane? Czy możliwe są konfabulacje?

M.G. Nie jest łatwo wprowadzić kogokolwiek w błąd, bowiem np. literatura jest ściągana z danych światowych, a my tylko identyfikujemy osobę. Granty czy patenty to także dane łatwe do weryfikacji, ściągane z wiarygodnych i weryfikowalnych baz danych. Większość danych w tym systemie jest ze sobą powiązana - jeżeli ktoś deklaruje udział w konferencji, to jest to łatwe do sprawdzenia, bowiem wszelkie pomyłki są natychmiast widoczne z uwagi na powiązanie ze sobą informacji. Poza tym, każdy funkcjonuje w małym środowisku, a tam każdy każdego obserwuje, ludzie sami się pilnują.

W.T. Zresztą, żeby podnieść sobie sztucznie punktację trzeba byłoby "pomylić" się wszędzie, bo system jest wieloparametryczny. Jeśli naukowiec ma krótką karierę, a w jego profilu pokazał się nagle duży wzrost jego produktywności, to weryfikujemy to. Sami jesteśmy zainteresowani, czy jest to wynik obiektywny, czy może powstał wskutek błędnego wpisu.

Czy polskie ministerstwo nauki zamierza korzystać z tego systemu?

M.G. Pierwsze nasze kontakty w 1999 r. z KBN dotyczyły oceny czasopism. Wyszliśmy z założenia, że pokazać się może każdy, każde czasopismo recenzowane nadaje się do systemu, choć różne będą wartości ich oceny. Z KBN współpracował wówczas z nami tylko zespół P05, czyli nauk medycznych, bo nie każdy chciał wejść w ten system, argumentując to odmiennością w ocenie swoich czasopism. Np. nauki rolnicze i leśne odmówiły, bowiem jak się okazało ich czasopisma są wydawane w sposób dość swobodnie powiązany z wymogami międzynarodowymi. Staliśmy także na stanowisku, że polskie prace naukowe, publikacje, powinny być publikowane w języku angielskim. Po polsku winny być wydawane prace o charakterze edukacyjnym.
W 2005 r., kiedy skończyła się współpraca z P05, zaczął się czas nieporządku. MNiI zaczęło budować swój ranking, z którego wyszło, że w Polsce jest o wiele mniej czasopism niż zarejestrowane w naszym systemie. To, co robiło ministerstwo było polityką wyważania otwartych drzwi - my mieliśmy wszystkie dane, byliśmy skłonni je udostępnić nawet darmo, tymczasem nikt tym nie był specjalnie zainteresowany, bo każdy robił po swojemu. Np. teraz jest projekt ministerialny polegający na tym, że placówka naukowa może przedstawić do oceny parametrycznej liczbę publikacji stanowiącą 2N, gdzie N jest liczbą pracowników. To jest zafałszowywanie rzeczywistości, gdyż te 2N mogła zrobić jedna osoba. W naszym systemie nie ma żadnego powodu merytorycznego, żeby nie dokonywać merytorycznej analizy całości kariery każdego naukowca.
Teraz rozmawiamy w ministerstwie na temat wykorzystania naszego systemu do oceny parametrycznej, niemniej co z tego wyniknie - nie wiadomo, gdyż cały czas powstają tam i umierają nowe ciała, które próbują napisać historię Polski na nowo. To jest frustrujące.

W.T. Sukcesem naszym jest grant, dotyczący naukowców z nauk biomedycznych, obejmujący 5-10 jednostek naukowych. My odpowiadamy za metodologie i technologię, natomiast jednostka ministerstwa, OPI, ma porównać wyniki, jak wygląda ocena parametryczna w ujęciu naszego systemu oraz tego, według którego OPI wycenia dotychczas. Jednak obecne dane wejściowe OPI są wielce niezadowalające przede wszystkim z powodu braku spójności. My jesteśmy odpowiedzialni za dostarczenie informacji, która będzie w odpowiedni sposób posegregowana i zważona. Żeby uzyskać wyniki, treści tych informacji będą pozyskiwane na nowo. Badanie nie będzie obejmowało wszystkich z 10 tysięcy naukowców z bazy OPI z pełnym życiorysem. Zaproszeni do badania będą proszeni o wpis do bazy pewnego fragmentu swojego życiorysu, powiedzmy z ostatnich 5 lat (jeśli wcześniejszych danych nie pamiętają), podanie 5 głównych osiągnięć, np. patenty, granty, konferencje naukowe.

Zalety systemu panowie wyłuszczyli, a jakie są jego wady?

M.G. Jedną z nich widzę w tym, że nie jest jeszcze tak, aby do swojego profilu każdy mógł całkowicie automatycznie dołączać swoje nowe publikacje samodzielnie, ale pracujemy nad tym. Na razie w systemie dominują nauki biomedyczne. Mamy jednak nadzieję, ze w miarę przybywania użytkowników, przybędzie w systemie naukowców z innych dziedzin nauki.

Dziękuję za rozmowę.