Co sądzić o nowym systemie oceny placówek naukowych?

Utworzono: czwartek, 09 listopad 2006 Drukuj E-mail

Dr inż. Krzysztof Ossowski, dyrektor Instytutu Morskiego:
System parametrycznej oceny jednostki naukowej, w porównaniu z poprzednio obowiązującymi zasadami, wprowadza stosunkowo przejrzyste kryteria oceny, ograniczając w ocenie uznaniowość i dowolność.
Uważam jednak, iż zbyt niska wydaje się być maksymalna liczba punktów przypisywana kontraktom międzynarodowym, finansowanym ze środków zagranicznych. Brak jest tym samym preferencji w ocenie JBR-ów za wykonywanie tego typu projektów, które przecież zwiększają udział środków pozabudżetowych w finansowaniu badań naukowych. Dotychczasowe doświadczenia wskazują, że istnieje wiele czynników zniechęcających do udziału w międzynarodowych projektach badawczych (m.in. brak motywacji ekonomicznej). Długa procedura uzyskania takiego kontraktu, jego uwarunkowania, a potem długotrwałe i bardzo pracochłonne rozliczenia, będące podstawą do refundacji wydatkowanych środków własnych jednostki, powinny więc być znacznie lepiej rekompensowane poprzez punktację.
Całkowicie nie są brane pod uwagę umowy zawarte z innymi podmiotami na wykonanie prac b+r o wartości poniżej 50 tys. zł. ( umowa pow. 50 tys. = 30 pkt.). Taka zasada punktacji zniechęca do wykonywania badań dla małych i średnich przedsiębiorstw.
Zbyt niska jest również liczba punktów otrzymywana za akredytację Polskiego Centrum Akredytacji (posiadanie laboratorium z akredytacją PCA). Obecnie „wyceniona” została ona na 20 pkt., co jest porównywalne z 1-2 publikacjami. A przecież praca, jaką należy ponieść, aby uzyskać taką akredytację, a potem ją utrzymać, jest ogromna i wiąże się z dużymi nakładami finansowymi.
Ocena parametryczna dokonywana jest na podstawie „karty oceny jednostki naukowej”, stanowiącej załącznik nr 2 do Rozporządzenia Ministra Nauki i Informatyzacji z 4.08.05. W karcie tej, na podstawie końcowego wskaźnika efektywności, proponowana jest kategoria. Na wskaźnik efektywności istotny wpływ ma tzw. waga oceny dla grup jednostek jednorodnych ustalana przez ministra, tymczasem dotychczas brak jest ogólnodostępnej informacji nt. wag i kryteriów przypisania konkretnej instytucji do danej grupy jednostek.

Prof. Maciej Sadowski, dyrektor Instytutu Ochrony Środowiska:
Kryteria oceny jednostki naukowej, zdefiniowane w rozporządzeniu Ministra Nauki i Informatyzacji z 4.08.05., posłużyły do dokonania takiej oceny Instytutu za okres 2001 – 2004. W tym przypadku ocena dotyczy jednostki badawczo-rozwojowej należącej do kategorii jednostek, które pracują na rzecz odbiorcy o charakterze bardziej instytucjonalnym niż bezpośrednio użytkowym. Instytut bowiem będąc jednostką nadzorowaną przez Ministra Środowiska, pracuje przede wszystkim na potrzeby resortu oraz instytucji zajmujących się zarządzaniem środowiskiem lub tworzących i realizujących politykę ekologiczną państwa. Czyli odbiorcami działalności naukowej i usługowej są instytucje nie tworzące dóbr materialnych, co jednoznacznie definiuje ich zapotrzebowanie na badania naukowe. Pozwala to na dokonanie oceny efektów prac badawczych poprzez praktyczne wykorzystanie przez te instytucje.
W świetle powyższej charakterystyki działalności Instytutu, która jest zresztą typowa dla wszystkich JBR nieprzemysłowych, podstawowym problemem jest zdefiniowanie pojęcia „wdrożenie”. Podobnie jak w przypadku produktów materialnych, „niematerialne produkty” instytutów badawczych są praktycznie wykorzystywane przy formułowaniu polityki, aktów prawnych, wytycznych i itp., bez których nie byłoby możliwe funkcjonowanie państwa. Oczywiście ostatecznym wynikiem badań są ekspertyzy, metody, normy, informacje lub wytyczne, które przekazywane są użytkownikowi ( administracja państwowa, samorządowa i podmioty gospodarcze). Tak więc badaniom takim nie można odmówić praktycznego znaczenia i wykorzystania, a tym samym powinny być uznawane jako wdrożenie. Tymczasem w praktyce MNiSW (oraz jego poprzedników) działalność taka nie jest uznawana jako wdrożenie, co może prowadzić do wniosku, że badania prowadzone na rzecz struktur państwowych nie mają żadnego znaczenia i są bezwartościowe. Uważam takie podejście za całkowicie błędne, bezzasadne i szkodliwe społecznie.
Kolejnym problemem jest rola kryteriów w stymulacji prowadzenia badań rozwojowych i przyszłościowych. Badania takie trwają latami i trudno oceniać je na postawie przejściowych poważnych publikacji, nie mówiąc o monografiach. Kryteria także nie preferują badań interdyscyplinarnych prowadzonych przez kilka jednostek naukowych krajowych lub zagranicznych lub/i z udziałem podmiotów gospodarczych.
Jednak podstawowym mankamentem systemu oceny jednostek naukowych jest wprowadzanie tych kryteriów z naruszeniem prawa. Kryteria bowiem wprowadzane są tuż przed lub po zakończeniu okresu sprawozdawczego (w tym przypadku w 2005 r.). Jest to złamanie podstawowej zasady, że prawo nie może obowiązywać wstecz, podczas gdy w tym przypadku tak właśnie się dzieje. Kierownictwo jednostki naukowej nie ma szans na zaprogramowanie i organizację pracy w taki sposób, aby można było wypełnić ustalone kryteria. Nie da się bowiem przewidzieć, jakie kryteria zostaną przyjęte i jak dostosować prace jednostki do spełnienia tych wymagań. Tak więc cały system działa jak ruletka. Uda się trafić albo nie. Komu się udało, ten wygrał. A przecież nic nie stoi na przeszkodzie, aby kryteria takie były przyjmowane i ogłaszane przed rozpoczęciem okresu sprawozdawczego, co pozwoliłoby na racjonalne programowanie pracy jednostki. No ale taki system ma jedną wadę. Zbyt wiele jednostek wypełniałoby kryteria i sprawiało kłopot decydentom przy podziale dotacji.
Reasumując uważam, że ogłoszone kryteria byłyby do przyjęcia pod następującymi warunkami:
- ogłaszania ich z wyprzedzeniem przed rozpoczęciem okresu sprawozdawczego
- uznania wyników badań, stanowiących podstawę do podejmowania decyzji na różnych szczeblach administracji państwowej i samorządowej, jako „miękkich wdrożeń” z niższym progiem efektów finansowych, niż ma to miejsce w przypadku produktów lub technologii.

Doc. dr Lech Waliś, dyrektor Instytutu Chemii i Techniki Jądrowej:
Reprezentuję instytut, w którym prowadzone są zarówno badania podstawowe, rozwojowe, wdrożeniowe jak i - w pewnym zakresie - usługi. Instytut ma uprawnienia do nadawania stopni doktora i doktora habilitowanego oraz prowadzi studium doktoranckie. Problemem jest rozproszony odbiorca wyników prac, pochodzący z różnych obszarów gospodarki (ochrona środowiska, ochrona zdrowia, przemysł, energetyka). Dla jednostki o takiej specyfice działania zaproponowane w kryteriach oceny nie w pełni umożliwiają uwzględnienie wszystkich jej osiągnięć. Np.
 Zbyt nisko oszacowane są uprawnienia do nadawania stopni naukowych, zupełnie zaś nie uwzględnia się faktu prowadzenia studiów doktoranckich (na te cele instytut nie otrzymuje żadnych środków). Uważam, że w przypadkach, gdy specjalności na uczelniach i w placówkach PAN nie są dublowane oraz gdy wymagane jest korzystanie z unikatowej aparatury, działalność ta powinna być wyżej oceniana.
 Za wysoko ustalono wartość umów na wykonanie prac B+R (50.000 zł). Tymczasem instytuty często wykonują takie prace dla małych przedsiębiorstw, które spełniają istotną rolę na krajowym rynku pracy, ale dysponują jeszcze niewielkim kapitałem.
 Rozwiązania wymaga ocena wdrożeń, których efekty są trudne do wyliczenia (np. z obszaru ochrony środowiska), a mają wyróżniający się charakter innowacyjny i często są wynikiem wieloletnich prac dużych zespołów.
 Niedowartościowana jest punktacja za zrealizowane projekty celowe, i kontrakty międzynarodowe, zwłaszcza przy znacznych trudnościach zawierania umów z kontrahentami
 Większość badań prowadzona jest przez duże zespoły. Zależy nam na włączaniu się w zespoły zagraniczne, takie zresztą są wymagania programów unijnych. Dlatego zasady oceny publikacji wieloautorskich powinny zostać zmodyfikowane.
 Należy podwyższyć punktację za patenty. Mimo iż obecnie nie przyniesie to oczekiwanych efektów ze względu na wieloletnie opóźnienia w rozpatrywaniu wniosków, to może jednak warto wprowadzić wyższą punktację chociażby za te patenty, które znalazły zastosowanie.

Prof. Henryk Skarżyński, dyrektor Instytutu Fizjologii i Patologii Słuchu:
Do aktualnych kryteriów oceny parametrycznej należy wprowadzić szereg uzupełnień, które uwzględnią specyfikę jednostek naukowo-badawczych z dziedziny medycyny.
Ocena aktywności jednostki powinna uwzględniać nie tylko ocenę rozwoju własnej kadry naukowej, ale również udział pracowników jednostki w rozwoju kadry z innych jednostek medycznych oraz realizację projektów w ramach współpracy zagranicznej (dwu i wielostronnych), które niekoniecznie muszą być zapisane w umowach międzyrządowych.
Ocena dorobku naukowego powinna obejmować również:
 organizację i współorganizację konferencji, sympozjów i warsztatów pod auspicjami nie tylko międzynarodowych organizacji naukowych, ale również własnych organizacji,
 działalność dydaktyczną jednostki (udział w kształceniu przeddyplomowym, specjalizacyjnym i ustawicznym),
 wdrożenie systemów akredytacji krajowych i zagranicznych,
 uzyskiwanie specjalizacji przez pracowników,
 recenzje prac doktorskich i habilitacyjnych i wniosków profesorskich,
 wydawnictwa własne,
 udział w komitetach redakcyjnych polskich czasopism naukowych oraz czasopism znajdujących się na liście filadelfijskiej.
Z kolei ocena działalności praktycznej jednostki powinna objąć:
 wdrażanie nowych technik leczenia i diagnozowania bez konieczności wykazywania efektów ekonomicznych (podstawą uznania wdrożenia powinno być udokumentowanie upowszechniania w środowisku medycznym informacji o nowych technologiach medycznych),
 wypracowywanie nowoczesnych standardów medycznych,
 opracowanie nowych urządzeń medycznych,
 umowy zawarte z innymi podmiotami na prowadzenie badań,
 zakończony publikacją współudział w opracowaniu międzynarodowych standardów,
 zakończone publikacją wdrożenie nowych technik leczenia i diagnostyki,
 współudział w opracowaniu krajowych standardów i międzynarodowych ekspertyz.

Prof. Szczepan Biliński, prorektor UJ ds. badań i współpracy międzynarodowej:
Od wielu lat jednostki naukowe oceniane są według metody parametrycznej, toteż niesłychanie istotnym staje się dobór jej zasad i kryteriów . Pomimo wprowadzanych zmian, w dalszym ciągu rodzą się wątpliwości dotyczące przyjętych kryteriów. Oto najważniejsze z nich:
1. Wątpliwe wydaje się ocenianie jednostek uniwersyteckich i jednostek PAN w obrębie tych samych grup jednorodnych. Ze względów oczywistych, dydaktyka, porównanie dorobku jednostek uniwersyteckich i PAN jest trudne i może być obarczone sporym błędem.
2. Niefortunne było przygotowanie jednego, wspólnego dla wszystkich dziedzin i dyscyplin naukowych, wykazu czasopism „wraz z liczbą punktów za umieszczoną w nich publikację”. Wykaz ten – a zwłaszcza liczba punktów przyznana poszczególnym czasopismom - nie uwzględnia specyfiki rozmaitych dziedzin nauki. Wydaje się, że optymalne rozwiązanie to dwa oddzielne wykazy czasopism – jeden obejmujący czasopisma „humanistyczne’, drugi – „przyrodnicze”.
3. Duże zastrzeżenia budzi punktacja czasopism spoza listy Filadelfijskiego Instytutu Informacji Naukowej. Lista ta powinna zostać opracowana w oparciu o jednoznaczne kryteria i szczegółowe informacje dostarczone przez redakcje tych czasopism.
4. Niejasne są kryteria oceny monografii i podręczników - np. za autorstwo monografii lub podręcznika akademickiego w języku angielskim przewidziano od 12 do 24 punków. Kryteria oceny monografii powinny być jasne. Ponieważ monografie z rozmaitych dziedzin mają swoją specyfikę, kryteria ich oceny powinny być zaproponowane przez odpowiednie Zespoły Komisji na rzecz Rozwoju Nauki.
5. Wątpliwości budzi też skomplikowany system obliczania punktów za publikacje „wieloautorskie”. Inaczej potraktowane zostały publikacje zamieszczone w czasopismach prestiżowych (24 punkty we wspomnianym wyżej wykazie), inaczej czasopisma „gorsze”. Wydaje się, że dobrym rozwiązaniem byłoby przyznawanie:
- 100% punktów, jeśli liczba autorów publikacji z danej jednostki jest równa lub przekracza 50%
- 50% punktów, jeśli liczba autorów publikacji z jednostki jest mniejsza niż 50%, za każdą publikację – niezależnie od „jakości” czasopisma, w którym ją zamieszczono. Takie rozwiązanie premiowałoby udział naszych badaczy w prestiżowych międzynarodowych zespołach badawczych, różnicując równocześnie punktację w zależności od liczby autorów zatrudnionych w ocenianej jednostce.

Prof. Anna Tukiendorf, prorektor ds. nauki UMCS:
Jednym z głównych powodów krytyki nowego systemu kategoryzacji, podnoszonym przez wiele jednostek, a wśród nich i przez nasz Uniwersytet, jest wprowadzenie go do oceny działalności jednostek za ostatnie 4 lata, czyli za okres, kiedy pracowały one dostosowując swoją działalność do wcześniej ustalonych przez ministerstwo kryteriów.
Wśród nowych parametrów oceny wysoko punktowane są praktyczne zastosowania badań (patenty, wdrożenia, licencje). UMCS, podobnie jak inne ośrodki uniwersyteckie, prowadzi głównie badania o charakterze podstawowym i poznawczym. I chociaż w coraz większym stopniu realizujemy prace badawcze o charakterze stosowanym i rozwojowym, nasza oferta dla przemysłu i biznesu jest znacznie skromniejsza niż uczelni technicznych. Ponadto skuteczny transfer wiedzy z uczelni do przemysłu ma wiele ograniczeń. Należą do nich: małe zainteresowanie przemysłu wynikami badań naukowych, słaba współpraca nauki z gospodarką, brak partnerów przemysłowych w projektach naukowych i związane z tym małe nakłady na naukę ze strony przemysłu. Dodatkowym utrudnieniem w tym transferze jest konieczność poszukiwania instytucji wdrażających, co znacznie wydłuża drogę do praktycznego zastosowania wyników, a także przeszkody formalno-prawne. W tej sytuacji uniwersytety mają małe szanse stać się przedsiębiorstwami i reagować szybko na potrzeby gospodarki.
Ograniczenie liczby wykazywanych przez jednostki publikacji przypadających na jednego pracownika do 2N, chyba dobrze odzwierciedla efektywność jednostek i pozwala wykazać im najlepsze osiągnięcia. Parametr ten (efektywność) powinien mieć większy niż dotychczas wpływ na poziom finansowania jednostek. Byłoby to zachętą dla jednostek dobrych i bodźcem do zwiększenia aktywności dla słabszych. Propozycje obniżenia tego wskaźnika są uzasadnione, ponieważ o wiele wyraźniej wyróżniłoby to jednostki najlepsze. Jednak wiele jednostek ciągle pracuje „dawnym systemem” i zostałyby one wówczas pozbawione całkowicie głównego dla nich, a często jedynego, źródła finansowania badań.
Wspólna lista publikacji dla nauk matematyczno-przyrodniczych, humanistyczno-społecznych i technicznych nie jest dobrym rozwiązaniem i powinna być rozdzielona z uwzględnieniem specyfiki tych nauk.
Różnica punktów między publikacjami najlepszymi i najsłabszymi powinna być zwiększona. Byłaby to mobilizacja do publikowania dobrych prac w dobrych czasopismach.
Sprawą bardzo ważną jest też odpowiednio wcześniejsze, przed kolejnym okresem objętym oceną, ustalanie list i rankingu czasopism, definicji monografii i wdrożeń, a także zasad ich punktacji oraz innych kryteriów oceny parametrycznej. Przygotowywanie materiałów w 2005 r. do ostatniej kategoryzacji odbywało się w wielkim zamieszaniu i pośpiechu przy wielokrotnie zmienianych przez ministerstwo zasadach i wytycznych oraz licznych opóźnieniach w publikowaniu list, kryteriów i formularzy ankiet.

Prof. Andrzej Sakson, dyrektor Instytutu Zachodniego
System możliwie zobiektywizowanej oceny placówek naukowych jest niezbędny. Przy określeniu priorytetów państwa wobec nauki i zabezpieczeniu stosownych środków finansowych, uniemożliwi on dowolność i woluntaryzm w traktowaniu poszczególnych jednostek. Z drugiej strony, winien być czytelnym sygnałem, iż stosowne środki otrzymają placówki prowadzące prace badawcze na wysokim poziomie merytorycznym.
Czy nowy system oceny placówek jest wystarczający? Jak zwykle w takich przypadkach problem tkwi w szczegółach. Istotnym zagadnieniem jest kwestia publikowania wyników badań w zakresie nauk humanistycznych w językach obcych i umieszczanie danego czasopisma na liście filadelfijskiej. Oto konkretny przykład:
Instytut Zachodni jest współwydawcą (wraz z Uniwersytetem w Poczdamie) kwartalnika naukowego z zakresu stosunków międzynarodowych i politologicznych studiów porównawczych WeltTrends. Zeitschrift für interanationale Politik und vergleichende Studien. Jest to jedyny znany mi przykład polsko-niemieckiej kooperacji naukowej z zakresu nauk społecznych. Pismo to ukazuje się w Niemczech, posiada spis treści w języku niemieckim, polskim i angielskim oraz abstrakty w tymże języku. Od 1993 r. ukazały się 52 numery tego czasopisma, którego zawartość prezentowana jest w światowych zestawach bibliograficznych (m.in. Political Sociological Abstracts, International Bibliography of the Social Sciences – IBSS, Public Affairs Information Service and Online Computer Library Center –OCLC). Pismo zaliczane jest do dziesięciu najlepszych pism z zakresu studiów porównawczych na świecie, o czym świadczy zapraszanie redaktora naczelnego na spotkania redaktorów do Nowego Yorku czy Londynu. Na prośbę strony polskiej, redakcja wystąpiła, ku zdziwieniu naszych niemieckich partnerów, dla których lista filadelfijska kojarzona jest z naukami ścisłymi, o wpis na listę filadelfijską. Po niezwykle uciążliwych staraniach (dostarczenie stosownej dokumentacji) efekt był negatywny. Nowe pisma (nasze funkcjonuje od 13 lat) w zasadzie nie mają szansy na umieszczenie na tej liście.
Efekt końcowy – za publikację artykułu, który przed skierowaniem do druku opiniowany jest przez dwóch tajnych recenzentów wywodzących się z grona wybitnych specjalistów z różnych krajów, autor otrzymuje tyle samo punktów, co za publikację w polskim piśmie naukowym (wyższą liczbę punktów otrzymują jedynie publikacje w języku angielskim). Przy dużym zaangażowaniu polskiej redakcji budzi to rozgoryczenie, także wśród autorów artykułów.

Odsłony: 4413

Nowe wydanie

Co sądzić o nowym systemie oceny placówek naukowych?