Co sądzić o nowym systemie oceny placówek naukowych?
Dr inż. Krzysztof Ossowski, dyrektor Instytutu Morskiego:
System parametrycznej oceny jednostki naukowej, w porównaniu z poprzednio obowiÄ…zujÄ…cymi zasadami, wprowadza stosunkowo przejrzyste kryteria oceny, ograniczajÄ…c w ocenie uznaniowość i dowolność.
Uważam jednak, iż zbyt niska wydaje siÄ™ być maksymalna liczba punktów przypisywana kontraktom miÄ™dzynarodowym, finansowanym ze Å›rodków zagranicznych. Brak jest tym samym preferencji w ocenie JBR-ów za wykonywanie tego typu projektów, które przecież zwiÄ™kszajÄ… udziaÅ‚ Å›rodków pozabudżetowych w finansowaniu badaÅ„ naukowych. Dotychczasowe doÅ›wiadczenia wskazujÄ…, że istnieje wiele czynników zniechÄ™cajÄ…cych do udziaÅ‚u w miÄ™dzynarodowych projektach badawczych (m.in. brak motywacji ekonomicznej). DÅ‚uga procedura uzyskania takiego kontraktu, jego uwarunkowania, a potem dÅ‚ugotrwaÅ‚e i bardzo pracochÅ‚onne rozliczenia, bÄ™dÄ…ce podstawÄ… do refundacji wydatkowanych Å›rodków wÅ‚asnych jednostki, powinny wiÄ™c być znacznie lepiej rekompensowane poprzez punktacjÄ™.
Całkowicie nie są brane pod uwagę umowy zawarte z innymi podmiotami na wykonanie prac b+r o wartości poniżej 50 tys. zł. ( umowa pow. 50 tys. = 30 pkt.). Taka zasada punktacji zniechęca do wykonywania badań dla małych i średnich przedsiębiorstw.
Zbyt niska jest również liczba punktów otrzymywana za akredytacjÄ™ Polskiego Centrum Akredytacji (posiadanie laboratorium z akredytacjÄ… PCA). Obecnie „wyceniona” zostaÅ‚a ona na 20 pkt., co jest porównywalne z 1-2 publikacjami. A przecież praca, jakÄ… należy ponieść, aby uzyskać takÄ… akredytacjÄ™, a potem jÄ… utrzymać, jest ogromna i wiąże siÄ™ z dużymi nakÅ‚adami finansowymi.
Ocena parametryczna dokonywana jest na podstawie „karty oceny jednostki naukowej”, stanowiÄ…cej załącznik nr 2 do RozporzÄ…dzenia Ministra Nauki i Informatyzacji z 4.08.05. W karcie tej, na podstawie koÅ„cowego wskaźnika efektywnoÅ›ci, proponowana jest kategoria. Na wskaźnik efektywnoÅ›ci istotny wpÅ‚yw ma tzw. waga oceny dla grup jednostek jednorodnych ustalana przez ministra, tymczasem dotychczas brak jest ogólnodostÄ™pnej informacji nt. wag i kryteriów przypisania konkretnej instytucji do danej grupy jednostek.
Prof. Maciej Sadowski, dyrektor Instytutu Ochrony Åšrodowiska:
Kryteria oceny jednostki naukowej, zdefiniowane w rozporzÄ…dzeniu Ministra Nauki i Informatyzacji z 4.08.05., posÅ‚użyÅ‚y do dokonania takiej oceny Instytutu za okres 2001 – 2004. W tym przypadku ocena dotyczy jednostki badawczo-rozwojowej należącej do kategorii jednostek, które pracujÄ… na rzecz odbiorcy o charakterze bardziej instytucjonalnym niż bezpoÅ›rednio użytkowym. Instytut bowiem bÄ™dÄ…c jednostkÄ… nadzorowanÄ… przez Ministra Åšrodowiska, pracuje przede wszystkim na potrzeby resortu oraz instytucji zajmujÄ…cych siÄ™ zarzÄ…dzaniem Å›rodowiskiem lub tworzÄ…cych i realizujÄ…cych politykÄ™ ekologicznÄ… paÅ„stwa. Czyli odbiorcami dziaÅ‚alnoÅ›ci naukowej i usÅ‚ugowej sÄ… instytucje nie tworzÄ…ce dóbr materialnych, co jednoznacznie definiuje ich zapotrzebowanie na badania naukowe. Pozwala to na dokonanie oceny efektów prac badawczych poprzez praktyczne wykorzystanie przez te instytucje.
W Å›wietle powyższej charakterystyki dziaÅ‚alnoÅ›ci Instytutu, która jest zresztÄ… typowa dla wszystkich JBR nieprzemysÅ‚owych, podstawowym problemem jest zdefiniowanie pojÄ™cia „wdrożenie”. Podobnie jak w przypadku produktów materialnych, „niematerialne produkty” instytutów badawczych sÄ… praktycznie wykorzystywane przy formuÅ‚owaniu polityki, aktów prawnych, wytycznych i itp., bez których nie byÅ‚oby możliwe funkcjonowanie paÅ„stwa. OczywiÅ›cie ostatecznym wynikiem badaÅ„ sÄ… ekspertyzy, metody, normy, informacje lub wytyczne, które przekazywane sÄ… użytkownikowi ( administracja paÅ„stwowa, samorzÄ…dowa i podmioty gospodarcze). Tak wiÄ™c badaniom takim nie można odmówić praktycznego znaczenia i wykorzystania, a tym samym powinny być uznawane jako wdrożenie. Tymczasem w praktyce MNiSW (oraz jego poprzedników) dziaÅ‚alność taka nie jest uznawana jako wdrożenie, co może prowadzić do wniosku, że badania prowadzone na rzecz struktur paÅ„stwowych nie majÄ… żadnego znaczenia i sÄ… bezwartoÅ›ciowe. Uważam takie podejÅ›cie za caÅ‚kowicie błędne, bezzasadne i szkodliwe spoÅ‚ecznie.
Kolejnym problemem jest rola kryteriów w stymulacji prowadzenia badaÅ„ rozwojowych i przyszÅ‚oÅ›ciowych. Badania takie trwajÄ… latami i trudno oceniać je na postawie przejÅ›ciowych poważnych publikacji, nie mówiÄ…c o monografiach. Kryteria także nie preferujÄ… badaÅ„ interdyscyplinarnych prowadzonych przez kilka jednostek naukowych krajowych lub zagranicznych lub/i z udziaÅ‚em podmiotów gospodarczych.
Jednak podstawowym mankamentem systemu oceny jednostek naukowych jest wprowadzanie tych kryteriów z naruszeniem prawa. Kryteria bowiem wprowadzane sÄ… tuż przed lub po zakoÅ„czeniu okresu sprawozdawczego (w tym przypadku w 2005 r.). Jest to zÅ‚amanie podstawowej zasady, że prawo nie może obowiÄ…zywać wstecz, podczas gdy w tym przypadku tak wÅ‚aÅ›nie siÄ™ dzieje. Kierownictwo jednostki naukowej nie ma szans na zaprogramowanie i organizacjÄ™ pracy w taki sposób, aby można byÅ‚o wypeÅ‚nić ustalone kryteria. Nie da siÄ™ bowiem przewidzieć, jakie kryteria zostanÄ… przyjÄ™te i jak dostosować prace jednostki do speÅ‚nienia tych wymagaÅ„. Tak wiÄ™c caÅ‚y system dziaÅ‚a jak ruletka. Uda siÄ™ trafić albo nie. Komu siÄ™ udaÅ‚o, ten wygraÅ‚. A przecież nic nie stoi na przeszkodzie, aby kryteria takie byÅ‚y przyjmowane i ogÅ‚aszane przed rozpoczÄ™ciem okresu sprawozdawczego, co pozwoliÅ‚oby na racjonalne programowanie pracy jednostki. No ale taki system ma jednÄ… wadÄ™. Zbyt wiele jednostek wypeÅ‚niaÅ‚oby kryteria i sprawiaÅ‚o kÅ‚opot decydentom przy podziale dotacji.
Reasumując uważam, że ogłoszone kryteria byłyby do przyjęcia pod następującymi warunkami:
- ogłaszania ich z wyprzedzeniem przed rozpoczęciem okresu sprawozdawczego
- uznania wyników badaÅ„, stanowiÄ…cych podstawÄ™ do podejmowania decyzji na różnych szczeblach administracji paÅ„stwowej i samorzÄ…dowej, jako „miÄ™kkich wdrożeÅ„” z niższym progiem efektów finansowych, niż ma to miejsce w przypadku produktów lub technologii.
Doc. dr Lech WaliÅ›, dyrektor Instytutu Chemii i Techniki JÄ…drowej:
ReprezentujÄ™ instytut, w którym prowadzone sÄ… zarówno badania podstawowe, rozwojowe, wdrożeniowe jak i - w pewnym zakresie - usÅ‚ugi. Instytut ma uprawnienia do nadawania stopni doktora i doktora habilitowanego oraz prowadzi studium doktoranckie. Problemem jest rozproszony odbiorca wyników prac, pochodzÄ…cy z różnych obszarów gospodarki (ochrona Å›rodowiska, ochrona zdrowia, przemysÅ‚, energetyka). Dla jednostki o takiej specyfice dziaÅ‚ania zaproponowane w kryteriach oceny nie w peÅ‚ni umożliwiajÄ… uwzglÄ™dnienie wszystkich jej osiÄ…gnięć. Np.
Zbyt nisko oszacowane sÄ… uprawnienia do nadawania stopni naukowych, zupeÅ‚nie zaÅ› nie uwzglÄ™dnia siÄ™ faktu prowadzenia studiów doktoranckich (na te cele instytut nie otrzymuje żadnych Å›rodków). Uważam, że w przypadkach, gdy specjalnoÅ›ci na uczelniach i w placówkach PAN nie sÄ… dublowane oraz gdy wymagane jest korzystanie z unikatowej aparatury, dziaÅ‚alność ta powinna być wyżej oceniana.
Za wysoko ustalono wartość umów na wykonanie prac B+R (50.000 zÅ‚). Tymczasem instytuty czÄ™sto wykonujÄ… takie prace dla maÅ‚ych przedsiÄ™biorstw, które speÅ‚niajÄ… istotnÄ… rolÄ™ na krajowym rynku pracy, ale dysponujÄ… jeszcze niewielkim kapitaÅ‚em.
RozwiÄ…zania wymaga ocena wdrożeÅ„, których efekty sÄ… trudne do wyliczenia (np. z obszaru ochrony Å›rodowiska), a majÄ… wyróżniajÄ…cy siÄ™ charakter innowacyjny i czÄ™sto sÄ… wynikiem wieloletnich prac dużych zespoÅ‚ów.
NiedowartoÅ›ciowana jest punktacja za zrealizowane projekty celowe, i kontrakty miÄ™dzynarodowe, zwÅ‚aszcza przy znacznych trudnoÅ›ciach zawierania umów z kontrahentami
WiÄ™kszość badaÅ„ prowadzona jest przez duże zespoÅ‚y. Zależy nam na włączaniu siÄ™ w zespoÅ‚y zagraniczne, takie zresztÄ… sÄ… wymagania programów unijnych. Dlatego zasady oceny publikacji wieloautorskich powinny zostać zmodyfikowane.
Należy podwyższyć punktacjÄ™ za patenty. Mimo iż obecnie nie przyniesie to oczekiwanych efektów ze wzglÄ™du na wieloletnie opóźnienia w rozpatrywaniu wniosków, to może jednak warto wprowadzić wyższÄ… punktacjÄ™ chociażby za te patenty, które znalazÅ‚y zastosowanie.
Prof. Henryk Skarżyński, dyrektor Instytutu Fizjologii i Patologii Słuchu:
Do aktualnych kryteriów oceny parametrycznej należy wprowadzić szereg uzupeÅ‚nieÅ„, które uwzglÄ™dniÄ… specyfikÄ™ jednostek naukowo-badawczych z dziedziny medycyny.
Ocena aktywnoÅ›ci jednostki powinna uwzglÄ™dniać nie tylko ocenÄ™ rozwoju wÅ‚asnej kadry naukowej, ale również udziaÅ‚ pracowników jednostki w rozwoju kadry z innych jednostek medycznych oraz realizacjÄ™ projektów w ramach wspóÅ‚pracy zagranicznej (dwu i wielostronnych), które niekoniecznie muszÄ… być zapisane w umowach miÄ™dzyrzÄ…dowych.
Ocena dorobku naukowego powinna obejmować również:
organizacjÄ™ i wspóÅ‚organizacjÄ™ konferencji, sympozjów i warsztatów pod auspicjami nie tylko miÄ™dzynarodowych organizacji naukowych, ale również wÅ‚asnych organizacji,
działalność dydaktyczną jednostki (udział w kształceniu przeddyplomowym, specjalizacyjnym i ustawicznym),
wdrożenie systemów akredytacji krajowych i zagranicznych,
uzyskiwanie specjalizacji przez pracowników,
recenzje prac doktorskich i habilitacyjnych i wniosków profesorskich,
wydawnictwa własne,
udział w komitetach redakcyjnych polskich czasopism naukowych oraz czasopism znajdujących się na liście filadelfijskiej.
Z kolei ocena działalności praktycznej jednostki powinna objąć:
wdrażanie nowych technik leczenia i diagnozowania bez koniecznoÅ›ci wykazywania efektów ekonomicznych (podstawÄ… uznania wdrożenia powinno być udokumentowanie upowszechniania w Å›rodowisku medycznym informacji o nowych technologiach medycznych),
wypracowywanie nowoczesnych standardów medycznych,
opracowanie nowych urządzeń medycznych,
umowy zawarte z innymi podmiotami na prowadzenie badań,
zakoÅ„czony publikacjÄ… wspóÅ‚udziaÅ‚ w opracowaniu miÄ™dzynarodowych standardów,
zakończone publikacją wdrożenie nowych technik leczenia i diagnostyki,
wspóÅ‚udziaÅ‚ w opracowaniu krajowych standardów i miÄ™dzynarodowych ekspertyz.
Prof. Szczepan BiliÅ„ski, prorektor UJ ds. badaÅ„ i wspóÅ‚pracy miÄ™dzynarodowej:
Od wielu lat jednostki naukowe oceniane sÄ… wedÅ‚ug metody parametrycznej, toteż niesÅ‚ychanie istotnym staje siÄ™ dobór jej zasad i kryteriów . Pomimo wprowadzanych zmian, w dalszym ciÄ…gu rodzÄ… siÄ™ wÄ…tpliwoÅ›ci dotyczÄ…ce przyjÄ™tych kryteriów. Oto najważniejsze z nich:
1. WÄ…tpliwe wydaje siÄ™ ocenianie jednostek uniwersyteckich i jednostek PAN w obrÄ™bie tych samych grup jednorodnych. Ze wzglÄ™dów oczywistych, dydaktyka, porównanie dorobku jednostek uniwersyteckich i PAN jest trudne i może być obarczone sporym błędem.
2. Niefortunne byÅ‚o przygotowanie jednego, wspólnego dla wszystkich dziedzin i dyscyplin naukowych, wykazu czasopism „wraz z liczbÄ… punktów za umieszczonÄ… w nich publikacjÄ™”. Wykaz ten – a zwÅ‚aszcza liczba punktów przyznana poszczególnym czasopismom - nie uwzglÄ™dnia specyfiki rozmaitych dziedzin nauki. Wydaje siÄ™, że optymalne rozwiÄ…zanie to dwa oddzielne wykazy czasopism – jeden obejmujÄ…cy czasopisma „humanistyczne’, drugi – „przyrodnicze”.
3. Duże zastrzeżenia budzi punktacja czasopism spoza listy Filadelfijskiego Instytutu Informacji Naukowej. Lista ta powinna zostać opracowana w oparciu o jednoznaczne kryteria i szczegóÅ‚owe informacje dostarczone przez redakcje tych czasopism.
4. Niejasne sÄ… kryteria oceny monografii i podrÄ™czników - np. za autorstwo monografii lub podrÄ™cznika akademickiego w jÄ™zyku angielskim przewidziano od 12 do 24 punków. Kryteria oceny monografii powinny być jasne. Ponieważ monografie z rozmaitych dziedzin majÄ… swojÄ… specyfikÄ™, kryteria ich oceny powinny być zaproponowane przez odpowiednie ZespoÅ‚y Komisji na rzecz Rozwoju Nauki.
5. WÄ…tpliwoÅ›ci budzi też skomplikowany system obliczania punktów za publikacje „wieloautorskie”. Inaczej potraktowane zostaÅ‚y publikacje zamieszczone w czasopismach prestiżowych (24 punkty we wspomnianym wyżej wykazie), inaczej czasopisma „gorsze”. Wydaje siÄ™, że dobrym rozwiÄ…zaniem byÅ‚oby przyznawanie:
- 100% punktów, jeÅ›li liczba autorów publikacji z danej jednostki jest równa lub przekracza 50%
- 50% punktów, jeÅ›li liczba autorów publikacji z jednostki jest mniejsza niż 50%, za każdÄ… publikacjÄ™ – niezależnie od „jakoÅ›ci” czasopisma, w którym jÄ… zamieszczono. Takie rozwiÄ…zanie premiowaÅ‚oby udziaÅ‚ naszych badaczy w prestiżowych miÄ™dzynarodowych zespoÅ‚ach badawczych, różnicujÄ…c równoczeÅ›nie punktacjÄ™ w zależnoÅ›ci od liczby autorów zatrudnionych w ocenianej jednostce.
Prof. Anna Tukiendorf, prorektor ds. nauki UMCS:
Jednym z gÅ‚ównych powodów krytyki nowego systemu kategoryzacji, podnoszonym przez wiele jednostek, a wÅ›ród nich i przez nasz Uniwersytet, jest wprowadzenie go do oceny dziaÅ‚alnoÅ›ci jednostek za ostatnie 4 lata, czyli za okres, kiedy pracowaÅ‚y one dostosowujÄ…c swojÄ… dziaÅ‚alność do wczeÅ›niej ustalonych przez ministerstwo kryteriów.
WÅ›ród nowych parametrów oceny wysoko punktowane sÄ… praktyczne zastosowania badaÅ„ (patenty, wdrożenia, licencje). UMCS, podobnie jak inne oÅ›rodki uniwersyteckie, prowadzi gÅ‚ównie badania o charakterze podstawowym i poznawczym. I chociaż w coraz wiÄ™kszym stopniu realizujemy prace badawcze o charakterze stosowanym i rozwojowym, nasza oferta dla przemysÅ‚u i biznesu jest znacznie skromniejsza niż uczelni technicznych. Ponadto skuteczny transfer wiedzy z uczelni do przemysÅ‚u ma wiele ograniczeÅ„. Należą do nich: maÅ‚e zainteresowanie przemysÅ‚u wynikami badaÅ„ naukowych, sÅ‚aba wspóÅ‚praca nauki z gospodarkÄ…, brak partnerów przemysÅ‚owych w projektach naukowych i zwiÄ…zane z tym maÅ‚e nakÅ‚ady na naukÄ™ ze strony przemysÅ‚u. Dodatkowym utrudnieniem w tym transferze jest konieczność poszukiwania instytucji wdrażajÄ…cych, co znacznie wydÅ‚uża drogÄ™ do praktycznego zastosowania wyników, a także przeszkody formalno-prawne. W tej sytuacji uniwersytety majÄ… maÅ‚e szanse stać siÄ™ przedsiÄ™biorstwami i reagować szybko na potrzeby gospodarki.
Ograniczenie liczby wykazywanych przez jednostki publikacji przypadajÄ…cych na jednego pracownika do 2N, chyba dobrze odzwierciedla efektywność jednostek i pozwala wykazać im najlepsze osiÄ…gniÄ™cia. Parametr ten (efektywność) powinien mieć wiÄ™kszy niż dotychczas wpÅ‚yw na poziom finansowania jednostek. ByÅ‚oby to zachÄ™tÄ… dla jednostek dobrych i bodźcem do zwiÄ™kszenia aktywnoÅ›ci dla sÅ‚abszych. Propozycje obniżenia tego wskaźnika sÄ… uzasadnione, ponieważ o wiele wyraźniej wyróżniÅ‚oby to jednostki najlepsze. Jednak wiele jednostek ciÄ…gle pracuje „dawnym systemem” i zostaÅ‚yby one wówczas pozbawione caÅ‚kowicie gÅ‚ównego dla nich, a czÄ™sto jedynego, źródÅ‚a finansowania badaÅ„.
Wspólna lista publikacji dla nauk matematyczno-przyrodniczych, humanistyczno-spoÅ‚ecznych i technicznych nie jest dobrym rozwiÄ…zaniem i powinna być rozdzielona z uwzglÄ™dnieniem specyfiki tych nauk.
Różnica punktów miÄ™dzy publikacjami najlepszymi i najsÅ‚abszymi powinna być zwiÄ™kszona. ByÅ‚aby to mobilizacja do publikowania dobrych prac w dobrych czasopismach.
SprawÄ… bardzo ważnÄ… jest też odpowiednio wczeÅ›niejsze, przed kolejnym okresem objÄ™tym ocenÄ…, ustalanie list i rankingu czasopism, definicji monografii i wdrożeÅ„, a także zasad ich punktacji oraz innych kryteriów oceny parametrycznej. Przygotowywanie materiaÅ‚ów w 2005 r. do ostatniej kategoryzacji odbywaÅ‚o siÄ™ w wielkim zamieszaniu i poÅ›piechu przy wielokrotnie zmienianych przez ministerstwo zasadach i wytycznych oraz licznych opóźnieniach w publikowaniu list, kryteriów i formularzy ankiet.
Prof. Andrzej Sakson, dyrektor Instytutu Zachodniego
System możliwie zobiektywizowanej oceny placówek naukowych jest niezbÄ™dny. Przy okreÅ›leniu priorytetów paÅ„stwa wobec nauki i zabezpieczeniu stosownych Å›rodków finansowych, uniemożliwi on dowolność i woluntaryzm w traktowaniu poszczególnych jednostek. Z drugiej strony, winien być czytelnym sygnaÅ‚em, iż stosowne Å›rodki otrzymajÄ… placówki prowadzÄ…ce prace badawcze na wysokim poziomie merytorycznym.
Czy nowy system oceny placówek jest wystarczajÄ…cy? Jak zwykle w takich przypadkach problem tkwi w szczegóÅ‚ach. Istotnym zagadnieniem jest kwestia publikowania wyników badaÅ„ w zakresie nauk humanistycznych w jÄ™zykach obcych i umieszczanie danego czasopisma na liÅ›cie filadelfijskiej. Oto konkretny przykÅ‚ad:
Instytut Zachodni jest wspóÅ‚wydawcÄ… (wraz z Uniwersytetem w Poczdamie) kwartalnika naukowego z zakresu stosunków miÄ™dzynarodowych i politologicznych studiów porównawczych WeltTrends. Zeitschrift für interanationale Politik und vergleichende Studien. Jest to jedyny znany mi przykÅ‚ad polsko-niemieckiej kooperacji naukowej z zakresu nauk spoÅ‚ecznych. Pismo to ukazuje siÄ™ w Niemczech, posiada spis treÅ›ci w jÄ™zyku niemieckim, polskim i angielskim oraz abstrakty w tymże jÄ™zyku. Od 1993 r. ukazaÅ‚y siÄ™ 52 numery tego czasopisma, którego zawartość prezentowana jest w Å›wiatowych zestawach bibliograficznych (m.in. Political Sociological Abstracts, International Bibliography of the Social Sciences – IBSS, Public Affairs Information Service and Online Computer Library Center –OCLC). Pismo zaliczane jest do dziesiÄ™ciu najlepszych pism z zakresu studiów porównawczych na Å›wiecie, o czym Å›wiadczy zapraszanie redaktora naczelnego na spotkania redaktorów do Nowego Yorku czy Londynu. Na proÅ›bÄ™ strony polskiej, redakcja wystÄ…piÅ‚a, ku zdziwieniu naszych niemieckich partnerów, dla których lista filadelfijska kojarzona jest z naukami Å›cisÅ‚ymi, o wpis na listÄ™ filadelfijskÄ…. Po niezwykle uciążliwych staraniach (dostarczenie stosownej dokumentacji) efekt byÅ‚ negatywny. Nowe pisma (nasze funkcjonuje od 13 lat) w zasadzie nie majÄ… szansy na umieszczenie na tej liÅ›cie.
Efekt koÅ„cowy – za publikacjÄ™ artykuÅ‚u, który przed skierowaniem do druku opiniowany jest przez dwóch tajnych recenzentów wywodzÄ…cych siÄ™ z grona wybitnych specjalistów z różnych krajów, autor otrzymuje tyle samo punktów, co za publikacjÄ™ w polskim piÅ›mie naukowym (wyższÄ… liczbÄ™ punktów otrzymujÄ… jedynie publikacje w jÄ™zyku angielskim). Przy dużym zaangażowaniu polskiej redakcji budzi to rozgoryczenie, także wÅ›ród autorów artykuÅ‚ów.