Naujienų srautas

Mokslas ir IT2023.01.03 12:27

Helge Holden. Kritinės pastabos apie mokslininkų reitingavimą

Pagal tradiciją metų pabaigoje apžvelgiama, kurie mokslininkai publikavo daugiausia ir kurie buvo daugiausia cituojami. Tai geras pagrindas pažvelgti į tai, kaip matuojame mokslą.

Publikuota 2022 m. gruodžio 2 d. laikraštyje „Universitetsavisa“. Vertė Gediminas Karoblis.

Iš pradžių būtų svarbu vienas kitam priminti, kad tyrimo tikslas – rasti naujų mokslinių įžvalgų bei žinių ir perteikti tai kitiems tyrėjams bei visuomenei. Įprastas būdas pranešti apie savo rezultatus kolegoms yra recenzuojami moksliniai straipsniai, o tada pagrįstai galima galvoti, kad kuo daugiau, tuo geriau. Nekomunikuojama įžvalga turi mažai vertės arba jos visai neturi.

Šiek tiek stebėtina, kad būtent mokslininkų forumas (Forskerforum) skelbia 500 Norvegijos mokslininkų, surinkusių daugiausia publikacijos taškų, sąrašą. Mokslininkų forumo straipsnyje sąrašas pateikiamas be jokių komentarų ar konteksto. Tuo pat metu Mokslininkų asociacija mokslinėje ataskaitoje, apie kurią neseniai minėjau straipsnyje „Universitetsavisa“ (p. 59), rašo:

„Kai kurie mano, kad stiprus „publikavimo taškų skaičiavimo“ skatinimas lemia tai, kad publikuojama per daug ir „vidutiniškų“ tyrimų. Yra ir tokių, kurie atkreipia dėmesį į tai, kad siekiant aukščiausio antro lygio publikacijų atliekama daug įspūdingų ar spekuliatyvių tyrimų, kurių tyrimo etika ir metodika galima suabejoti. Be to, sumanyta mokslinių tyrimų darbus skaidyti, kad būtų galima gauti daugiau publikavimo taškų, tai vadinamoji saliamizacija; ir nors tai paneigta nuodugnioje 2014 m. publikavimo rodiklių vertinimo ataskaitoje, visada liks tam tikra prielaida, kad publikavimo elgseną lemia ir apgailėtina manipuliacija rodiklių sistema.“

Savo darbo aplinkos tyrime mokslininkų asociacija rašo apie mokslininkų patiriamą spaudimą publikuoti. Šiek tiek keista, kad mokslininkų asociacija augina spaudimą publikuoti, nematydama jo visame kontekste.

Publikavimo taškų skaičiavimo sistemą minėjau ankstesniame straipsnyje „Universitetsavisa“ ir „Aftenposten“. „Publikavimo taškų skaičiavimo sistema“ sukurta padėti universitetams skirti nebiurokratinį, paprastą, tiesioginį ir išmatuojamą finansavimą. Ji paskatino mokslinį publikavimą Norvegijoje. Ji buvo būtina. Tai geras pagrindas palyginti mokslinių tyrimų veiklą didelėse institucijose, turinčiose gana panašų akademinį lygį, pavyzdžiui, Norvegijos mokslo ir technologijos (NTNU), Oslo, Bergeno ir Trumsės universitetuose. Tačiau skaičiavimai turi ir akivaizdžių esminių silpnybių. Jie nenaudingi individualiu lygiu ir prastai veikia lyginant skirtingas disciplinas. Problema ta, kad jais taip paprasta naudotis individualiai, o pagunda lyginti atrodo nenugalima. Čia matome Goodharto dėsnio, kuris teigia, kad „kai priemonė tampa tikslu, ji nustoja būti gera priemonė“, atvejį. Planuojama atsisakyti publikacijų taškų skaičiavimų sistemos kaip universitetų finansavimo mechanizmo. Tačiau publikacijų skaičiavimo priešininkai turi mažai pagrindo optimizmui, kol nebus aišku, kas galėtų pakeisti šią skaičiavimų sistemą.

Nobelio premijos laureatų Edvardo ir May-Britt Moserų šiame sąraše nėra. Visada yra pagrindas skeptiškai vertinti Norvegijos mokslininkų reitingą, kuriame jie nėra aukštai vertinami. Jie neabejotinai yra Norvegijos mokslo flagmanas ir daugeliui atrodo kaip idealas. Jie laikosi visiškai kitokios publikavimo strategijos.

May-Britt Moser „Khrono“ laikraščiui pasakojo, kad ji kilusi iš tradicijos ir aplinkos, kurioje manoma, kad daug publikacijų nėra svarbu, ir nurodė neurologo Pero Anderseno nuomonę.

„Jei kas penkerius metus paskelbi vieną tikrai gerą publikaciją, turėtum didžiuotis. Tai buvo pirmas Pero Anderseno patarimas. Antrasis – kas yra gera publikacija? Tai mirtinai tvirta publikacija. Tai publikacija, kurią žmonės gali pasigauti ir kartoti. Tokia, kurioje galima įžvelgti šiokį tokį „oho“ jausmą. O kai taip yra, mes vis tiek mėgstame ją pateikti vadinamiesiems geriesiems žurnalams. Taip yra todėl, kad atsiliepimai, kuriuos gauname, yra nepaprastai vertingi.“

Ši strategija atneša nedaug publikavimo taškų, tačiau gali atnešti Nobelio premiją.

Kitas klausimas yra citavimas. Čia laikraštis „Khrono“ pateikia labiausiai cituojamų Norvegijos mokslininkų sąrašą, kurį parengė „Clarivates Web of Science“. Akivaizdu, kad visi norime, jog mūsų darbus skaitytų ir naudotų kiti. Citatų skaičius neabejotinai yra kūrinio svarbos matas, tačiau tai nebūtinai geras matas. Kad nieko neįžeisčiau, pavyzdžiu galiu paimti save. Turiu beveik dvigubai daugiau citatų nei Abelio premijos laureatas Andrew Wilesas (pagarsėjęs Ferma teoremos įrodymu), o publikacijų turiu 6 kartus daugiau (žinoma, tai šiek tiek paaiškina citatų skaičių). Bet net mano mama nepasakytų, kad aš geresnis matematikas. „Wiles“ yra ekstremumas – labai nedaug publikacijų, kurios visos išskirtinės kokybės, tačiau kyla problema, kai matavimo priemonė neapima elgsenos, kurią norime palaikyti. Kiti variantai, tokie kaip H indeksas, mažai ką keičia šiuo atžvilgiu.

Visi žino bibliometrinių duomenų, įskaitant cituojamumą (angl. impact factor), naudojimo mokslui palyginti ir matuoti trūkumus. Daugelis institucijų, įskaitant NTNU, pasirašė San Francisko mokslinių tyrimų vertinimo deklaraciją (DORA), kurioje, be kita ko, teigiama:

„Nenaudosime žurnalais pagrįstos metrikos, pvz., žurnalo cituojamumo kaip surogatinio atskirų mokslinių straipsnių kokybės mato, vertindami atskiro mokslininko indėlį arba priimdami į darbą, paaukštindami pareigose ar priimdami sprendimus dėl finansavimo.“

Neseniai NTNU taip pat pasirašė Europos universitetų asociacijos ir „Science Europe“ inicijuotą susitarimą dėl mokslinių tyrimų vertinimo reformos. Čia, be kita ko, sakoma: „Sutelksime tyrimo vertinimo kriterijus į kokybę. Skatinsime idėjų originalumą, profesionalų tyrimų atlikimą ir rezultatus, peržengiančius aukščiausią slenkstį.“ Siekiant tęsti susitarimą, taip pat įkurta mokslinių tyrimų pažangos koalicija (CoARA).

Tai žingsnis teisinga linkme, tačiau jis atspindi ir atšiaurią realybę, kai, pavyzdžiui, į vieną vietą tenka vertinti 10 pretendentų, o kiekvienas kandidatas prideda 10 svarbiausių savo darbų. Tada tampa sunku „sutelkti tyrimo vertinimo kriterijus į kokybę“. Bibliometrinius duomenis naudoti be galo lengva, ir jie nėra visiškai nepagrįsti.

Carlas Friedrichas Gaussas (1777–1855), vienas žymiausių visų laikų matematikų ir visiems žinomas kaip Gauso kreivės, arba normaliojo skirstinio, kūrėjas, pasirinko šūkį pauca sed matura, kurį galima versti „mažai, bet brandžiai“. Galbūt jis nuėjo per toli, nes paliktose jo užrašų knygelėse buvo daug neskelbtų, tačiau novatoriškų rezultatų. Tai neatnešė daug publikavimo taškų, tačiau atnešė mokslinių tyrimų rezultatus amžinybei.

LRT yra žiniasklaidos priemonė, sertifikuota pagal tarptautinę Žurnalistikos patikimumo iniciatyvos programą

Naujausi, Skaitomiausi