Erilaiset mittarit tutkimuksen arvioinnissa - avoimuus menetelmien ymmärtämisen apuna

Yksittäisen tutkimusjulkaisun laadun arviointi edellyttää, että käytetyt tutkimusmenetelmät on kuvattu riittävän avoimesti ja perusteellisesti.  Saman tulisi päteä myös tutkimuksen arvioinnissa käytettäviin menetelmiin: tulosten ymmärtäminen edellyttää, että taustalla olevat menetelmät on tarkasti kuvattu.

CC 4.0 BY Minedu.fi​

 

Erilaisia laadullisia ja määrällisiä arviointimenetelmiä sovelletaan tutkimuksen arvioinnissa yhä enemmän niin Suomessa kuin muissakin maissa. Niitä hyödynnetään muun muassa kansainvälisissä vertailuissa, yliopisto-rankingeissa, yliopistojen perusrahoituksen kriteerinä, tutkimushankkeiden rahoituspäätöksissä ja tutkijoiden rekrytoinneissa. Ihanteellisinta olisi, jos arvioinnin indikaattorit olisivat läpinäkyviä ja valideja ja ne perustuisivat luotettaviin, ajantasaisiin ja avoimesti saatavilla oleviin aineistoihin. Tällöin ne hyödyttäisivät myös tutkijoita tarjoamalla väylän osoittaa, mitä tutkijat ja tutkimusryhmät ovat tosiasiallisesti tuottaneet sen sijaan, että arviointi perustuisi vain maineeseen.

 

Viime aikoina erityisesti tieteellisen julkaisutoiminnan määrällinen arviointi, bibliometriikka, on saanut merkittävää jalansijaa arvioinneissa.  Kun aikaisemmin bibliometrisia menetelmiä hyödynsivät enimmäkseen tutkimusalalle ​​erikoistuneet asiantuntijat, nykyisen arviointibuumin ja entistä helpommin saatavilla olevien suurten aineistojen myötä menetelmien hyödyntäjät ovat moninainen joukko päätöksentekijöitä, tutkimusrahoittajia, yliopistojohtoa, kirjasto- ja IT-asiantuntijoita sekä tutkijoita.  

Bibliometristen indikaattoreiden monimutkaiset laskentamenetelmät ovat kuitenkin usein vaikeasti muiden kuin niiden asiantuntijoiden ymmärrettävissä. Lisäksi aineiston ja menetelmien valinta vaikuttaa tuloksiin merkittävästi. Siksi erityistä huomiota arvioinneissa tulisi kiinnittää menetelmien ja aineistojen avoimeen kuvaamiseen ja niiden yleistajuistamiseen. Sekä arvioinnin tilaajan, toteuttajan että sen kohteen etu on riittävä ymmärrys siitä, mitä rajoituksia aineistot ja valitut menetelmät asettavat tulosten tulkintaan ja minkälaisia ilmiötä niillä pystytään mittaamaan.  Haittaa ei myöskään olisi siitä, että yksinkertaistettujen indikaattoreiden sijaan tutkimusta arvioitaisiin mahdollisimman monipuolisten, mielellään sekä laadullisten että kvantitatiivisten, mittareiden avulla.

CC 4.0 BY

Tämä teos on lisensoitu Creative Commons Nimeä 4.0 kansainvälinen -lisenssillä