Helsingin yliopisto
Think Open -blogin dialogihaastattelun ensimmäisessä osassa vararehtori Paula Eerola ja geoinformatiikan apulaisprofessori Tuuli Toivonen keskustelevat Plan S -julkilausumasta, avoimen julkaisemisen kannustavuudesta ja tutkimuksen arvioinnista.
(The abstract of this post is also available in English.)
Think Open -blogin dialogihaastattelun idea on yksinkertainen: haastateltavat nostavat esiin tärkeiksi kokemiaan aiheita, joiden pohjalta käydään vapaamuotoinen keskustelu. Helsingin yliopiston uuden vararehtorin Paula Eerolan ja geoinformatiikan apulaisprofessorin Tuuli Toivosen keskustelu tuotti niin paljon materiaalia, että haastattelu julkaistaan kahdessa osassa.
Nyt julkaistavan ensimmäisen osan teemat liittyvät avoimeen julkaisemiseen, tutkijan meritoitumiseen ja tutkimuksen arviointiin laajemminkin. Dialogihaastattelun toinen osa ilmestyy keskiviikkona 24. lokakuuta.
”Plan S on selkeästi oikeaan suuntaan”
Keskustelu lähtee liikkeelle syksyn ajankohtaisesta asiasta, eurooppalaisia tutkimusrahoittajia edustavan Science Europen Plan S -julkilausumasta, jossa vaaditaan, että julkisesti rahoitetun tieteellisen tutkimuksen on oltava vuoteen 2020 mennessä avoimesti kaikkien saatavilla (open access). Suomesta julkilausuman on hyväksynyt Suomen Akatemia, ja myös Suomen yliopistojen rehtorineuvosto (UNIFI) viittaa Plan S:ään antaessaan vahvan tukensa FinELib-kirjastokonsortion avoimuutta edistäville neuvottelutavoitteille.
| Paula Eerola |
|
| Tuuli Toivonen |
|
TT: ”Ehkä kaikkein ajankohtaisin asia on Plan S. Julkilausumassa on mukana se, että hybridijulkaisemista ei enää tuettaisi. FinELibin neuvotellessa sopimusta Elsevierin kanssa, järjestimme kampanjoita, joissa tutkijat osallistuivat Elsevier-boikottiin. Lopputulos oli kuitenkin se, että hinta pysyi korkeana, ja nousikin. Elsevierin kädenojennus oli se, että se tukee hybridijulkaisemista alentamalla kirjoittajamaksuja puolella – ja Helsingin yliopisto tuli vielä vastaan niin, että toinenkin puolikas katetaan. Yksittäisen tutkijan kannalta tämä on huikean hieno juttu: nyt on mahdollisuus julkaista maksutta Elsevierin korkean impaktin sarjoissa. Se tekee kuitenkin hallaa avoimuudelle, koska tämä kannustaa julkaisemaan Elsevierin sarjoissa nimenomaan hybridinä. Ostamme nämä julkaisut kuitenkin kirjastoille takaisin. Tämä on mietityttänyt tutkijoiden keskuudessa. Haluaisin kuulla tästä yliopiston kannan ja siitä, miten tulisi suhtautua Plan S:ään, jossa otetetaan kantaa tällaista toimintaa vastaan.”
PE: ”UNIFI keräsi Suomen yliopistojen lausuntoja Plan S:ään, ja keskustelimme asiasta Helsingin yliopistossa. Plan S on selkeästi oikeaan suuntaan. Hybridijulkaisemisessa ovat nämä sisäänrakennetut ongelmat, kuten sanoit. On erinomaista, että on saatu näinkin korkean tason suunnitelma aikaiseksi kustannusyhtiöitä vastaan. Ne kymmenen periaatetta, jotka Plan S:ään on listattu, ovat ihan oikeansuuntaisia. Se, mitä siinä ei käsitellä, on kustannusten jakautuminen. Kustannuksia tulee joka tapauksessa, mutta siellä esitetään vain hyvin ympäripyöreästi, mitkä toimijat ovat vastuussa. Kaiken kaikkiaan tällä hetkellä ei ole selkeätä käsitystä kustannuksista. Julistus on kannatettava, mutta tämä on kompleksi kysymys.”
Miten nostaa OA-lehtien tasoa ja arvostusta?
Tieteellistä julkaisemista koskeva julkilausuma johdattaa keskustelun julkaisujen asemaan tieteellisessä kulttuurissa ja tutkimuksen arviointiin julkaisujen perusteella. Plan S -julistuksessa sanoudutaan irti hybridijulkaisuvaihtoehdosta, jolloin avoimen julkaisemisen vaihtoehtoina on julkaiseminen OA-lehdessä tai rinnakkaisjulkaiseminen julkaisuarkistossa, kuten Helsingin yliopiston Heldassa (ks. peruskäsitteistä OA-oppaasta). OA-lehtien ongelmana on pidetty huippujulkaisujen vähäisyyttä. Esimerkiksi Tieteellisten Seurain Valtuuskunnan (TSV) ylläpitämän Julkaisufoorumin (JUFO) luokituksen ylimmillä 2- ja 3-tasoilla OA-kanavia on vähän (69 kpl kaikkiaan 3048:sta). Paula Eerola, joka on istunut kaksi arviointikautta JUFOn fysiikan ja tähtitieteen paneelin puheenjohtajana, muistuttaa kuitenkin myös JUFOn rajoituksista.
PE: ”Ei pitäisi sekoittaa julkaisun tasoa ja yksittäisen tutkijan meritoitumista. Kun Julkaisufoorumi-tasoja ryhdyttiin alun perin tekemään, taka-ajatuksena oli, että tutkijoita ohjataan julkaisemaan paremmissa ja vaikuttavammissa sarjoissa. TSV:n selkeä kanta oli, että prosessi on tutkijavetoinen, eikä sitä koskaan saa käyttää yksittäisten tutkijoiden arviointiin. Esimerkiksi jos haet jotain paikkaa, arvioinnissa ei saisi sanoa, että hakijalla on niin ja niin monta JUFO 2- tai 3-tason julkaisua. Siinä pitäisi olla asiantuntijalausunnot, joissa katsotaan julkaisujen sisältöä. Tässä menee helposti sekaisin yksittäisen artikkelin sisältö ja lehden brändi tai maine. Brändi tai maine ovat hypoteettisia asioita, joita voidaan manipuloida.”
TT: ”Ja niitä manipuloidaan. Heidi Laine, joka on ollut paljon avoimen tieteen kuvioissa mukana, kirjoitti juuri, että olisi vihdoin päästävä eroon siitä, että tuotoksia arvioidaan astian eikä sisällön perusteella. JUFO-luokitus kuitenkin ohjaa. Esimerkiksi meidän alalla maantieteessä Applied Geography -lehti on korkeimman impaktin lehti. Sen JUFO-luokka on kuitenkin yksi, ja siitä näkökulmasta se on aivan rapalehti. Olemme yrittäneet saada sitä nostettua vuosikaudet. Aallossa kollegamme eivät halunneet laittaa yhteisartikkeliamme sinne – vaikka se olisi ollut täsmälleen oikea paikka –, siinä pelossa että heitä olisi arvioitu huonosti myös yksilöinä. Jos halutaan työkalu, jolla tutkijoita ohjataan, olisi oltava varma siitä, että työkalu on oikeanlainen. JUFO-luokituksella voisi kai ohjata tutkijoita myös avoimuuden suuntaan. Se, että lehti olisi avoin, nostaisi sen luokitusta.”
PE: ”Sekin on ongelmallista. JUFO-luokituksen pitäisi periaatteessa olla vain laatuperusteinen. OKM haluaisi kovasti lisäluokkaa sille, onko lehti avoin vai ei, koska JUFO-luokkia käytetään yliopistojen rahoituksessa. En ole tällaisesta mikromanageroinnista ollenkaan innostunut. Se, että julkaisu tavoittaa kollegat, on yleensä julkaisemisen ensimmäinen kriteeri. Tutkimustulosta ei yleensä kerrota ensin laajalle yleisöllä; sitä varten tehdään lehdistötiedote tai joku populaarijuttu.”
TT: ”Avoimuuden edistämisen näkökulmasta tässä on se ongelma, että tällä hetkellä ihmiset tasapainoilevat sen välillä, onko lehti avoin vai onko se tunnettu. Ja ainakaan nykyisin ne eivät ole sama asia.”
PE: ”Se on melkein joko-tai.”
TT: ”Niin. Ja se tarkoittaa, että koska meritoituminen omassa tutkijayhteisössä painaa niin paljon enemmän, on suuri ero julkaista Naturessa tai Applied Geographyssä. Kunnioitus on toisenlainen, vaikka Applied Geography saavuttaisi ne kollegat, jotka haluaisi saavuttaa. Se, että avoimuutta ei nosteta meriitiksi, ohjaa edelleen julkaisemaan korkean impaktin sarjoissa. Lehdethän kilpailevat hyvistä julkaisuista, niistä, joita luetaan ja joihin viitataan. Ja nyt, ihan vain impaktifaktorin tai JUFO-luokituksen takia, maksulliset lehdet saavat jatkuvasti enemmän kiinnostavia juttuja. Se ruokkii vanhaa rakennetta. Meritoitumisen tarve yksilö- tai yliopistotasolla, luokitusten käyttö ja avoimuuden huomiotta jättäminen meritoitumisessa ajavat meitä julkaisemaan niissä sarjoissa, joissa on ennenkin julkaistu. Silloin avoimet sarjat eivät pääse kehittymään. Esimerkiksi Elsevierin sopimus tukee maksullisia, suljettuja sarjoja, koska parhaita julkaisuja pusketaan nimenomaan niihin. Se on vähän hankala tilanne muutoksen kannalta. Avointen lehtien tasoa voidaan nostaa julkaisemalla niissä korkeatasoisia juttuja. Jos ne ovat aina b-luokkaa, avoimiin sarjoihin päätyvät ne jutut, jotka muualla eivät ole menneet läpi.”
PE: ”Mutta kyllä meidän ensisijainen strategia täytyy olla se, että yritämme saada näitä nykyisiä korkean impaktin lehtiä avoimiksi neuvottelemalla riittävän korkealla tasolla.”
TT: ”Toteutuessaan se olisi optimaalisin tilanne.”
PE: ”En olisi hirveän toiveikas sen suhteen, että nykyisten avoimien sarjojen tasoa saataisiin jollain systemaattisella toiminnalla nostettua. Tai jos saadaan, siinä on luultavasti jotain manipulaatiota takana.”
Tutkimuksen arvioinnista ja arvosta
Keskustelun päätteeksi pureudutaan vielä tutkimuksen arvioinnin teemaan, joka on hyvin ajankohtainen: Helsingin yliopistossa tehdään parhaillaan tutkimuksen arviointia, joka valmistuu syksyyn 2019 mennessä (ks. rehtorin päätös). Tutkimuksen arvioinnin kohdalla käydään jatkuvaa keskustelua siitä, mikä on asianmukainen tapa tuottaa arviointitietoa tutkimuksesta ja mikä on esimerkiksi laadullisten (vertaisarvioinnin) ja määrällisten mittarien (bibliometriikan) suhde. Arvioinnin ruotiminen johdattaa Eerolan ja Toivosen pohtimaan lopuksi myös tutkimuksen arvoa, sitä, jota arvioinneissakin koetetaan lopulta määritellä.
PE: ”Juuri luin, että julkaisujen määrä kasvaa räjähdysmäisesti – onko mitään järkeä julkaista niin paljon tieteellisiä artikkeleita?”
TT: ”Ja onko tieteellinen artikkeli paras tieteellisen keskustelun muoto? Se on asia, joka minua askarruttaa, koska se prosessi on niin hidas ja maailma muuttuu niin nopeasti.”
PE: ”Siitä on tullut helppo mittari moneen asiaan, yliopistojen rahoitusmallia myöten. Ymmärrän, että ollaan haluttu mennä kvantitatiiviseen arviointiin. Mutta parhaillaan teemme tutkimuksen arviointia, jossa katsomme asioiden sisältöä. Meillä on asiantuntijapaneelit sisäistä arviointia varten. Meillä on kaikenlaista bibliometristä dataa siinä tukena, mutta siinä katsotaan nimenomaan toiminnan sisältöä.”
TT: ”Mutta vietävän vaikeata laatua on arvioida! Istun meidän osaston ryhmässä, jossa tätä tehdään. Bibliometriset mittarit ovat helppoja. Kun kysytään tutkimuksen vaikuttavuutta, käymme jatkuvasti keskustelua, millä sitä arvioidaan. Yleisnäkemys on se, että lukuja on saatava pöytään. Kun voimme sanoa, että ”kolmetoista lausuntoa eduskuntaan”, sillä on arvoa. Jos kokee, että tutkimuksella on ollut mielipiteitä laajasti muuttava vaikutus, sitä ei pysty kauhean uskottavasti kuvaamaan, kun tietää, miten mittaripohjaista keskustelu on. Tämä pätee jopa yksittäisten tutkijoiden arvioinneissa: Vaikka sanotaan, ettei impaktifaktoreita, JUFO-luokituksia ja muita saisi käyttää yksittäisiä tutkijoita verratttaessa, niin kyllähän useimmat niitä käyttävät. Juuri luin dosenttiarvioita, ja huomasin, miten sisäänrakennettuja nämä ovat. Kun hakijan tutkimuksen laatua arvioitiin, sanottiin, että hän on julkaissut alan korkeimmissa sarjoissa. Eli tavallaan sen sarjan kautta arvioidaan yksittäisten töiden laatua. Se on kaikille arvioijille helppo mittari. Ei ole yksinkertaista löytää numeerisia mittareita, joilla vaikuttavuutta ja tutkimuksen laatua ihan oikeasti voidaan arvioida. Ja silti se on tarpeellista.”
PE: ”Isossa-Britanniassa tehdään säännöllisesti kansallisia tutkimusten arviointeja. Seuraavaksi on tulossa REF 2021 (Research Excellence Framework), jossa olen itse mukana yhdessä ohjausryhmistä. Ohjausryhmässä emme itse tee arviointia, vaan määritämme prosessin raamit. Siellä on mielenkiintoisesti mukana tämä vaikuttavuus. Ohjausryhmässä ei ole vain professoreita ja yliopiston johtoa, vaan myös tutkimuksen käyttäjiä. Meillä tällainen ei ole noussut esiin. Meillä on strategisen tutkimuksen neuvosto Suomen Akatemiassa, ja siinä ajatuksena on se, että tutkimuksen käyttäjät, kuten päättäjät, on huomioitu. Tutkimuksen käyttäjät avaavat uuden näkökulman tutkimuksen vaikuttavuuteen ja hyödyllisyyteen.”
TT: ”Uskon, että asioita täytyy mitata, ettei niitä päätetä saunassa kavereiden hyväksi. Vaikuttavuuden arvioinnista on tämä klassinen esimerkki islamin tutkija Jaakko Hämeen-Anttilasta, joka teki perustutkimusta omassa rauhassa välittämättä yhtään sen käytettävyydestä. Sitten tilanne yhteiskunnassa muuttui WTC-tornien iskun myötä, ja yhtäkkiä hänestä tuli kysytty asiantuntija julkisuuden keskusteluihin. Se, että ennakoisimme ja pelaisimme sitä, että tästä tulee käytettävää tutkimusta, vie yliopiston uskottavuutta. Meiltä pitäisi löytyä sellaista laajaa asiantuntemusta, vaikka sillä ei suoraa käyttöä heti olisikaan.”
PE: ”Ilman muuta. Tutkimusta ei voi arvottaa sillä tavalla. Tai sanotaan niin, että kaikki tutkimus on hyödyllistä jollain aikavälillä. Mutta emme vain tiedä sitä aikaväliä. Se voi olla vuosikymmen tai sata vuotta. Uskon, että kaikki tutkimus on hyödyllistä joskus, jos se on hyvää tutkimusta. Mutta se aikaväli voi olla pitkäkin.”
TT: ”Ja se edellyttää sitä, että tutkimus löytyy sitten, kun sen aika tulee. Eli että se on sillä tavalla tallennettu, arkistoitu ja avoin.”
PE: ”Ja että siitä on se tieteellinen julkaisu myös. Sehän on se, mikä säilyy sen tuhat vuotta.”
Helsingin yliopisto osallistuu kansainväliseen avoimen julkaisemisen ja avoimen tieteen teemaviikkoon, Open Access Weekiin, 22.–26. lokakuuta. Teemaviikon päätapahtuma järjestetään Tiedekulmassa keskiviikkona 24. lokakuuta klo 12–14. Viikon ohjelmaan voit tutustua täällä: Open Access Week 2018: Designing Equitable Foundations for Open Knowledge
