<EDIT 14.5.2016: Tein aiheesta kyselyn. Vastaa siihen täällä: http://goo.gl/forms/feQyjSvXhZ >
Koitin etsiä sopivaa journaalia artikkelikäsikirjoituksellemme. Päädyin kaivelemaan tiedelehtien JUFO-listaa, jota en ollut muutamaan vuoteen seurannut. Tämä lista on tärkeä, sillä sitä käytetään hyväksi OKM:n rahoitusmallissa: listan perusteella korkeatasoisemmaksi tieteenalalla arvioidussa lehdessä julkaisemisesta maksetaan enemmän rahaa. Tutkijoiden kuulee ainakin sosiologian alalla manaavan luokittelua useinkin. Olin silti järkyttynyt. Vaikka oma käsitykseni on, että tunnen sosiaalitieteiden julkaisukentän hyvin aikaisempien ja nykyisten tehtävieni (1, 2) perusteella, en ollut koskaan törmännyt useisiin korkeimman 3-tason lehdistä. Osan tälle tasolle päätyneistä lehtistä tiesin entuudestaan heikkotasoisiksi.
Kaivoin muutaman itselleni tuntemattoman kolmostason lehden vaikuttavuusluvun (impact factor, IF). Tämä vahvisti epäilyni. Kun lehden IF on 0,096 (Journal of Womens History) tai edes 0,2 (Representations), ei kukaan voi vakavissaan väittää kyseisen lehden olevan minkään sosiaalitieteiden alan kärkilehti vuonna 2016.
Pyysin tutkimusavustajaamme keräämään ensin kaikkien 3- ja 2-tason sosiologian sekä sosiaali- ja yhteiskuntapolitiikan alan lehtien IF:t (aloina päällekkäiset ja yhteinen arviointipaneeli, joka kattaa JUFOssa paitsi sosiologian, myös väestötieteen, naistutkimuksen ja sukupuolitutkimuksen, nuorisotutkimuksen, sosiaalipsykologian, yhteiskunta- ja sosiaalipolitiikan sekä sosiaalityön). Ajatuksena oli, että koska erityisesti tasolle 3 otettavien lehtien määrä on tiukasti rajattu, pitäisi tasoerojen näiden välillä olla selvät. Mielekkään vertailun mahdollistamiseksi lisäsimme vertailutiedot lähialan valtio-opin vastaavan lehtilistan IF:t.
Data löytyy oheisen linkin alta (csv). Sosiologian/sosiaalipolitiikan IF:n ja lehden JUFO-tason korrelaatio on 0,23 luokkaa. IF selittää vain 5,5% kahden korkeimman JUFO-tason välisestä vaihtelusta. Toisin sanoen – lehtien vaikuttavuus ei juuri yhteydessä siihen, onko lehti päätynyt JUFO3 vai JUFO2-tasolle. Valtio-opin korrelaatio on sentään 0,33 (ja selitysaste 12,8%), mutta kuten alla olevasta kuviosta selviää, ero ei ole tilastollisesti merkitsevä. Analyysiin ei ole sisällytetty kotimaisia ja muita lehtiä, joille ei ole ollut mahdollista laskea vaikuttavuuslukua.
Kuvion tärkein “pihvi” löytyy sen vasemmasta alareunasta; jopa täysin ei-vaikuttavien lehtien on suhteellisen suuri mahdollisuus päätyä korkeimmalle JUFO-tasolle kummallakin alalla (verrattuna JUFO2-tasolle päätymiseen). Sosiologiassa todennäköisyys on jopa viidenneksen luokkaa. Kaiken järjen mukaan tämän ei pitäisi olla mahdollista lainkaan, eli todennäköisyyden ei pitäisi tuossa kohtaa jakaumaa poiketa nollasta tilastollisesti merkitsevällä tavalla. Sosiologiassa vasta yli 2 IF:n lehtien todennäköisyys päätyä korkeimmalle tasolle alkaa poiketa tilastollisesti merkitsevästi hypoteettisen nollan IF:n lehden todennäköisyydestä.
Miten tähän on päädytty? Kaikkien lehtien joukosta 2- ja 3-tasoille lehdet valitsee tiedeyhteisön itse valitsema asiantuntijapaneeli. Tunnen monet sosiaalitieteiden paneelin jäsenistä, eikä heidän kohdallaan asiantuntijuuden pitäisi olla ongelma.
Asiantuntijatoimikuntaan nojaava järjestelmä JUFO-luokittelun muodostamiseksi ei mitä ilmeisimmin toimi. Tarvitaan siis vaihtoehtoinen tapa. Mitä vaihtoehtoja on olemassa?
Ensimmäiseksi tulee mieleen käyttää vaikuttavuuslukuja suoraan. Tämä toimii mielestäni hyvin vaikkapa ISI Web of Sciencen tai Googlen sosiologian alan lehdiksi lukemien journaalien joukossa. Ongelma tässä on se, että IF ei ole vertailukelpoinen tieteenanalojen välillä. Vaikka sosiaalitieteiden tutkimusalaryhmä on suhteellisen yhtenäinen, poikkitieteelliset erityisalalehdet, jotka sijoittuvat vaikkapa terveystieteiden ja sosiologian välimaastoon, sijoittuisivat automaattisesti JUFO3-tasolle, vaikkei niitä voi mitenkään pitää tutkimusalan kannalta keskeisinä (esim. “Tobacco Control”, IF 5,2). Sosiaalitieteiden ja psykologian välimaastoon sijoittuvat sosiaalipsykologian lehdet päätyisivät samasta syystä ylipäätänsä todennäköisimmin kolmostasolle. Lisäksi kotimaiset lehdet, joille kukaan ei ole laskenut vertailukelpoista vaikuttavuuslukuja, jäisivät kokonaan pois listalta. Tämä olisi valitettavaa. Suomenkielistä tieteellistä julkaisemista pitää tukea ja JUFO on mainio keino siihen.
Moni ongelma ratkeaisi sillä, että alan tutkijat yksinkertaisesti äänestävät parhaaksi katsomansa lehdet. Tämä antaisi kaikille alan tutkijoille samanlaisen mahdollisuuden kotiinpäin vetämiseen. Ongelmana suorassa äänestyksessä on se, että esimerkiksi American Sociological Review, joka IF:n perusteella on pitkään ollut alan kärkilehti, saattaisi tippua kokonaan JUFO3-ryhmän lehtien joukosta: kukaan suomalainen ei ole koskaan julkaissut lehdessä (yritetty on!).
Kolmas tapa olisi jonkinlainen yhdistelmä kahden edellisen väliltä. Sen mukaan alan tutkijat äänestäisivät tieteenalan kannalta tärkeimmät lehdet (esim. 20 tärkeimpänä pitämäänsä) ja näiden sisällä jaottelu tehtäisiin yksinkertaisesti vaikuttavuuden perusteella. Tärkeimpien listalle päässeet kotimaiset lehdet voitaisiin suoraan ottaa nykyiseen tapaan JUFO2-tasolle.
Jani Erola 
Yksi yleisimmistä Julkaisufoorumille lähetetyistä kysymyksistä on, miksei JUFO-luokitus noudata impaktilukujen (JIF) mukaista paremmuusjärjestystä? Vastauksen voi käydä lukemassa Julkaisufoorumin verkkosivulta: http://www.julkaisufoorumi.fi/fi/arvioinnit/usein-kysyttya. Toivottavasti Jani Erolan kirjoitus herättää keskustelua siitä, mikä painoarvo ihmistieteiden paneelien tulisi antaa viittauksiin perustuville vaikuttavuuskertoimille lehtien luokittelussa. Tämä riippuu tärkeimpien viittaustietokantojen, Web of Sciencen ja Scopuksen, kattavuudesta. Ihmistieteistä lähinnä psykologiassa ja taloustieteessä kattavuus on kohtalainen. Useimpien yhteiskuntatieteiden ja etenkin humanististen tieteiden osalta ongelmaksi muodostuu, että alle puolet tutkimuksesta julkaistaan tieteellisissä lehdissä, ja että näiden alojen vertaisarvioiduista lehdistäkin tietokannat kattavat vain osan. Näin ollen esimerkiksi Journal Impact Factor ei kerro mitään siitä viittausvaikuttavuudesta, joka näiden alojen lehdillä on indeksoinnin ulkopuolelle jäävissä tieteellisissä kirjoissa ja lehdissä. Indeksoinnin ulkopuolelle jää erityisesti kansallisia tieteellisiä lehtiä, sekä kansainvälisiä muun kuin englanninkielisiä lehtiä, joilla on tärkeä merkitys suuressa osassa ihmistieteitä. Voidaanko siis Journal Impact Factorin perusteella pelkästään päätellä, että Journal of Womens History ja Representations ovat ”täysin ei-vaikuttavia”. Ainakin asiantuntijapaneeleilla 23 ja 22, jotka kyseiset lehdet ovat arvioineet, on ollut asiasta erilainen käsitys. Kirjoituksessa todetaan asianmukaisesti että JIF ei ole vertailukelpoinen eri alojen välillä, ja tuodaan esiin ongelmat, joita voisi liittyä vaikuttavuuskertoimien mekaaniseen käyttöön tai huutoäänestykseen. Kirjoituksessa esitetty kolmas vaihtoehto vastaa lähinnä niitä suunnitelmia, joita Julkaisufoorumilla on arvioinnin kehittämiseksi. Tiedeyhteisön osallistumis- ja vaikuttamismahdollisuuksia Julkaisufoorumin toimintaan parannetaan avaamalla tutkijoille pääsy Hakakäyttäjätunnistuksella paneelien käyttöön valmistetulle arviointisivustolle. Sivustolla voidaan tehdä normaalit julkaisukanavahaut, lisäys- ja tasomuutosehdotukset, omia tieteenaloittaisia julkaisukanavalistauksia sekä määrittää oman tutkimusalan näkökulmasta keskeiset ja arvostetuimmat foorumit. Tarkoitus on saada paneelin arviointityön tueksi entistä laajemmin tietoa julkaisukanavien arvostuksesta tiedeyhteisössä. Näistä suunnitelmista voi toistaiseksi lukea ohjausryhmän pöytäkirjoista: http://www.julkaisufoorumi.fi/sites/julkaisufoorumi.fi/files/jufo_or_19052015_pk.pdf http://www.julkaisufoorumi.fi/sites/julkaisufoorumi.fi/files/jufo_or_02032016_pk.pdf
Janne Pölönen, Julkaisufoorumi/TSV
Kiitos kommentista!
Kaksi asiaa tulee mieleen. Ensinnäkin, vaikuttavuustutkimuksien mukaan IF kertoo yhteiskuntatieteissä ja etenkin humanistisilla aloilla VÄHEMMÄN kokonaisvaikuttavuudesta kuin vaikkapa psykologiassa. Tästä on pitkä matka siihen, ettei IF kertoisi tästä havaitsematta jäävästä vaikuttavuudesta mitään. Näin olisi, jos lehti-IF ei korreloisi lainkaan havaitsematta jäävän vaikuttavuuden kanssa.
Toiseksi nuo esille nostamani kaksi esimerkkilehteä: ne ovat JUFO:n oman järjestelmän mukaan myös sosiaalitieteiden 3-tason lehtiä. Ja uskallan väittää, että jos ns. ”kansainvälisen” lehden IF on 0,096, ei sitä voi pitää sosiaalitieteiden alan kärkilehtenä. Se, että nuo löytyvät myös sosiaalitieteiden listalta, kertoo juuri asiantuntijajärjestelmän toimimattomuudesta. Tämä on lisäperuste sen korvaamiseksi äänestämällä.
Arvostusäänestysten lisääminen JUFO-järjestelmään olisi ehdottomasta tervetullut muutos parempaan suuntaan. Sellainen voidaan toteuttaa nopeasti jo nyt. Kysymys kuuluu mihin asiantuntijaraatia tarvitaan sen jälkeen?
Kriittisen JIF-vertailun kannalta on pidetty merkittävänä, että Julkaisufoorumi on määrittänyt Journal of Womens Historyn ja Representations sosiaalitieteiden lehdiksi. On muistettava, että Julkaisufoorumin hakusivulla oleva OKM-luokitus ei pyri määrittämään absoluuttista totuutta kanavan tieteenalasta, vaan on ainoastaan apuväline julkaisukanavien tieteenaloittaiseen selailuun. Tällä tieteenalaluokituksella ei ole mainittavaa merkitystä julkaisukanavan tasoluokasta päätettäessä. Kuten hakusivun ohjetekstistä käy ilmi, OKM-luokitusta vastaavat tieteenalat on hakusivua varten määritetty pääasiassa hyödyntäen ERIH:n, Norjan, Tanskan, Scopuksen ja WoS:n tieteenalaluokituksia. Näissä tietolähteissä Journal of Womens Historyn tieteenaloiksi on määritetty historia ja/tai sukupuolentutkimus. Representations-lehden tieteenaloja puolestaan ovat kulttuurintutkimus, sukupuolentutkimus, historia, taidehistoria, kirjallisuus. Koska sukupuolentutkimus kuuluu sosiaalitieteisiin, on kyseisten lehtien tieteenalaksi hakusivulla määritetty myös sosiologia. Hakusivun tieteenalaluokittelussa on toki vielä paljon parannettavaakin.
Tasoluokkaa koskevan arvioinnin kannalta tärkeämpää on, että Julkaisufoorumissa lehdet pyritään sijoittamaan paneeliin, jossa on kanavassa pääasiassa julkaistavaan tutkimukseen nähden paras asiantuntemus. Journal of Womens History on arvioitu, kuten jo aiemmin totesin, paneelissa 23 Historia, arkeologia ja kulttuurien tutkimus ja Representations paneelissa 22 Kirjallisuus, taiteen tutkimus ja arkkitehtuuri. Harkitusti ja asiantuntevasti käytettynä JIF tai muut vaikuttavuuskertoimet voivat osoittaa lehtien välisiä eroja tietyn tutkimusalan sisäisessä tarkastelussa, jos taustalla oleva viittaustietokanta kattaa riittävän hyvin alan julkaisutoiminnan. JIF-indikaattorin mekaaninen käyttö johtaa harhaan, etenkin jos vertaillaan erikokoisten ja erilaista julkaisukulttuuria edustavien tutkimusajojen lehtiä keskenään. Julkaisufoorumin asiantuntijapaneeleilla on ollut käytössään erilaisia vaikuttavuuskertoimia (JIF, SNIP, SJR), sekä Norjan ja Tanskan vastaavien paneeliarviointien luokitustiedot. Tämän datan on tarkoitus auttaa paneeleita arvioimaan kanavien kansainvälistä arvostusta. Paneelien asiantuntemukseen kuuluu myös tietää eri indikaattorien käyttöön liittyvät rajoitteet ja se, mikä painoarvo indikaattoreille voidaan antaa niiden vastuualueelle kuuluvien lehtien arvioinnissa.
Kävin Janin kirjoituksen jälkeen JUFO:n kotisivuilla ja huomioni kiinnittyi siihen, että kaikki paneelit koostuvat sataprosenttisesti kotimaisista, suomalaisissa korkeakouluissa tai tutkimuslaitoksissa toimivista asiantuntijoista. Tämä ei tunnu olevan kovin nykyaikaa. Käytäntöä voidaan osittain perustella toiveella pitää kotimaisia lehtiä mukana JUFO:n listoilla. Tästä huolimatta kansainvälisten asiantuntijoiden totaalinen poissaolo hämmästyttää. Tässä on mielestäni ainakin kaksi potentiaalista ongelmaa. Ensiksi, kotimaisten tutkijoiden näkemykset eri julkaisukanavien merkittävyydestä saattavat syystä tai toisesta poiketa ulkomaisten kollegoiden käsityksistä. Toiseksi, edelliseen liittyen, kotimaisisten tutkijoiden intressinä voi olla kohottaa kärkilehtien joukkoon niitä lehtiä, joissa suomalaiset tutkijat useammin julkaisevat omia tutkimuksiaan. Koska korkeakoulujen rahoitus määräytyy osittain julkaisujen perusteella, on JUFO:n luokituksilla taloudellista merkitystä. Koulutus- ja tutkimusmäärärahojen leikkaukset sekä JUFO-luokkien painokerrointen muutokset lisännevät luokitusten merkitystä entisestään.
JUFO-luokituksen yhtenä tarkoituksena lienee mahdollisimman korkeatasoisen ja tieteellisesti vaikuttavan julkaisemisen kannustaminen. Sikäli kuin edellämainitsemani huolet puhtaasti kotimaisten paneelien vaikutuksesta pitävät paikkaansa, saattaa JUFO:n luokitus pahimmillaan ohjata julkaisemaan lehdissä ja sarjoissa, jotka ovat paneelien korkeatasoiseksi luokittelemia, mutta joita ei Suomen ulkopuolella pidetä tähän kastiin kuuluvina. Tällöin julkaisuluokitus toimii omien tarkoitustensa vastaisesti. Tästä on mielestäni viitteitä ainakin oman alani, eli sosiologian lehdissä. Kolmosluokkaan kuuluu lehtiä, joita useimmissa muissa maissa pidettäisiin luultavasti keskikastin lehtinä, kun taas kakkosluokkasta löytyy lehtiä, joita kansainvälisesti pidettäneen kärkikastin lehtinä, ja niin edespäin.
En usko, että lehtien luokituksista äänestäminen (suomalaisten tutkijoiden parissa) auttaisi asiaa, pahimmillaan intressiristiriidat voisivat vain kärjistyä. Parempi ratkaisu olisi täydentää paneeleja ulkomaisilla asiantuntijoilla. Tutkimuksen kansainvälisyyttä painotetaan, hyvistä syistä, yhä enemmän. Julkaisukanavien arviointi puhtaasti kotimaisin voimin tuntuu tästäkin syystä menneeltä maailmalta.
Juho Härkönen, Tukholman yliopisto & Turun yliopisto
En usko että tuo vaikuttaisi lopputulokseen positiivisella tavalla. Kysehän ei ole siitä, etteikö asiantutijapaneelin jäsenillä nytkin olisi osaamista lehtien järjestämiseen. Kyllä myös ulkomaalaisilla asiantuntijoilla on oma tiedepoliittinen agendansa. Tästä syystä paras vaihtoehto on etsiä objektiivisempia kriteereitä.