Kysely: miten JUFO-luokitus PITÄISI tehdä?

Ehdotin blogissani, että nykyisen asiantuntijapaneelin sijaan lehdet JUFO-luokituksen tasoille pitäisi valita äänestämällä. Keskustelussa on tullut esiin myös muita vaihtoehtoja. Miten mielestäsi lehtijaottelu olisi parasta tehdä? Kyselyä saa jakaa!

Vastaa kyselyyn täällä: http://goo.gl/forms/feQyjSvXhZ

Kyselyn tulos päivittyy alla olevaan kuvaan.

Valitaan lehdet JUFO-tasoille äänestämällä!

<EDIT 14.5.2016: Tein aiheesta kyselyn. Vastaa siihen täällä: http://goo.gl/forms/feQyjSvXhZ >

Koitin etsiä sopivaa journaalia artikkelikäsikirjoituksellemme. Päädyin kaivelemaan tiedelehtien JUFO-listaa, jota en ollut muutamaan vuoteen seurannut. Tämä lista on tärkeä, sillä sitä käytetään hyväksi OKM:n rahoitusmallissa: listan perusteella korkeatasoisemmaksi tieteenalalla arvioidussa lehdessä julkaisemisesta maksetaan enemmän rahaa. Tutkijoiden kuulee ainakin sosiologian alalla manaavan luokittelua useinkin. Olin silti järkyttynyt. Vaikka oma käsitykseni on, että tunnen sosiaalitieteiden julkaisukentän hyvin aikaisempien ja nykyisten tehtävieni (1, 2) perusteella, en ollut koskaan törmännyt useisiin korkeimman 3-tason lehdistä. Osan tälle tasolle päätyneistä lehtistä tiesin entuudestaan heikkotasoisiksi.

Kaivoin muutaman itselleni tuntemattoman kolmostason lehden vaikuttavuusluvun (impact factor, IF). Tämä vahvisti epäilyni. Kun lehden IF on 0,096 (Journal of Womens History) tai edes 0,2 (Representations), ei kukaan voi vakavissaan väittää kyseisen lehden olevan minkään sosiaalitieteiden alan kärkilehti vuonna 2016.

Pyysin tutkimusavustajaamme keräämään ensin kaikkien 3- ja 2-tason  sosiologian sekä sosiaali- ja yhteiskuntapolitiikan alan lehtien IF:t (aloina päällekkäiset ja yhteinen arviointipaneeli, joka kattaa JUFOssa paitsi sosiologian, myös väestötieteen, naistutkimuksen ja sukupuolitutkimuksen, nuorisotutkimuksen, sosiaalipsykologian, yhteiskunta- ja sosiaalipolitiikan sekä sosiaalityön). Ajatuksena oli, että koska erityisesti tasolle 3 otettavien lehtien määrä on tiukasti rajattu, pitäisi tasoerojen näiden välillä olla selvät. Mielekkään vertailun mahdollistamiseksi lisäsimme vertailutiedot lähialan valtio-opin vastaavan lehtilistan IF:t.

Data löytyy oheisen linkin alta (csv). Sosiologian/sosiaalipolitiikan IF:n ja lehden JUFO-tason korrelaatio on 0,23 luokkaa. IF selittää vain 5,5% kahden korkeimman JUFO-tason välisestä vaihtelusta. Toisin sanoen – lehtien vaikuttavuus ei juuri yhteydessä siihen, onko lehti päätynyt JUFO3 vai JUFO2-tasolle. Valtio-opin korrelaatio on sentään 0,33 (ja selitysaste 12,8%), mutta kuten alla olevasta kuviosta selviää, ero ei ole tilastollisesti merkitsevä. Analyysiin ei ole sisällytetty kotimaisia ja muita lehtiä, joille ei ole ollut mahdollista laskea vaikuttavuuslukua.

sosvalt

Kuvion tärkein “pihvi” löytyy sen vasemmasta alareunasta; jopa täysin ei-vaikuttavien lehtien on suhteellisen suuri mahdollisuus päätyä korkeimmalle JUFO-tasolle kummallakin alalla (verrattuna JUFO2-tasolle päätymiseen). Sosiologiassa todennäköisyys on jopa viidenneksen luokkaa. Kaiken järjen mukaan tämän ei pitäisi olla mahdollista lainkaan, eli todennäköisyyden ei pitäisi tuossa kohtaa jakaumaa poiketa nollasta tilastollisesti merkitsevällä tavalla. Sosiologiassa vasta yli 2 IF:n lehtien todennäköisyys päätyä korkeimmalle tasolle alkaa poiketa tilastollisesti merkitsevästi hypoteettisen nollan IF:n lehden todennäköisyydestä.

Miten tähän on päädytty? Kaikkien lehtien joukosta 2- ja 3-tasoille lehdet valitsee tiedeyhteisön itse valitsema asiantuntijapaneeli. Tunnen monet sosiaalitieteiden paneelin jäsenistä, eikä heidän kohdallaan asiantuntijuuden pitäisi olla ongelma.

Asiantuntijatoimikuntaan nojaava järjestelmä JUFO-luokittelun muodostamiseksi ei mitä ilmeisimmin toimi. Tarvitaan siis vaihtoehtoinen tapa. Mitä vaihtoehtoja on olemassa?

Ensimmäiseksi tulee mieleen käyttää vaikuttavuuslukuja suoraan. Tämä toimii mielestäni hyvin vaikkapa ISI Web of Sciencen tai Googlen sosiologian alan lehdiksi lukemien journaalien joukossa. Ongelma tässä on se, että IF ei ole vertailukelpoinen tieteenanalojen välillä.  Vaikka sosiaalitieteiden tutkimusalaryhmä on suhteellisen yhtenäinen, poikkitieteelliset erityisalalehdet, jotka sijoittuvat vaikkapa terveystieteiden ja sosiologian välimaastoon, sijoittuisivat automaattisesti JUFO3-tasolle, vaikkei niitä voi mitenkään pitää tutkimusalan kannalta keskeisinä (esim. “Tobacco Control”, IF 5,2).  Sosiaalitieteiden ja psykologian välimaastoon sijoittuvat sosiaalipsykologian lehdet päätyisivät samasta syystä ylipäätänsä todennäköisimmin kolmostasolle. Lisäksi kotimaiset lehdet, joille kukaan ei ole laskenut vertailukelpoista vaikuttavuuslukuja, jäisivät kokonaan pois listalta. Tämä olisi valitettavaa. Suomenkielistä tieteellistä julkaisemista pitää tukea ja JUFO on mainio keino siihen.

Moni ongelma ratkeaisi sillä, että alan tutkijat yksinkertaisesti äänestävät parhaaksi katsomansa lehdet. Tämä antaisi kaikille alan tutkijoille samanlaisen mahdollisuuden kotiinpäin vetämiseen. Ongelmana suorassa äänestyksessä on se, että esimerkiksi American Sociological Review, joka IF:n perusteella on pitkään ollut alan kärkilehti, saattaisi tippua kokonaan JUFO3-ryhmän lehtien joukosta: kukaan suomalainen ei ole koskaan julkaissut lehdessä (yritetty on!).

Kolmas tapa olisi jonkinlainen yhdistelmä kahden edellisen väliltä. Sen mukaan alan tutkijat äänestäisivät tieteenalan kannalta tärkeimmät lehdet (esim. 20 tärkeimpänä pitämäänsä) ja näiden sisällä jaottelu tehtäisiin yksinkertaisesti vaikuttavuuden perusteella. Tärkeimpien listalle päässeet kotimaiset lehdet voitaisiin suoraan ottaa nykyiseen tapaan JUFO2-tasolle.