Vinkukitinä

CIMG1523_shibuya.jpgVoi itku.

Tuli taas reviewattavaksi artikkeli, ja tyypiltä jonka tunnen ja joka tekee hyvää työtä, ja jonka data on hyvin mitattua ja analysoita ja artikkelin kuvat on melko hyvin tehtyjä – mutta se on kirjoitettu aivan tuskaisen huonosti! En ole vielä päässyt metodeista eteenpäin ja on jo kolmatta sivua huomautuksia huolimattomasta kielenkäytöstä – siis sellaisesta, jonka takia ei voi olla ihan varma että mitä ne on tehneet ja miksi. Siis jos ei tuntisi asiaa ja osaisi arvata. Eikä edes kannata lähteä luettelemaan kirjoitus – ja kielivirheitä…

Mähän olen tässä jo jonkun aikaa haaveillut että jospa tulis reviewattavaksi vihdoinkin joku sellanen manuskripti jolla ois edes jotain mahiksia tulla julkaistuksi jossain eikä niitä minkä kanssa lähinnä pohtii että miten sanoa nätisti että tää on niin huono etten jaksa lukea. No, ehkä tää on askel parempaan suuntaan; juttu on hyvä mut sen lukeminen on silti tuskaa, joka ainoan lauseen kanssa saa lukea kolmeen kertaan ennenkuin tajuaa mitä ne sanoo.

Tämän nimenomaisen reviewaus-nakin kanssa tulee hyvin reviewatttua kaikkia näitä suureellisia ja idealistisia ajatuksia, mitä nyt on tullut julistaneeksi avoimesta tieteestä ja sillai. Tulee tarkistettua, että montako asiaa tässä nykyisessä systeemissä on pielessä.

CIMG1522_shibuya.jpg Sattuu olemaan niin, että kyseisen manuskriptin pääauthori on ihminen, jonka tunnen, jonka kanssa olen jutellut pidempään kuin viisi minuuttia, josta pidän sekä ihmisenä että tutkijakolleegana. Toisaalta, tiedän, että sillä on ollut ns. Vaikeaa uransa kanssa, rahoitus (eurooppalaiseen tapaan) on ollut kiven alla, ja kyseinen tutkija on vuosikausia puskenut lähes yksin aiheensa kanssa. Alle minuutin mittainen taustatietojen tarkastelu (ilman nettiä) viittaa siihen, että toinen kyseisen artikkelin tutkijoista on vielä siirtynyt muihin tehtäviin; dataa on esitetty "in preliminary form" postereissa vuosina 2001 ja 2004, eli arvatenkin kyseessä on jonkun ei-niin-menestyksekäs väikkäriprojekti jonka kolleegani (kutsuttakoon häntä vaikka Robiniksi) on nyt sitten itse kasannut pöytälaatikon datoista.

Manuskriptissa itsessään on viitteitä siitä, että juttu on lähetetty aikaisemmin jo jonnekin, saatu sieltä tyrmäävät arvostelut, joihin on sit yritetty post-hoc vastata ja lähettää juttu julkaisuhierarkiassa seuraavaan kohteeseen. Löytyy esimerkiksi päälleliimattu lause, jossa viitataan siihen mun juttuuni, ja tavallaan Robin on ehkä tehnyt jotain kokeita saadakseen juttunsa sopimaan "suureen skeemaan". Edelliset refereet selkeästi oli kitisseet että kun lähetetään tällaiseen korkealaatuiseen julkaisuun niin tulosten pitäisi lisätä merkittävästi ymmärtämystämme aivojen toiminnasta – ja Robin on vastannut lisäämällä diskussioon useita jonninjoutavia kappaleita kyseisen aivoalueen kriittisestä merkittävyydestä eläimen toiminnalle.

Kaiken lisäksi, koska tulokset on tavallaan "outoja" ja efektin näyttämisen jouduttiin käyttämään fysiologista kymmenen kilon hienosäätölekaa, Robin käyttää noin puolet kaikesta energiastaan puolustelemaan tutkimuksensa merkittävyyttä. Tämän seurauksena alun perin ihan positiivisesti suhtautunut lukijakin saattaa ruveta epäilemään notta onko tää ny mitenkään oleellista tai edes oikein tutkittua.

CIMG1832.jpgSattuu myös olemaan niin, että tutkimuskohde liippaa hyvinkin läheltä omiani – ja tämän takia mä näen, että varsinainen tutkimus, kokeet, analyysi ja kuvat on hyvin ja huolellisesti tehtyjä, sekä ymmärrän miksi ne on tehty ja miksi ne on oleellisia. Ja kaikesta sydämestäni toivoisin ja järjellä haluaisin että tutkimukset julkaistaisiin ja muuttuisivat osaksi yleistä tietoa. En siksi, että kyseessä on tuttu, tai koska tulokset jotenkin tukis omiani (ei varsinaisesti edes tee niin), vaan koska asia on tärkeä.

Mutta itku kun juttu on niin huonosti kirjoitettu!

Nythän siis pitäisi tehdä niin, että ottaisin maili-ikkunan kiltisti auki ja kirjoittaisin että "Parahin Robin, hienoa työtä, mut koe X pitäs toistaa myös eri ikäryhmässä, se ehkä unohtui? Ja, muuten, Stetson&Stetson 02, johon viittaat, ei varsinaisesti oikeasti tue tätä asiaa, ne sanoo et entsyymi Y liittyy MYÖS prosessiin Q eikä että se on yksinomaan Q-prosessin osa. Mun kokeissa toi aktiivisuus näyttää vähän erilaiselta, johtuneeko siitä että sä käytät eri leikkuria?" ja niin edelleen. Vaikken ny ihan noin läheisissä väleissä tyypin kanssa oikeasti ole.

Mut olis ylituttavallisuuskin parempaa kuin se, että käytän 2 päivää kirjoittaakseni virallisen vastineen editorille, jossa kerron että ehdottomasti tuen artikkelin julkaisua, mutta tässä on 10-sivuinen luettelo asioita jotka pitäis korjata, enkä ymmärrä miksi koe X puuttuu toisesta ikäryhmästä. Toinen referee mitä luultavammin kirjoittaa että "käsikirjoitus on niin täynnä epäjohdonmukaisuuksia ja virheitä, että tutkimuksen tason arviointi on mahdotonta" ja se siitä. Robin saa vastaukset, masentuu, tai reippaasti ryhtyy tekemään uusiksi koetta X (vaikka ehkä ei enää ole paikalla tyyppiä joka teki kokeet alunperin eli menee puoli vuotta siihen kun opetetaan joku uus tyyppi tekeen ne), ja joskus 2008 alussa lähettää jutun taas hierarkiassa seuraavaan paikkaan. Hyvässä lykyssä se on ulkona puolentoista vuoden päästä. Ellei joku muu onnistu saamaan aikaiseksi vastaavia tuloksia nopeammin ja täsmällisemmin raportoituna.

Ja tästä kaikesta ajan, rahan, hermojen, eläinten ja inspiraation tuhlauksesta maksaa veronmaksaja, ja tutkija kituuttaa apurahanpuolikkaalla ja kirjoittaa muistiinpanonsa tylsällä lyijykynällä kylmässä tutkijankammiossa. Vaikka se varsinainen tieto syntyi jo aikaa sitten kun tekivät ne n=5 koettaan.

CIMG1833.jpgPois se minusta, että täysin ja ehdottomasti haluaisin päästä peer-reviewistä eroon. Onhan se muinainen, jäykkä ja epätäydellinen systeemi, mutta viime vuosisadan loppuun asti se ehkä oli ainoa mahdollinen tapa pyrkiä edes jollain tapaa erottelemaan jyvät akanoista. Virheitä toki sattuu, mutta sellaista epä-triviaalia järjestelmää ei varmaan ole joka olisi täysin aukoton.

En myöskään usko, että jossain määrin nykyisenkaltaisesta artikkelijulkaisumuodostakaan tarvitsee varsineisesti päästä eroon; luulen, että on meillä 50 vuode
nkin päästä "lehtiä", joissa julkaistaan "artikkeleita", joissa on jollain tapaa sovittu rakenne ja joiden otsikkosivulle nimensä saaville kehittyy mainetta ja kunniaa.

Mutta sitä en enää usko, että joka ainut pieni lisähavainto pitää julkaista artikkelissa, ympäröidä se sivukaupalla muualta kopioitua pohdintaa homman merkityksellisyydestä (tiedättehän, varmaan jokainen GABAa-reseptoreita käsittelevä artikkeli alkaa "GABA is the main inhibitory transmitter in the brain" – lauseen jollain permutaatiolla).

Itse tein tässä maanantaina pari pientä pilottikoetta, kokeilin yhden aineen vaikutusta ilmiöön jota tutkin, ei ollut vaikutusta. Tuskin ikinä julkaisen tietoa; N:t on liian pieniä, eikä efektin puute varsinaisesti todista sinänsä mitään (sitäpaitsi kalastushypoteesini oletti reseptorin paikassa jossa sitä ei oppikirjan mukaan ole), eikä tästä ole edes miksikään viralliseksi "negatiiviseksi tulokseksi". Silti maailmassa on varmasti joku jossain joka käyttää aikaa, vaivaa, rahaa ja eläimiä kokeillakseen samaa, tai vähän eri tavalla, koska artikkelihaku asiaankuuluvin hakusanoin ei tuonut yhtään tulosta.

On se harmillista.

Avainsana, jota ehkä kannattaa seurata: Open Notebook Science. Kuuntelin podcastin luennosta, ja fiilis oli lähes kummitusmainen: tuntui kuin joku olis puhunut ihan suoraan mun ajatuksiani.

Kuvien pojat mainostaa DoCoMon kännyköitä; ylempi tyttö muistuttaa että passia ei saa hukata (ilmeisesti japanilaiset hukkaavat niitä ulkomaanmatkoillaan jotenkin tosi paljon), ja alempi halaa paikallista verokarhun vastiketta kun ehkä nyt voi tehdä veroilmoituksen netissä.

10 thoughts on “Vinkukitinä

  1. Miten, eikös teillä refereet anna ikinä mitään anonyymiä kommenttia artikkelista? Meilläpäin noita tulee. Kai Robinille voisi jonkun anonyymin rohkaisulauselman lähettää, koska noi jutut kuulostaa siltä että jos tyyppi ei vaan hötkyilisi vaan kirjoittaisi itse jutun rauhassa ja hyvin niin homma menisi hitosti paremmin.

  2. Japanilaisten passit ovat maailmalla haluttua saalista, niillä kun saa esim. Eurooppaan muilutettua kiinalaisia.
    Viimeksi Espanjassa käydessäni kaikilla piti olla passi koko ajan mukana jotta pääsi esim. asiakkaan toimitaloon sisälle. Kaikilla muilla siis paitsi japanilaisilla, jotka olivat saaneet erityisluvan kantaa mukanaan vain passin kopiota ihan tuo varastamisvaaran takia…

  3. Itse olen ainakin vaan kommentoinut kielen erikseen ja tieteen erikseen. Mikset voisi laittaa vain että koesarja X olisi mielestäsi syystä Y tehtävä uudestaan ja lisäksi kieli kaipaa revisiota. Editorihan on viimekädessä se, joka vastaa siitä mitä ja millaista kieltä lehteen painetaan, sinä vastaat kuitenkin tieteellisestä osaamisesta.
    Toinen referee tekee omat johtopäätöksensä itsenäisesti. J neuroscissä huvitti (ilmeisesti jo 2. kierroksella) kun toinen revari valitti että edellisiä korjauksia ei oltu tehty. Vastaus oli autoreilta vaan: “Yes we did”. Sillä rundilla keskityttiin sitten vain mun kysymyksiin, toka revari kommentoi lopulta että hyvin vastasivat myös niihin. Ota näistä sitten selvää…

  4. Hemi, nättei poikii tääl joo 🙂 Vielä kun kummallisen aikadilataation vuoksi ne saattaa olla jopa ihan sallitun ikäisiä…
    Anne: mitä tarkoitat anonyymilla kommentilla : että vois lähettää editorille sellaisen vapaamuotoisemman kirjeen missä vois sanoa jotain off-the-record? Totta, se mikä Robinilta puuttuu on tutkimusryhmä ympäriltään, suurin osa ongelmista olis varmasti havaittu jos olis ollut jotain keskustelua asiasta projektin ulkopuolisten henkilöiden kanssa.
    /mek, joo on ne varmaan halutumpaa kamaa kuin suomalaisten passit … 🙂 Jossain salilla telkassa ehkä oon nähny sellaisia “opetuskomedioita”, missä neuvotaan / nauretaan sille mitä tehdä jos passi hukkuu, ja niissä skenaarioissa se japanilainen turisti ulkomailla on kyllä ollut herttisen tietämätön siitä, että passi ois oikeesti tärkee esine.
    Jani: tässä kyseisessä tapauksessa oon kokonaan skipannut kaikki kielioppiasiat. Siis, “huolimattomalla kielenkäytöllä” tarkoitin tässä (tai ainakin tarkoitan nyt, kun artsu on loppuun asti haravoitu) sellaista, että tekstissä sanotaan että käytettiin ainetta X 100 uM, kuvateksti sanoo että 200 uM (samalla kun viitataan artikkeliin jossa sanotaan efektin konsentraatioriippuvuudesta kyseisellä rangella…), ja kuvassa puhutaan aineesta Y. Metodeissa sanotaan että ensin käytettiin mittausmenetelmää Q jotta selvitettiin perusparametrit joiden perusteella solut luokiteltiin ja sen jälkeen menetelmää P, mutta perusparametrejä ei ole esitelty ja metodien muista osista selviää, että P ja Q ei oo tehty samasta joukosta soluja. jne, jne… Nämä ongelmat siis varmasti johtuu siitä, että kokeet on tehty 6 vuoden aikana paloissa, mutta silti asiat pitäisi pystyä esittämään koherentisti.
    Tossa sun mainitsemassas esimerkissä authorit on ollu varmaan sitä mieltä, että toinen reviewari ei ollu lukenu uutta manuskriptia 🙂 sitäkin sattuu.
    Loppujen lopuksi, täähän on arpapeliä. Kenelle juttu menee, jaksaako se tai sen minion lukea sen, onko editorilla miten kiire. Itte meinaan lähettää ton reviewin sillai, et voimakkaasti tuemme julkaisua, kunhan authorit vastaavat näihin 10 sivuun huomautuksia. Ehkä sil on tsänssi:)

  5. Jostain lehdestä luin, että vain noin 20% paikallisista edes omistaisi passin; loput ei ole ikinä käynyt maan ulkopuolella joten on hyvin mahdollista että se passi on outo asia.
    Mutta kun kesällä Helsingin tai minkä muun eurooppalaisen kaupungin katukuvaa katselee niin nuo 20% ei varmaan koskaan ehdi takaisin kotiinsa…

  6. No siis, meikäläisissä papereissa tekijät usein kiittelee “anonyymiä refereetä arvokkaista kommenteista”. En sit tiedä miten toi oikeasti menee, ihan vielä – ekan paperin dedis tässä lähestyy. 🙂

  7. Anne, mä en nyt ihan oo varma puhutaanko me samasta asiasta, mutta mä kuvittelen että ne viittaa ihan näihin normaaleihin review-kommentteihin… siis, nää mitä mä tässä kirjoitan menee editorille, joka lähettää ne tekijöille riippumatta siitä, julkaistaanko juttu vai ei, ainoastaan mun nimi tippuu matkasta… Yleensä refereiden kommentit on varsin kullanarvoisia, ja niihin vastaamalla paperi vaan entisestään paranee.
    Meillä ei kyl kovin usein julkisesti anonyymirefereetä kiitellä… 😉

  8. Okei, eli metodologia on siis kuvattu ristiriitaisesti. Vaikka onkin pitkä aika kulunut, niin kuulostaa siltä ettei ole tarpeeksi jaksettu viilata pilkkua ennen lähetystä. Varmaan se 10 sivua kysymyksiä on reilu kaikille, editorikin näkee missä mennään ja juttu varmasti paranee matkalla. Ja kommentithan voi aina esittää kannustavastikin 🙂
    Joskus olen saanut kommentteja joss kysytään että miksei työtä ole tehty toisella konstruktilla joka olisi relevantimpi? Ehkä siksi, että tutkimme juuri tätä konstruktia… Varmaan penisilliinkin kehittäjille on kuittailtu että mikseivät tutki aspiriinia niinkuin kaikki muutkin. Prkl.

  9. Jani: Toi on niin totta. 😀 Olen käyttänyt iltapäivän siihen, että kirjoitan jotain, jota sitä käsittelevä byrokraatti ei kuitenkaan tule tajuamaan, ja kommentit tulevat älykkäimmillään olemaan juuri tuota luokkaa. Huoh.

Leave a reply to /mek Cancel reply