Ennakkoilmoittautuneet opinnot

Esirekisteröidyt tutkimukset  ovat tutkimusmuoto , jossa menetelmät ja ehdotetut tulosanalyysit esirekisteröidään ja vertaisarvioidaan empiirisenä lehtiartikkelina ennen tutkimuksen tekemistä ja tiedon keräämistä. Korkealaatuiset, tieteelliset standardit täyttävät tutkimusprotokollat ​​hyväksytään julkaistavaksi. Protokollan hyväksymisen jälkeen tiedot kerätään ilmoitetun menettelyn mukaisesti ja artikkelin lopullinen versio julkaistaan ​​tuloksista riippumatta lehdessä. Tämäntyyppisellä tutkimuksella vältetään jotkin vääristymät, joita syntyy tieteellistä tutkimusta julkaistaessa (esimerkiksi julkaisuharha [2] Arkistoitu 1. maaliskuuta 2020 Wayback Machinelle tai p-hakkerointi [3] Arkistoitu 16. joulukuuta 2017 Wayback Machinelle ) . Lue lisää ennakkoon rekisteröidyistä opinnoista täältä [4] Arkistoitu 13. tammikuuta 2018 Wayback Machinessa .

Pakolliset elementit

Suorittaessaan tavanomaista tutkimusta kirjoittajat suorittavat ensin kaikki toimenpiteet, sitten ne kuvataan ja lähetetään lehteen tarkastettavaksi.

Jotta artikkelityyppi kelpaa esirekisteröidyksi tutkimukseksi, lehtikäytännön on sisällettävä vähintään seuraavat tiedot:

  1. Ennen koetta tehdään asiantuntija-arvio.
  2. Esiarvioinnin läpäisevät käsikirjoitukset saavat julkaisuluvan periaatteessa, jota ei tutkimuksen tulosten perusteella peruuteta ja julkaisusta kieltäytyminen voi tapahtua joko laadunvarmistuksen epäonnistumisen tai rekisteröidystä protokollasta poikkeamisen vuoksi, tai johtuen ratkaisemattomista läpinäkyvyyteen tai raportointityyliin liittyvistä ongelmista.

Sovellukset

Tieteelliset alat, joilla tutkimusta tehdään esirekisteröidyn tutkimuksen muodossa: psykologia , biologia , neurotieteet , lääketiede , taloustiede , ekologia , kielitiede , politiikka ja muut.

Suorituksen vaiheet

Vaihe 1 - Käsikirjoituksen valmistelu ennakkorekisteröintiä varten ja hakemuksen jättäminen

Ennakkorekisteröityjen tutkimusten tekijät jättävät ensimmäisen vaiheen käsikirjoituksen lehteen alustavaa tarkastelua varten. Tässä vaiheessa käsikirjoituksen tulee sisältää osiot: "johdanto", "menetelmät" (mukaan lukien suunnitellut tilastollisen käsittelyn menetelmät). Voit myös liittää mukaan pilottikokeiden tulokset (jos sellaisia ​​on tehty).

Vaihe 2 - Tarkista ja hanki periaatesopimus

Kun toimittajat ja arvioijat ovat arvioineet pöytäkirjan, käsikirjoitus korjataan arvostelujen mukaisesti ja toimitetaan harkittavaksi. Tarkastusprosessi kestää keskimäärin 9 viikkoa. Katsauksen tulosten perusteella, jos tutkimus täyttää tieteelliset standardit, tekijä saa periaatteellisen hyväksynnän julkaisuun. Tämä tarkoittaa, että lehden julkaisu on käytännössä taattu, jos kirjoittajat suorittavat kokeen hyväksytyn protokollan mukaisesti. Saatuaan periaatteellisen suostumuksen tekijä voi jatkaa kokeen toteuttamista.

Vaihe 3 – Tiedonkeruu ja viimeisen artikkelin lähettäminen uudelleenarviointia varten

Kun tiedot on kerätty, käsikirjoitus, mukaan lukien "johdanto" ja "menetelmät" alkuperäisestä käsikirjoituksesta sekä "tulokset" ja "keskustelu", toimitetaan toissijaiseen vertaisarviointiin sen tarkistamiseksi, vastaavatko suunnitelmat tulosta. . "Tulokset"-osio sisältää esirekisteröityjen analyysien tulokset sekä mahdolliset muut rekisteröimättömät analyysit erillisessä osiossa nimeltä "tutkimusanalyysi". Kirjoittajien on myös toimitettava tietonsa julkisesti saatavilla olevaan arkistoon (esim . Open Science Framework (OSF) arkistoitu 11. maaliskuuta 2022 Wayback Machinella tai Figsharella ).

Vaihe 4 - Julkaisu

Toimittajat ja arvioijat ovat arvioineet lopullisen käsikirjoituksen, ja artikkeli julkaistaan ​​lehdessä. Näin julkaistu esirekisteröity tutkimus näyttää hyvin samanlaiselta kuin tavallinen tutkimus, mutta lukijat voivat luottaa siihen, että hypoteesit ja taustalla olevat analyysimenetelmät eivät sisällä kyseenalaisia ​​tutkimuskäytäntöjä.

Esirekisteröidyn tutkimuksen edut

Esirekisteröidyissä tutkimuksissa korostetaan tutkimuskysymyksen tärkeyttä ja metodologian laatua tekemällä vertaisarviointi ennen tiedonkeruuta. Laadukkaat protokollat ​​hyväksytään julkaistavaksi alustavasti, jos kirjoittajat noudattavat rekisteröityä metodologiaa.

Daniel Simons, Illinoisin yliopiston professori Urbana-Champaignissa, Perspectives on Psychological Sciencen esirekisteröityjen replikoitujen tutkimusten toinen päätoimittaja ja Advances in Methods and Practice in Psychological Science Practices in Psychological Science -julkaisun tuleva päätoimittaja. että "Ennalta rekisteröidyt tutkimukset poistavat ei-toivottujen tulosten harhan julkaisun yhteydessä, koska tulokset eivät ole tiedossa tarkasteluhetkellä." [yksi]

Chris Chambers, Cardiffin yliopiston professori, Cortexin, European Journal of Neurologyn ja Royal Open Science Societyn esirekisteröidyn tutkimuksen osastopäällikkö, Open Science Centerin tukeman esirekisteröidyn tutkimuskomitean puheenjohtaja, sanoi seuraavaa: kaunista historiaa mahdollisimman tarkasti." [2]

Hyöty

  • Lehdet voittavat julkaisemalla työtä, joka on sekä huippuluokan että näkyvästi toistettavissa. Näitä kriteerejä on vaikea saavuttaa yhdessä tavanomaisin keinoin julkaistussa asiakirjassa.
  • Sponsorit hyötyvät tukemalla useita projekteja, jotka lähes taatusti julkaistaan ​​hyvämaineisessa lehdessä, eliminoivat julkaisuharhaisuuden ja maksimoivat läpinäkyvyyden. Tämä mekanismi varmistaa myös, että työ tehdään paremmin sponsorin tuella; ja se voi myös lisätä sponsorin hallinnollista tehokkuutta, jossa arviointiprosessi on ainakin osittain lehden hallinnassa (sponsorilla säilyy tärkeä rooli päätettäessä, mitä työtä tuetaan). Sponsorin ja lehden samanaikaisen harkinnan jälkeen vahvimmat ehdotukset saavat sponsorilta taloudellista tukea ja periaatteellisen luvan lehden julkaisemiseen.
  • Tekijät hyötyvät siitä, että arvostettu aikakauslehti hyväksyy julkaisunsa ennen tutkimusta, ja mekanismilla, joka ei ainoastaan ​​minimoi tutkijoiden ennakkoluuloja, vaan myös poistaa tekijöiden kannustimen julkaista puolueellisuutta [5] Arkistoitu 1. maaliskuuta 2020 Wayback Machinessa . Siksi paperit ovat todennäköisesti informatiivisia ja hyvin siteerattuja.
  • Tiedeyhteisö hyötyy lisääntyvästä tutkimuksesta, joka on oikea-aikaista, relevanttia, läpinäkyvää ja toistettavissa.

Muut edut

  • Esirekisteröity tutkimusmuoto kunnioittaa tieteellisen menetelmän hypoteettis-deduktiivista mallia ja sulkee pois erilaiset kyseenalaiset tutkimusmenetelmät, mukaan lukien alhainen tilastollinen teho , valikoiva tulosraportointi ja julkaisuharha [6] Arkistoitu 1. maaliskuuta 2020 Wayback Machinessa , kun taas mahdollistaa ilmaiset pilottianalyysit (rekisteröimättömät ) ja raportoi tulokset.
  • Suorien kopioiden stimulointi. Kopiointi voi olla kallista ja tuottaa vain vähän hyötyä kirjailijoiden uralle. Jotta suora replikointi olisi uskottavaa, tarvitaan usein paljon suurempi otos kuin alkuperäisessä tutkimuksessa, ja kun replikointi on valmis, tutkimusta voi olla vaikea julkaista, koska monet lehdet hylkäävät sen tuloksista riippumatta. Ennen kuin esijulkaisu on varmistettu, tutkijoiden ei ole strategisesti järkevää suorittaa suoria kopioita. Ennakkorekisteröityjen tutkimusten tapauksessa periaatteessa hyväksynnän saaminen luo luottamusta julkaisuun ja antaa siten tutkijoille voimakkaimman kannustimen kopioida suoraan aikaisempia töitä.
  • Kaikkien tulosten julkaiseminen. Koska esirekisteröityihin tutkimuksiin ei kohdistu julkaisuharhaa, ne takaavat korkealaatuisen tutkimuksen julkaisemisen tuloksesta riippumatta. Tämä tarkoittaa, että kirjoittajat voivat julkaista jokaisen kvalitatiivisen kokeen sen sijaan, että valikoivasti julkaistaisiin tutkimuksia, jotka ovat osoittaneet myönteisiä tuloksia.
  • Tutkimusten toistettavuuden parantaminen. Koska esirekisteröidyt tutkimukset neutraloivat erilaisia ​​kyseenalaisia ​​tutkimusmenetelmiä, kuten p-hakkerointia [7] Arkistoitu 16. joulukuuta 2017 Wayback Machinessa ja alhaisen tilastollisen tehon , on todennäköistä, että tällaisten tutkimusten tulokset ovat keskimäärin toistettavampia kuin rutiinitutkimuksen tuloksissa. Tämä puolestaan ​​auttaa rakentamaan osallistuvien tutkijoiden mainetta luotettavina tiedon tuottajina.

Esirekisteröityjen opintojen erottaminen muista muodoista

Ero esirekisteröityjen tutkimusten ja kliinisten tutkimusten välillä

Esirekisteröity tutkimusmuoto koskee sekä kliinisiä että ei-kliinisiä tutkimuksia, ja se ylittää kliinisen tutkimuksen rekisteröinnin.

  • Ensinnäkin esirekisteröityjen tutkimusten kohdalla vertaisarviointiprosessi on jatkuva ensimmäisestä vaiheesta tulosten julkaisuun asti, mikä varmistaa, että kirjoittajat ovat uskollisia rekisteröidylle protokollalle. Tämä on erityisen tärkeää, koska vain joka kolmas kliinisen kokeen arvioija vertaa tekijöiden alkuperäisiä protokollia heidän lopullisiin lähetettyihin käsikirjoituksiinsa (Matieu, Chan ja Ravaud, 2013) [ 8] Arkistoitu 11. maaliskuuta 2022 Wayback Machineen .
  • Toiseksi, toisin kuin esirekisteröidyissä tutkimuksissa, useimmat kliinisten tutkimusten rekisteröintilomakkeet (esimerkiksi klinikat.gov) [9] Arkistoitu 18. joulukuuta 2020 Wayback Machinelle eivät tarkista tutkimusprotokollia, mikä sallii tekijöiden (jopa tiedostamatta) [10 ] Arkistoitu 4. maaliskuuta 2021 Wayback Machinessa , jotta menetelmille tai ehdotetuille määrityksille jää riittävästi liikkumavaraa haluttujen tulosten selektiiviseksi esittämiseksi (John Levenstein, & Prelec, 2011) [ 11] Arkistoitu 9. syyskuuta 2017 Wayback Machinessa tai muuttaa a priori hypoteeseja tulosten jälkeen tuli tunnetuksi (Kerr, 1998) [12] Arkistoitu 2. joulukuuta 2017 Wayback Machinessa .
  • Kolmanneksi, jopa niissä rajoitetuissa tapauksissa, joissa lehdet tarkastelevat ja julkaisevat alustavia testiraportteja (esim. The Lancet [13] Arkistoitu 13. joulukuuta 2017 Wayback Machinessa , BMC-protokolla [14] Arkistoitu 29. joulukuuta 2017 Wayback Machinessa ), kumpikaan nämä muodot antavat takuun siitä, että lopulliset tulokset julkaistaan ​​lehdessä. Nämä esirekisteröidyn tutkimusmuodon ominaisuudet erottavat sen olemassa olevista kliinisten tutkimusten ennakkorekisteröintijärjestelmistä.

Ero esirekisteröityjen tutkimusprotokollien vertaisarvioinnin ja apuraharahoitettujen tutkimusprotokollien vertaisarvioinnin välillä

Molemmissa tapauksissa tutkimusprotokollaa tarkastellaan alustavasti, mutta näiden tarkistustyyppien välillä on myös useita eroja:

  • Apuraharahoitteisten tutkimusten protokollien katsaukset sisältävät tyypillisesti vain yleisen tai likimääräisen kuvauksen käytettävistä menetelmistä, kun taas esirekisteröityjen tutkimusten ensimmäinen vaihe sisältää vaiheittaisen raportin koemenettelyistä ja analyysisuunnitelmasta.
  • Apuraharahoitteisia tutkimusprotokollia julkaistaan ​​harvoin ja tutkijat usein poikkeavat niistä.
  • Ennakkorekisteröity tutkimus koskee kaikkia tutkimusvaihtoehtoja, ei vain apuraharahoitteista tutkimusta.

Luettelo aikakauslehdistä

Tällä hetkellä 88 aikakauslehteä käyttää esirekisteröityjä tutkimusmuotoja joko tavallisena tulosten esittelytapana tai yksittäisenä erikoisnumerona. Muut lehdet tarjoavat joitain muotoominaisuuksia. Säännöllisesti päivitettävä luettelo on nähtävissä täällä "Osallistuvat lehdet" -välilehdellä [15] Arkistoitu 13. tammikuuta 2018 Wayback Machinessa . Taulukko, joka vertailee eri aikakauslehdissä esirekisteröityjen tutkimusten ominaisuuksia, on saatavilla täältä [16] Arkistoitu 7. kesäkuuta 2019 Wayback Machinessa .

Rajoitukset

Ei ihmelääke kaikille tieteenaloille [17] Arkistoitu 20. lokakuuta 2017 Wayback Machineen

Ennakkorekisteröityä tutkimusmuotoa ei ole ehdotettu ”ihmelääkkeeksi” kaikille tieteenaloille. Tämä malli sopii kaikille alueille, joilla on:

  • julkaisuharha [18] Arkistoitu 1. maaliskuuta 2020 Wayback Machinessa (lehdet julkaisevat valikoivasti tuloksia, jotka ovat tilastollisesti merkittäviä tai sisältävät toivottuja tuloksia)
  • p-hacking [19] Arkistoitu 16. joulukuuta 2017 Wayback Machineen (tutkimuksissa, joissa päätelmät riippuvat valituista tilastollisista käsittelymenetelmistä, tutkijat raportoivat valikoivasti tilastollisesti merkittäviä tuloksia)
  • HARKing (alkuperäisen hypoteesin muuttaminen tulosten tiedossa)
  • alhainen tilastollinen teho (riittävä otoskoko todellisen vaikutuksen havaitsemiseen. Riittämätön tilastollinen teho ei ainoastaan ​​vähennä mahdollisuutta löytää vaikutus, vaan se myös vähentää todennäköisyyttä, että havaittu vaikutus todella on olemassa)
  • suoran replikaation puute (riittävä määrä tutkimuksia, joiden tarkoituksena on toistaa toistettavuus toistamalla aikaisempien kokeiden menetelmät mahdollisimman tarkasti). Jos alueella ei ole mitään näistä ongelmista tai jos käytetty lähestymistapa ei ole hypoteesilähtöinen, esirekisteröity tutkimusmalli ei tarjoa mitään etua.

Lisätyötä arvioijille

Esirekisteröidyn tutkimusmallin mukainen vertaisarviointi on perinteistä vertaisarviointia perusteellisempaa. Mutta normaalissa vertaisarviointiprosessissa useat lehdet hylkäävät käsikirjoitukset usein johdonmukaisesti ja käyvät läpi monia arvioijia, ennen kuin lehti löytyy julkaisevan artikkelin. Esirekisteröidyn opiskelumallin soveltamisessa on vähintään kaksi ongelmaa, jotka johtavat tällaiseen systemaattiseen hylkäämiseen ja siten ylimääräiseen taakkaan arvioijille. Ensinnäkin käsikirjoituksen toimittajilla ja arvioijilla on ensimmäisessä vaiheessa mahdollisuus auttaa tekijöitä korjaamaan metodologiset puutteet ennen tiedonkeruun aloittamista. Toiseksi, koska artikkelin julkaisemista ei voida hylätä tuloksen takia, vältetään yleinen syy tavalliseen hylkäämiseen: se, että tuloksia ei pidetä riittävän uusina tai innovatiivisina. Yleisesti ottaen esirekisteröidyn tutkimusmallin arvioijan kokonaistyömäärä on suunnilleen sama kuin tavallisen julkaisun.

Esimerkiksi tyypillisessä tutkimuksessa artikkeli toimitetaan neljään peräkkäiseen aikakauslehteen, ja kolme ensimmäistä lehteä hylkäävät sen kolmen arvioinnin jälkeen. Neljäs lehti hyväksyy käsikirjoituksen 3 arvostelun ja 3 uudelleenarvioinnin jälkeen. Käsikirjoituksella on yhteensä jopa 12 arvioijaa ja se käy läpi 15 vertaisarviointikierrosta. Mieti nyt, mitä olisi voinut tapahtua, jos tutkimus olisi toimitettu ennen tiedonkeruuta kolmen arvioinnin esirekisteröidyn tutkimuksen ensimmäisenä vaiheena. Vaikka se käy läpi kolme tarkistuskierrosta ensimmäisessä vaiheessa ja kaksi tarkistuskierrosta toisessa vaiheessa, arvioijan kokonaistyömäärä (15 kierrosta) on sama kuin tavallisessa mallissa (15 kierrosta).

Arvostelijat voivat "varastaa" kirjoittajien ideoita vertaisarvioinnin ensimmäisellä kierroksella

Tällainen mahdollisuus on olemassa, vaikka se on hyvin epätodennäköistä. Vain pieni ryhmä ihmisiä, mukaan lukien toimittajat ja pieni joukko arvioijia, on tietoinen käsikirjoituksessa esitetyistä ajatuksista ensimmäisessä vaiheessa; Lisäksi vaiheen 1 käsikirjoitusta ei julkaista ennen tutkimuksen valmistumista. Saatuaan julkaisuluvan periaatteessa lehti ei voi hylätä artikkelia vertaisarvioinnin viimeisessä toisessa vaiheessa sillä perusteella, että vastaava teos on julkaistu muualla. Siksi siinäkin epätodennäköisessä tapauksessa, että arvioija saa päätökseen projektin ennakkorekisteröinnin ennen tekijöitä, tällainen strategia ei anna paljon etua rikollisen uralle (varsinkin kun julkaistussa artikkelissa pöytäkirjan toimittamisen päivämäärä ensimmäinen tarkistusvaihe edeltää päivämäärää, jolloin kilpailija toimittaa pöytäkirjan ensimmäiseen tarkasteluvaiheeseen).

Jo suoritetun tutkimuksen protokollan rekisteröinti

Nykyisessä esirekisteröityjen kokeiden muodossa olisi petollista yrittää rekisteröidä kokeiluprotokollaa, joka on jo suoritettu. Koska kirjoittajien jättäessä käsikirjoituksen toisessa vaiheessa siihen on liitettävä laboratoriopäiväkirja, josta käy ilmi päivämäärät, jolloin tiedot on kerätty. Kaikkien tekijöiden on myös todistettava, että toimitettuja tietoja ei ole kerätty ennen kuin periaatteessa oli saatu julkaisulupa (muut kuin vaiheen 1 toimitukseen sisältyvät pilottitiedot).

Muistiinpanot

  1. ↑ Daniel Simons, professori Illinoisin yliopistosta Urbana-Champaignista, Psychological Sciencen Perspectives -julkaisun Registered Replication Reports -julkaisun toinen toimittaja ja Advances in Methods and Practices in Psychological Science -julkaisun tuleva päätoimittaja. "Rekisteröidyt raportit eliminoivat julkaisun negatiivisia tuloksia vastaan, koska tulokset eivät ole tiedossa tarkasteluhetkellä." . https://cos.io/rr/ . Haettu 26. joulukuuta 2017. Arkistoitu alkuperäisestä 13. tammikuuta 2018.
  2. ↑ Chris Chambers, Cardiffin yliopiston professori, Cortexin rekisteröityjen raporttien osastopäällikkö, European Journal of Neuroscience ja Royal Society Open Science, Center for Open Sciencen tukeman rekisteröityjen raporttien komitean puheenjohtaja. "Koska tutkimus hyväksytään etukäteen, tekijöiden kannustimet muuttuvat kauneimman tarinan tuottamisesta tarkimpaan." . https://cos.io/rr/ . Haettu 26. joulukuuta 2017. Arkistoitu alkuperäisestä 13. tammikuuta 2018.