Bakit maraming pananaliksik ang hindi mapagkakatiwalaan

Bakit maraming pananaliksik ang hindi mapagkakatiwalaanAng mga peneliti ay hindi tapat o nahahiwatig na naiimpluwensyahan ng interes ng industriya? Lightspring / Shutterstock Rizqy

Di luar problem budget, epekto sa pananaliksik na hindi pa makabuluhan, at buruknya pengelolaan data research di Indonesia, keengganan peneliti menyediakan akses terbuka pada data dan material studinya juga membuat sains jalan di tempat.

Ang Manipulasi method stats ay maaari ring gumawa ng mga nakikitang pananaliksik na hindi kredibel. Manipulasi ito ay maaaring maging sanhi ng mga mapanlinlang na tagasaliksik o pagkakaroon ng conflict ng interes ng isang periset na may pinagkukunan ng mga pondo mula sa industriya na gusto lamang ng positibong resulta upang suportahan ang marketing ng produkto.

Kegelisahan ito ay nararamdaman ng ilang mga mananaliksik na nakasama sa mga social movement #OpenScience (Sains Terbuka).

Ako ay sumurai ng problema sa pamamagitan ng argumentasi na terinsipirasi mula sa alamat ng pahayagan na isinulat ng Professor Biostatistik ng Stanford University na si John Ioannidis, "Bakit Karamihan sa mga Natuklasan sa Pananaliksik ay Mali. "

Krisis kredibilitas science

Ang pagpapanatili ng pagpapatupad ng pamamaraan ng pag-aaral ay nagdudulot ng krisis sa kredibilidad sa mga agham. Halimbawa, sa 2011, Daryl Bem, miyembro parapsikologi mula sa Cornell University ay naglalabas ng temuan sa pananaliksik na napakalakas sa loob nito phenomena cenayang (precognition) di jurnal amat bergengsi, Journal ng pagkatao at Social Psychology, ang pamagat ng American Psychological Association (APA). Bem ginagawa 9 eksperimento, 8 diantaranya makabuluhang (halaga p <0.05) na nagpapatunay na ang tao ay may kapansanan sa pagprediksi sa hinaharap.

Ang iba pang mga penasaran ay nagsisikap replikasi atas penyelidikan Bem hindi nakuha ang makabuluhang resulta, hindi tulad ng na-claim Bem, kahit na sinundan sa pamamagitan ng teliti pamamaraan na isinulat ni Bem sa kanyang artikulo. Entah ano ang ginagawa ni Bem hanggang makuha ang bunga na nakakatuwa.

Kasus iba ay may kaugnayan sa pananaliksik ng gamot. Pananaliksik meta-analysis tungkol sa ang epekto ng Anti-Depresan na tinatawag na Fluoxetine (Prozac) ay nagpapakita ng kahalagahan na ang epekto ng Prozac ay lumalabas plasebo, kaya't walang ada manfaatnya sama sekali. Ang mga gamot na ito ay napakahusay sa 2005 lamang Ang kabuuang pagbebenta ng Prozac ay umabot sa US $ 22 bilyon sa buong mundo.


Kunin ang Pinakabagong Mula sa InnerSelf


Samantala, ang pag-aaral meta-analysis na aking ginagawa tungkol sa suporta sa social at tendency depression hanggang sa sa kasimpulan na ang di-pagkakaroon ng ebidensya na meyakinkan na sila ay may kaugnayan. Sinusuri ko ang 5450 na publikasyon na na-publish sa loob ng huling taon ng 20 (1998-2018) na isinulat sa wikang Indonesian. Ngunit ang 13 na artikulo lamang ang maaaring masuri. Ang ketiga belas article ay dinalisa ng kalidad at sayangnya, lahat ay medyo mababa.

Nilai p dan 'angka keramat 0.05'

Para sa mga pulitiko na gumagamit ng quantitative approach, ang paggamit ng mga istatistika para sa pagsubok ng hypothesis ay ang kakulangan. Ang hypotesis na pananaliksik, na isang asumsi na nagpapahiwatig ng isang phenomena, ay karaniwang binubuo ng hypothesis zero (walang epekto) at alternatibong hypothesis (may epekto).

Ang Paradigma na ito ay mula sa tradisyon ng post-positivism na Popperian, kung saan ang pananaliksik ay isang pagsisikap na gawin falsification, nagpapatotoo na ang hypothesis nol mali. Gayanya, ang mga peneliti ay gumagamit ng halaga p (p-value) o taraf signifikansi bilang tagapagpahiwatig upang tanggihan o tumanggap ng hypothesis.

Karaniwan, kapag ang halaga ng p <0.05 ay ang hypothesis zero ay tinututulan, ang halaga ng p> 0.05 ay napatunayang null hypothesis, kaya ang halaga ng p <0.05 ay naging isang uri ng 'numero ng keramat' na nagpapasiya ng pagkabagabag o hindi pag-aaral. Kung ang resulta ay makabuluhang, ang pananaliksik ay itinuturing na 'matagumpay' na makahanap ng malaking epekto, samantalang ang halaga ng p> 0.05 ay nangangahulugan ng kiamat para sa mga mananaliksik.

Hindi maraming journals na gustong maglathala ng resulta ng pananaliksik na may kasinungalingan, "walang malaking epekto." Wala nang titser ng tungkulin na huling gawain na sumringah nakakakita ng mga tagapayo ng mga mag-aaral na nakakuha ng halaga p> 0.05. Ang implikasinya, ang mga peneliti ay napilitang gumawa ng paraan na hindi nakapagsalita, halimbawa ay gumamit ng malaking bilang ng sample upang makakuha ng p <0.05. Inilahang sakit na nakakatakot ng mga kredibilidad sa mga taon.

Noong Marso 2016, inilabas ng American Statistical Association (ASA) pahayag na pahayag yang menggegerkan community sains soal nilai p. Ang Ron Wasserstein, Direktor ng Executive ASA, ay nagpahayag na ang halaga ay hindi dapat muling pakitunguhan tulad ng 'numerong pangkapatiran,' lalo na hanggang tumulo sa logika at rationalitas ng mga mananaliksik. Nilai p sesungguhnya walang kaitannya sa tinanggap o ipinapalagay na hypothesis, siya lamang ay nangangahulugang "... Ang mga probabilidad ng iba pang mga mag-aaral ay makakakuha ng ekstrem na data, kung ang hypothesis zero ay isang tamang hypothesis".

Gumamit ng mga halaga p upang tanggihan at tanggapin ang hypothesis ay napaka-problema sa praktiko at teoritiko. Ang mga mananaliksik ay dapat na higit na maka-focus sa malakingnya effect. Halimbawa, kapag ang isang doktor na gustong suriin ang epekto ng isang partikular na gamot sa paglunas ng sakit, ang kahalagahan na hinahangad ay hindi kung ang gamot na ito ay mahalaga o hindi, kundi maging epektibo o hindi. Kung epektibo, gaanong epektivitasnya. Ang halaga ng p ay hindi nagbibigay ng impormasyon sa kung ano ang epekto ng pagiging epektibo, kaya kailangan ng mga tagpangalaman ang iba pang parameter na tinatawag laki ng epekto (laki ng epekto).

Halaga p lubhang sensitive na may kabuuang sample. Ang maliit na sukat ng epekto ay napakaliit, ang halaga p ay maaaring maging lubhang makabuluhan kung ang sampol ay malaki. Sa kabaligtaran, kahit maliit na sukat ng epekto ay malaki, ang halaga ng p ay hindi mahalaga kung ang sample ay napakaliit.

Sa wakas, ang epekto ng sekecil ano ay maaaring maging makabuluhan kung ang sample ay napakalaking, samantalang ang epekto ng kung ano ay naging hindi mahalaga kung ang sample ay napakaliit.

Sa gayon, ang mga peneliti ay maaaring may sengaja magdagdag ng sampu ng sample nang tuluyan lamang upang makuha ang halaga ng p <0.05 (p-hack). Ang mamahaling ito ay nagpapalaki ng posibilidad na makuha ng mga manunulat maling positibo, iyon ay kapag ang peneliti ay nakakalat na may epekto, bagaman ang epekto ay hindi kailanman naroroon.

Ang mga peneliti ay hindi pa rin nakakaalam statistical power teknik analisis statistiknya. Padahal dalam stats, statistical power na nagpapasiya kung ang temuannya akurat o hindi, hindi halaga p. Bila suatu teknik (model) statistik malakas, kaya ang mga peniitor ay may posibilidad na malaki para makita ang epekto, kung ang epekto ay tama. Pagsusuri kapangyarihan maaari ring makatulong sa mga tagasuskribi para sa merencanakan jumlah sampelnya agar jumlah sampel tak terlalu kecil, atau terlalu besar.

Naariknya, John Ioannidis ay nagpapakita na ang karamihan sa mga pananaliksik na nakikita ng may statistical power na tila mababa. Pananaliksik-pananaliksik sa larangan ng psikolohiya halimbawa, diperkirakan rata-rata lamang may kapangyarihan para sa 50%, anu artinya ang mga peneliti ay mayroon lamang 50% na pagkakataon para makilala ang pagkakaroon ng epekto, kung ang epekto ay tama.

Ang paggamit ng mga halaga ng p ng karamihan sa mga resulta ng pananaliksik na na-publish sa iba't ibang journals, kasama ang jurnal na may epekto sa mataas na antas, ay karaniwang naging patunay na ang bias cognitive na nagdudulot ng mga mananaliksik. Laging maging tagapuat na mayroon kredibilidad ng krisis yang amat serius yang harus segera diatasi oleh komunitas akademik.

Transparansi dan konflik kepentingan

Ang halaga ng impormasyon mula sa pananaliksik ay maaari lamang matukoy sa pamamagitan ng proseso replication. Kapag ang mga peneliti ay hindi nakakakuha ng masusing resulta, ang dating claim ay tiyak na duda. Pananaliksik sa disenyo tulad ng telaah sistematis (systematic review) at meta-analysis ay maaari ding gamitin upang matiyak kung ang isang resulta ng iba't-ibang mga pananaliksik sa isang gejala ay tapat at maaasahan.

Sa katunayan, ang iba't-ibang meta-analysis ng pananaliksik ay nagbibigay ng katibayan na ang karamihan sa mga pananaliksik ay nagbibigay ng misyon sa impormasyon.

Si John Ioannidis ay nagsabi na ang isang disiplinong panitikan ay itinuturing na sekswal at malapit sa industriya ng interes, kaya ang karamihan sa pag-aaral na ginagawa sa disciplines ay maling positibo.

Halimbawa, hindi sulit kita makahanap ng pananaliksik na ipalitan ang posibilidad na mas maraknya peredaran na cigarette ilegal kapag ang tax tembakau ay dinaikkan drastis. Ang pananaliksik na ito ay madalas na ginagamit ng industriya ng tungkulin bilang batayan ng kanilang argumentasyon upang tanggihan ang pagbaba ng buwis.

Pagkatapos ng pag-aaral telaah sistematis, ang resulta ng pananaliksik nila tila maglesar-besarkan scale market cigarette ilegal. Tila malaki, bagkus ang katotohanan ay napakaliit. Ang pagdiriwang ng anti-kenaikan tax cigarette ay napakahalaga sa industriya ng paninigarilyo, sapagkat ang mga ito ang namimili ng mga pananaliksik. Ang ilang mga pananaliksik ay nagpapatotoo na ang pag-raise ng tax cigarette ay isa sa instrumento para sa menurunkan prevalensi consumption ng cigarette.

Lalu paano?

Ang agham na ito ngayon ay nakasalalay, dahil ang mga pulitiko ay nanunungkulan na bukas. Sayangnya, Kementerian Riset, Teknologi dan Pendidikan Tinggi terlalu memfokuskan kebijakannya untuk menggenjot kuantitas ilmiah ilmiah, tapi menutup mata atas gejala degradasi kualitas penelitian dan integritas penelitinya. Meski ang bilang ng publikasyon ng publiko na siyentipiko ng Indonesia ay sumalubong sa Singapore, higit sa lahat ang inilathala ng mga artikulong pang-eksperimento ng Indonesia sa pagpupulong, na ang pang-agham ng manuskrito na inihahatid sa isang conference o pamamahayag, na ang proseso ng telaahnya ay karaniwang ginagawa nang asal.

Para ibalik ang mga kredibilidad na mga agham, dapat na bukas ang mga manunulat-mula sa simula ng pagkilala, pamamaraan ng pagkuha at pag-aaral ng data, raw data, hanggang sa posibleng conflict of interest. Hal na ito ay maaaring gawin ng isa sa pamamagitan ng pre-registrasyon.

Sa ngayon, ngayon ay may maraming portal na mapapakinabangan ng mga manunulat bilang etalase pre-registration, raw data at materyal na kurso, tulad ng Buksan ang Science Framework. Kaya agar ilmu kerja menjadi progresif dan bermakna, tak ada jalan keluar lain-Ang mga manunulat ay dapat na bukas, o nalilimutan.

Walang mali kung may isa sinaalogikan, "Ang politiko ay maaaring nakikipagtalik, sapagkat dapat siyang tama. Ang mga peneliti ay maaaring magkamali, ngunit hindi siya maaaring magkamali. "Sinabi ko na ang kalidad ng isang pananaliksik ay nasa integridad at pamantayan ng moral na pananaliksik.Ang pag-uusap

Tungkol nepulis

Rizqy Amelia Zein, Assistant Lecturer sa Social and Personality Psychology, Universitas Airlangga

Sumber mula sa artikulong ito mula sa Ang pag-uusap. Basahin artikulo na mapagkukunan.

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

sundin ang InnerSelf sa

facebook-icontwitter-iconrss-icon

Kumuha ng Pinakabagong Sa pamamagitan ng Email

{Emailcloak = off}