Bilimsel yöntem iş başında.
Dünya çapından 100 bilim insanının katıldığı ve dönüm noktası niteliği taşıyan bir çalışmada, kıdemli psikoloji dergilerindeki son 270 bulgunun sonuçları, bir ölçüte göre tekrarlanmaya çalışıldı ve sadece yüzde 36’sında aynı sonuçlar ortaya çıktı. Bu demek oluyor ki, bilim insanları çalışmaların yarısından fazlası için aynı yöntembilimi kullandığı zaman, aynı sonuçlarla karşılaşamadılar.
Takım, Science bülteninde şöyle bildiriyor: “Asıl yazarlar tarafından sağlanan gereçler kullanılmasına, yöntembilimsel uygunluğun önceden incelenmesine ve asıl etki boyutlarını tespit etmek etmedik yüksek istatistiksel güce rağmen, tekrarlanan çalışmaların geniş bir bölümün, asıl bulgular bakımından daha zayıf kanıtlar üretti.”
Çalışma, dünya çapından çeşitli takımların önde gelen üç psikoloji dergisinin birinden 2008 yılında yapılmış olan bir deneyi seçmesi ve ardından asıl yöntembilimi olabildiğince yakın bir şekilde izlemeleri ile yapıldı. Mümkün olduğu takdirde baş yazarlarla iletişime geçmeleri de söylendi ve böylelikle ilk zamanlarda işlerin nasıl yapıldığını daha iyi anlayabileceklerdi.
100 çalışmadan 97’si aslında istatistiksel olarak anlamlı sonuçlar sunduysa da (Ed Yong, The Atlantic sitesinde şöyle açıklıyor: ‘Eğer çalışmayı tekrar yaptıysanız, aynı sonuçlara [veya daha iyilerine] şans eseri rastlantıyla ulaşma ihtimaliniz 20’de 1’den az olacaktır’) bu sonuçların sadece 36 tanesi ikinci kez istatistiksel olarak anlamlı şekilde tekrarlanabiliyordu.
Üstelik bu tezler en iyi dergilerden alınmışlardı, yani yayınlaması en zor olanlardı. Eğer çalışmalar bütün mevcut psikoloji dergilerinden alınsaydı, sonuçlar muhtemelen daha kötü olurdu.
Geniş ölçüde atıf yapılan Neden Yayınlanmış Çoğu Araştırma Bulgusu Yanlış tezinin yazarı Stanford Üniversitesi’nden John Ioannidis, Yong’a şöyle söylüyor: “Başarı oranı sandığımdan daha düşük. Tahminlerimin bazılarının doğrulandığını görmek kendimi kötü hissettirdi. Yanlış çıkmalarını dilerdim.”
Fakat bu durum, 2008’de en yüksek profilli psikolojik çalışmaların üçte ikisinin sonuçlarının yanlış olduğu anlamına gelmiyor. Sonuçlar tekrar edilemediyse bile, bu durum asıl bulgularda muhtemelen bazı belirsiz değerler olduğu gerçeğini ortadan kaldırmıyor, fakat bağımsız olarak doğrulanmamış ve tekrarlanmamış bütün çalışmalarda olduğu gibi, bunlara şüpheyle yaklaşılması gerekiyor.
Belirli şeylerin davranışı nasıl etkilediğine bakan sosyal psikolojideki çalışmaların, anıları saklarken, yeni şeyler öğrenirken vs. beynin nasıl işlediğine bakan bilişsel çalışmalara göre daha az tekrarlanabilir olduğu bilinmesine rağmen, tekrarlama merdanesinden geçmekten muzdarip olan tek bilim alanı bu değil.
Daha önce iklim muhalifi tezler (iklim değişikliğinin muhtemelen insan eylemleri yüzünden meydana geldiği konusundaki fikir birliğine karşı olan bülten makaleleri) üzerinde yapılan bir incelemede, bunların yöntembilimsel hatalarla kalbura dönmüş olduğu bulunmuştu ve bu durum, bu tezlerin bulgularını tekrarlamayı imkansız hale getiriyordu. Ayrıca 2015 yılının başlarında yapılan ayrı bir çalışmada bulunduğuna göre, tekrar edilemez klinik öncesi araştırmaların yaygınlığı yüzde 50’yi aşıyor ve “sadece ABD’de, yeniden tekrarlanamayan klinik öncesi araştırmaya yaklaşık olarak yılda 28.000.000.000 dolar harcanmasına neden oluyor.”
Bu yüzden günümüzdeki çalışmalar, psikolojinin daha az güvenilir bir bilim dalı olduğunun belirtisi olarak görülmemelidir. Bilim en temel seviyesinde kuramlama, deneme, doğrulama ve yeniden deneme işlemi hakkındadır ve 2008 tarihli bu deneylerde bunların daha en başta yapılması gerekiyorduysa da, geç olması hiç olmamasından iyidir. Victoria Turk, Motherboard’da şöyle belirtiyor: “doğrusu, bu araştırmacıların kendi dallarındaki bulguların güvenilirliğini çözümlemeye çalıştığı gerçeği, kuşkusuz bilimsel titizliğe karşı bir bağlılığın göstergesidir.”
Bu çalışmaların tekrarlanmadan yayınlanmasının ardındaki sebepler, tahmin edebileceğiniz gibi olağanüstü derecede karmaşık, fakat Ed Yong, Atlantic makalesinde ana sebepleri ele alıyor. Bunların birçoğu, insanların, bilimin hiçbir şekilde vermek zorunda olmadığı cevaplar istemesinden ibaret. Science çalışmasındaki yazarların belirttiği gibi: “İnsanlar kesinlik istiyorlar ve bilim bunu seyrek olarak sağlıyor. Ne kadar bunun aksini istesek de, tek bir çalışma neredeyse hiçbir zaman bir etki ve onun açıklaması için veya ona karşı kesin bir çözüm sunmaz.”
ScienceAlert
Sosyal bilimlerin dandikliği bir kez daha ortaya çıkmış.