İçindekiler 9 başlık · 7 dk
- p-hacking nedir?
- p-hacking nasıl yapılır? En sık görülen biçimler
- p-hacking neden yanlış sonuç üretir?
- HARKing nedir?
- p-hacking ve HARKing etik ihlal mi?
- Bir çalışmada p-hacking olabileceğini gösteren işaretler
- p-hacking ve HARKing nasıl önlenir? Adım adım
- Tez öğrencileri için: sonuç anlamlı çıkmazsa ne yapmalı?
- Kaynaklar ve resmî bağlantılar
Kısaca: p-hacking, istatistiksel olarak anlamlı bir sonuç (çoğu zaman p < 0,05) elde edene kadar analiz kararlarını değiştirmek ve yalnız anlamlı çıkan sonucu raporlamaktır. HARKing (Hypothesizing After the Results are Known), sonuçları gördükten sonra hipotez kurup onu baştan öngörülmüş gibi sunmaktır. İkisi de sorgulanabilir araştırma uygulamalarıdır: yanlış pozitif bulguları çoğaltır ve önceden kayıt, yazılı analiz planı ve şeffaf raporlamayla önlenir.
Bu madde veri analizi ve raporlama sırasında ortaya çıkan, çoğu zaman fark edilmeden yapılan uygulamaları anlatır. Uydurma, çarpıtma ve intihal gibi açık etik ihlalleri ve yaptırımlarını akademik etik ihlal türleri maddesinde bulabilirsiniz.
p-hacking nedir?
Bir araştırmada veri toplandıktan sonra araştırmacının önünde pek çok karar vardır: hangi katılımcıların analize alınacağı, aykırı değerlerin ne yapılacağı, hangi değişkenlerin kontrol edileceği, hangi testin kullanılacağı. Bu kararların her biri makul gerekçelerle farklı biçimde verilebilir. Yöntem literatüründe buna "araştırmacı serbestlik dereceleri" denir.
p-hacking, bu serbestliğin sonuca bakılarak kullanılmasıdır. Araştırmacı farklı seçenekleri dener, p değeri 0,05'in altına düştüğü anda durur ve yalnız o analizi raporlar. Denenen diğer analizler okurdan gizlendiği için makaledeki p değeri artık söylediği şeyi söylemez. Kavram, Simmons, Nelson ve Simonsohn'un "False-Positive Psychology" başlıklı makalesiyle geniş bir tartışmanın merkezine yerleşmiştir.
p-hacking her zaman bilinçli bir hile değildir. Çoğu zaman "verinin ne söylediğini anlamaya çalışmak" ya da "en uygun analizi bulmak" gibi iyi niyetli bir arayışla başlar. Sorun, arayışın kendisi değil, arayışın sonucunun baştan planlanmış tek analiz gibi sunulmasıdır.
p-hacking nasıl yapılır? En sık görülen biçimler
| Uygulama | Örnek | Neden sorunlu? |
|---|---|---|
| Ara ara bakıp durmak | Her 20 katılımcıda bir analiz yapıp sonuç anlamlı çıkınca veri toplamayı bırakmak | Her ara bakış yeni bir test demektir; şansla anlamlı çıkma olasılığı artar |
| Seçici bağımlı değişken | Beş ölçek uygulayıp yalnız anlamlı çıkan ikisini raporlamak | Okur aslında beş test yapıldığını bilmez |
| Sonuca göre aykırı değer kararı | Aykırı değerleri çıkarınca fark anlamlı olduğu için o versiyonu seçmek | Kural veriye bakılarak belirlenmiştir |
| Kontrol değişkeni denemek | Yaş, cinsiyet, gelir gibi değişkenleri ekleyip çıkararak anlamlı modeli aramak | Model seçimi sonuca göre yapılır |
| Alt grup avı | Genel etki çıkmayınca yalnız kadınlarda ya da yalnız bir okul türünde analiz yapmak | Gruplar çoğaldıkça rastlantısal bir bulgu yakalamak kolaylaşır |
| Test ya da dönüşüm değiştirmek | Parametrik test anlamlı çıkmayınca parametrik olmayan teste geçmek, değişkeni yeniden gruplamak | Test seçimi varsayımlara değil sonuca göre yapılır |
Bunlardan bazıları tek başına meşru analiz kararlarıdır. Örneğin normallik varsayımı sağlanmadığında parametrik olmayan teste geçmek doğru bir seçimdir; ama bu karar varsayım kontrolüne göre verilmelidir, p değerine göre değil. Test seçiminin doğru gerekçesi için parametrik ve parametrik olmayan test seçimi maddesine bakabilirsiniz.
0,054 gibi bir p değerini "0,05" diye yuvarlamak ya da tabloya yanlış yazmak artık sorgulanabilir bir uygulama değil, sonucun yanlış raporlanmasıdır. Bu tür bir müdahale doğrudan çarpıtma kapsamında değerlendirilebilir.
p-hacking neden yanlış sonuç üretir?
Anlamlılık düzeyini 0,05 seçtiğinizde, gerçekte etki olmadığı hâlde tek bir testte anlamlı sonuç bulma olasılığını yüzde 5 ile sınırlamış olursunuz. Bu güvence yalnız tek bir planlanmış test için geçerlidir. Aynı veri üzerinde birden çok analiz denendikçe en az birinin şansla anlamlı çıkma olasılığı hızla büyür.
Testlerin birbirinden bağımsız olduğu basit bir varsayımla bu olasılık 1 − 0,95^k formülüyle hesaplanır; burada k denenen test sayısıdır ve 0,95 sayısı k kez kendisiyle çarpılır:
| Denenen test sayısı | Olasılık |
|---|---|
| 1 | %5 |
| 5 | yaklaşık %23 |
| 10 | yaklaşık %40 |
| 20 | yaklaşık %64 |
Gerçek araştırmalarda testler birbirine bağlı olduğu için oranlar bu tablodakinden farklı olur; ama ilke değişmez. Denenen her ek analiz, yanlış pozitif bulgu riskini büyütür. Literatürde tekrarlanamayan bulguların bir kısmı bu yolla ortaya çıkar.
HARKing nedir?
HARKing, İngilizce "Hypothesizing After the Results are Known" ifadesinin kısaltmasıdır ve sosyal psikolog Norbert L. Kerr tarafından adlandırılmıştır. Araştırmacı verileri analiz eder, beklemediği bir ilişki bulur ve makaleyi bu ilişki baştan öngörülmüş gibi yazar. Giriş bölümü, sonradan bulunan sonuca göre yeniden kurulur.
Varsayımsal bir örnek: Bir tez öğrencisi öğretmenlerin iş doyumunun kıdemle arttığını öngörür. Veriler bunu desteklemez, ama branşa göre beklenmedik bir fark çıkar. Öğrenci tezini "branşa göre fark olacağı" hipoteziyle yeniden yazar ve ilk hipotezden hiç söz etmez. Okur, bulgunun önceden test edilmiş bir öngörü olduğunu düşünür; oysa bulgu keşiftir.
Sorun keşfin kendisinde değildir. Beklenmedik bulgular bilimin en verimli kaynaklarından biridir. Sorun, keşifsel bir bulgunun doğrulayıcı bir test gibi sunulmasıdır. Sonuca bakıldıktan sonra kurulan hipotez, aynı veriyle "doğrulanmış" sayılamaz; yeni bir veriyle sınanması gerekir. Hipotezin araştırma başlamadan nasıl yazılacağını hipotez nasıl yazılır maddesinde bulabilirsiniz.
p-hacking ve HARKing etik ihlal mi?
Bu iki uygulama literatürde genellikle "sorgulanabilir araştırma uygulamaları" (questionable research practices) başlığı altında ele alınır. Uydurma ya da çarpıtma gibi açık ihlallerden farkı, sınırın bulanık olmasıdır: aynı analiz kararı gerekçesine ve raporlanma biçimine göre meşru da olabilir, yanıltıcı da.
| Durum | Nasıl değerlendirilir? |
|---|---|
| Ek analiz yapıp bunu "keşifsel analiz" olarak açıkça raporlamak | Meşru ve şeffaf |
| Birden çok analiz deneyip yalnız anlamlı olanı raporlamak | Sorgulanabilir uygulama (p-hacking) |
| Sonradan kurulan hipotezi önceden kurulmuş gibi sunmak | Sorgulanabilir uygulama (HARKing) |
| Veriyi ya da p değerini değiştirmek, olmayan katılımcıyı eklemek | Çarpıtma ya da uydurma; açık etik ihlal |
Bilinçli ve sistematik biçimde yapılan, sonuçları okuru yanıltacak ölçüde gizlenen uygulamalar, kurumların etik kurallarındaki verilerin ya da sonuçların tahrif edilmesi tanımına yaklaşabilir. Bir etik kurulun ya da derginin vereceği karar somut duruma göre değişir. Şüpheli bir durumu nasıl bildireceğinizi akademik etik ihlal ihbar süreci maddesinde bulabilirsiniz.
Bir çalışmada p-hacking olabileceğini gösteren işaretler
Tek bir işaret kanıt değildir, ama birkaç işaret bir araya geldiğinde makaleyi daha dikkatli okumak gerekir:
- Raporlanan p değerlerinin çoğunun 0,05'in hemen altında toplanması.
- Örneklem büyüklüğünün nasıl belirlendiğinin hiç açıklanmaması.
- Aykırı değer, dışlama ya da kontrol değişkeni kararlarının gerekçesiz bırakılması.
- Yöntemde sayılan ölçeklerin bir kısmının bulgularda hiç görünmemesi.
- Bütün hipotezlerin kusursuz biçimde desteklenmesi ve beklenmedik hiçbir bulgunun olmaması.
- Önceden kayıt varsa, makaledeki analizlerin kayıttaki plandan açıklama yapılmadan ayrılması.
Bu işaretleri tanımak, literatürü değerlendirirken ve meta-analiz yaparken de işe yarar; yayın yanlılığının nasıl inceleneceği için meta-analiz nasıl yapılır maddesine bakabilirsiniz.
p-hacking ve HARKing nasıl önlenir? Adım adım
- Hipotezleri veri toplamadan önce yazın: Tez önerisinde ya da proje metninde hipotezleri, bağımlı ve bağımsız değişkenleri açıkça tanımlayın.
- Örneklem büyüklüğünü önceden belirleyin: Güç analiziyle kaç katılımcıya ihtiyacınız olduğunu hesaplayın ve o sayıya ulaşınca durun. Hesap için G*Power ile örneklem büyüklüğü maddesine bakabilirsiniz.
- Analiz planını yazılı hâle getirin: Hangi testi kullanacağınızı, aykırı değerleri hangi kurala göre ele alacağınızı ve hangi değişkenleri kontrol edeceğinizi verilere bakmadan belirleyin.
- Mümkünse önceden kayıt yaptırın: Hipotez ve analiz planınızı Open Science Framework gibi bir platformda tarih damgalı olarak kaydedin. Klinik çalışmalarda kayıt çoğu zaman zaten beklenir.
- Doğrulayıcı ve keşifsel analizleri ayırın: Planladığınız analizleri ve sonradan yaptığınız ek analizleri bulgular bölümünde ayrı başlıklar altında raporlayın.
- Bütün sonuçları raporlayın: Anlamlı çıkmayan testleri de yazın. Çoklu karşılaştırma yapıyorsanız düzeltme yöntemini belirtin; post hoc testler için ANOVA post hoc testleri maddesi yol gösterir.
- Etki büyüklüğü ve güven aralığı verin: Yalnız p değerine dayanmak yerine etkinin ne kadar büyük olduğunu da gösterin.
- Veriyi ve analiz kodunu saklayın: Ham veriyi, temizleme adımlarını ve analiz dosyalarını düzenli tutun; dergi istediğinde paylaşabilir durumda olun.
Bazı dergiler "kayıtlı rapor" (registered report) biçimi sunar: giriş ve yöntem bölümü veri toplanmadan önce hakemden geçer ve sonuç ne çıkarsa çıksın yayın kararı baştan verilir. Bu biçim, anlamlı sonuç bulma baskısını yapısal olarak ortadan kaldırır.
Tez öğrencileri için: sonuç anlamlı çıkmazsa ne yapmalı?
p-hacking baskısının en yoğun hissedildiği yer, hipotezleri desteklenmeyen bir tezdir. Oysa anlamlı çıkmayan bir sonuç başarısız bir tez anlamına gelmez. Yeterli örneklemle, geçerli ölçme araçlarıyla ve doğru analizle elde edilmiş bir "fark yok" bulgusu bilimsel olarak değerlidir.
- Sonucu danışmanınızla açıkça konuşun; analizleri değiştirmeden önce neden böyle bir sonuç çıkmış olabileceğini birlikte değerlendirin.
- Tartışma bölümünde olası açıklamaları (örneklem, ölçüm, kuramsal beklenti) dürüstçe tartışın. Bunun nasıl yazılacağını tezde tartışma ve sonuç bölümü yazma maddesinde bulabilirsiniz.
- Ek analiz yapmak istiyorsanız bunu keşifsel analiz olarak adlandırın ve sonraki araştırmalar için bir öneri olarak sunun.
- Sınırlılıklar bölümünde güç analizinizi ve örneklem büyüklüğünüzü açıkça belirtin.
Kaynaklar ve resmî bağlantılar
Sık sorulanlar
p hacking ne demek?
p-hacking, istatistiksel olarak anlamlı bir sonuç bulana kadar analiz kararlarını değiştirmek ve yalnız anlamlı çıkan sonucu raporlamaktır. Aykırı değerleri sonuca göre çıkarmak, birçok ölçekten yalnız anlamlı olanları yazmak ya da anlamlı sonuç çıkınca veri toplamayı bırakmak bunun örnekleridir. Denenen diğer analizler gizlendiği için raporlanan p değeri yanıltıcı olur.
HARKing ne demek?
HARKing, Hypothesizing After the Results are Known ifadesinin kısaltmasıdır: sonuçlar görüldükten sonra hipotez kurup bu hipotezi araştırma başlamadan önce kurulmuş gibi sunmaktır. Beklenmedik bir bulguyu keşif olarak raporlamak meşrudur; sorun, keşfin önceden test edilmiş bir öngörü gibi gösterilmesidir. Sonradan kurulan hipotezin yeni bir veriyle sınanması gerekir.
p-hacking intihal ya da etik ihlal sayılır mı?
p-hacking intihal değildir; literatürde genellikle sorgulanabilir araştırma uygulamaları arasında sayılır. Sınır bulanıktır: ek analizleri açıkça raporlamak meşrudur, yalnız anlamlı sonucu seçip diğerlerini gizlemek yanıltıcıdır. Veriyi ya da p değerini değiştirmek ise doğrudan çarpıtmadır. Bilinçli ve gizlenmiş uygulamaları etik kurullar somut duruma göre değerlendirir.
Hipotezim desteklenmezse tezim başarısız mı olur?
Hayır. Yeterli örneklem, geçerli ölçme araçları ve doğru analizle elde edilen anlamlı çıkmayan bir sonuç da bilimsel olarak değerlidir. Önemli olan sonucu dürüstçe raporlamak ve tartışma bölümünde olası nedenleri tartışmaktır. Hipotezi sonradan değiştirmek ya da anlamlı sonuç bulana kadar analiz denemek ise tezinizi sorgulanabilir hâle getirir.
Ön kayıt (preregistration) nedir?
Ön kayıt, hipotezlerin, örneklem büyüklüğünün ve analiz planının veri toplanmadan önce tarih damgalı olarak bir platforma kaydedilmesidir. Böylece hangi analizlerin önceden planlandığı, hangilerinin sonradan yapıldığı açıkça görülür. Open Science Framework bu amaçla sık kullanılan platformlardan biridir; plandan sapmak yasak değildir, ama gerekçesiyle raporlanmalıdır.
