p-Hacking ve HARKing Nedir? Sorgulanabilir Araştırma Uygulamaları

Bu madde veri analizi ve raporlama sırasında ortaya çıkan, çoğu zaman fark edilmeden yapılan uygulamaları anlatır. Uydurma, çarpıtma ve intihal gibi açık etik ihlalleri ve yaptırımlarını akademik etik ihlal türleri maddesinde bulabilirsiniz.

p-hacking nedir?

Bir araştırmada veri toplandıktan sonra araştırmacının önünde pek çok karar vardır: hangi katılımcıların analize alınacağı, aykırı değerlerin ne yapılacağı, hangi değişkenlerin kontrol edileceği, hangi testin kullanılacağı. Bu kararların her biri makul gerekçelerle farklı biçimde verilebilir. Yöntem literatüründe buna "araştırmacı serbestlik dereceleri" denir.

p-hacking, bu serbestliğin sonuca bakılarak kullanılmasıdır. Araştırmacı farklı seçenekleri dener, p değeri 0,05'in altına düştüğü anda durur ve yalnız o analizi raporlar. Denenen diğer analizler okurdan gizlendiği için makaledeki p değeri artık söylediği şeyi söylemez. Kavram, Simmons, Nelson ve Simonsohn'un "False-Positive Psychology" başlıklı makalesiyle geniş bir tartışmanın merkezine yerleşmiştir.

p-hacking her zaman bilinçli bir hile değildir. Çoğu zaman "verinin ne söylediğini anlamaya çalışmak" ya da "en uygun analizi bulmak" gibi iyi niyetli bir arayışla başlar. Sorun, arayışın kendisi değil, arayışın sonucunun baştan planlanmış tek analiz gibi sunulmasıdır.

p-hacking nasıl yapılır? En sık görülen biçimler

Sık görülen p-hacking biçimleri

Uygulama	Örnek	Neden sorunlu?
Ara ara bakıp durmak	Her 20 katılımcıda bir analiz yapıp sonuç anlamlı çıkınca veri toplamayı bırakmak	Her ara bakış yeni bir test demektir; şansla anlamlı çıkma olasılığı artar
Seçici bağımlı değişken	Beş ölçek uygulayıp yalnız anlamlı çıkan ikisini raporlamak	Okur aslında beş test yapıldığını bilmez
Sonuca göre aykırı değer kararı	Aykırı değerleri çıkarınca fark anlamlı olduğu için o versiyonu seçmek	Kural veriye bakılarak belirlenmiştir
Kontrol değişkeni denemek	Yaş, cinsiyet, gelir gibi değişkenleri ekleyip çıkararak anlamlı modeli aramak	Model seçimi sonuca göre yapılır
Alt grup avı	Genel etki çıkmayınca yalnız kadınlarda ya da yalnız bir okul türünde analiz yapmak	Gruplar çoğaldıkça rastlantısal bir bulgu yakalamak kolaylaşır
Test ya da dönüşüm değiştirmek	Parametrik test anlamlı çıkmayınca parametrik olmayan teste geçmek, değişkeni yeniden gruplamak	Test seçimi varsayımlara değil sonuca göre yapılır

Bunlardan bazıları tek başına meşru analiz kararlarıdır. Örneğin normallik varsayımı sağlanmadığında parametrik olmayan teste geçmek doğru bir seçimdir; ama bu karar varsayım kontrolüne göre verilmelidir, p değerine göre değil. Test seçiminin doğru gerekçesi için parametrik ve parametrik olmayan test seçimi maddesine bakabilirsiniz.

p-hacking neden yanlış sonuç üretir?

Anlamlılık düzeyini 0,05 seçtiğinizde, gerçekte etki olmadığı hâlde tek bir testte anlamlı sonuç bulma olasılığını yüzde 5 ile sınırlamış olursunuz. Bu güvence yalnız tek bir planlanmış test için geçerlidir. Aynı veri üzerinde birden çok analiz denendikçe en az birinin şansla anlamlı çıkma olasılığı hızla büyür.

Testlerin birbirinden bağımsız olduğu basit bir varsayımla bu olasılık 1 − 0,95^k formülüyle hesaplanır; burada k denenen test sayısıdır ve 0,95 sayısı k kez kendisiyle çarpılır:

Gerçek etki yokken en az bir anlamlı sonuç bulma olasılığı (α = 0,05, bağımsız testler varsayımıyla)

Denenen test sayısı	Olasılık
1	%5
5	yaklaşık %23
10	yaklaşık %40
20	yaklaşık %64

Gerçek araştırmalarda testler birbirine bağlı olduğu için oranlar bu tablodakinden farklı olur; ama ilke değişmez. Denenen her ek analiz, yanlış pozitif bulgu riskini büyütür. Literatürde tekrarlanamayan bulguların bir kısmı bu yolla ortaya çıkar. Bu tür bulguları sınayan tekrar çalışmalarını replikasyon çalışmaları yayımlanır mı maddesinde ele aldık.

HARKing nedir?

HARKing, İngilizce "Hypothesizing After the Results are Known" ifadesinin kısaltmasıdır ve sosyal psikolog Norbert L. Kerr tarafından adlandırılmıştır. Araştırmacı verileri analiz eder, beklemediği bir ilişki bulur ve makaleyi bu ilişki baştan öngörülmüş gibi yazar. Giriş bölümü, sonradan bulunan sonuca göre yeniden kurulur.

Varsayımsal bir örnek: Bir tez öğrencisi öğretmenlerin iş doyumunun kıdemle arttığını öngörür. Veriler bunu desteklemez, ama branşa göre beklenmedik bir fark çıkar. Öğrenci tezini "branşa göre fark olacağı" hipoteziyle yeniden yazar ve ilk hipotezden hiç söz etmez. Okur, bulgunun önceden test edilmiş bir öngörü olduğunu düşünür; oysa bulgu keşiftir.

Sorun keşfin kendisinde değildir. Beklenmedik bulgular bilimin en verimli kaynaklarından biridir. Sorun, keşifsel bir bulgunun doğrulayıcı bir test gibi sunulmasıdır. Sonuca bakıldıktan sonra kurulan hipotez, aynı veriyle "doğrulanmış" sayılamaz; yeni bir veriyle sınanması gerekir. Hipotezin araştırma başlamadan nasıl yazılacağını hipotez nasıl yazılır maddesinde bulabilirsiniz.

p-hacking ve HARKing etik ihlal mi?

Bu iki uygulama literatürde genellikle "sorgulanabilir araştırma uygulamaları" (questionable research practices) başlığı altında ele alınır. Uydurma ya da çarpıtma gibi açık ihlallerden farkı, sınırın bulanık olmasıdır: aynı analiz kararı gerekçesine ve raporlanma biçimine göre meşru da olabilir, yanıltıcı da.

Gri alan ile açık ihlal arasındaki fark

Durum	Nasıl değerlendirilir?
Ek analiz yapıp bunu "keşifsel analiz" olarak açıkça raporlamak	Meşru ve şeffaf
Birden çok analiz deneyip yalnız anlamlı olanı raporlamak	Sorgulanabilir uygulama (p-hacking)
Sonradan kurulan hipotezi önceden kurulmuş gibi sunmak	Sorgulanabilir uygulama (HARKing)
Veriyi ya da p değerini değiştirmek, olmayan katılımcıyı eklemek	Çarpıtma ya da uydurma; açık etik ihlal

Bilinçli ve sistematik biçimde yapılan, sonuçları okuru yanıltacak ölçüde gizlenen uygulamalar, kurumların etik kurallarındaki verilerin ya da sonuçların tahrif edilmesi tanımına yaklaşabilir. Bir etik kurulun ya da derginin vereceği karar somut duruma göre değişir. Şüpheli bir durumu nasıl bildireceğinizi akademik etik ihlal ihbar süreci maddesinde bulabilirsiniz.

Bir çalışmada p-hacking olabileceğini gösteren işaretler

Tek bir işaret kanıt değildir, ama birkaç işaret bir araya geldiğinde makaleyi daha dikkatli okumak gerekir:

• Raporlanan p değerlerinin çoğunun 0,05'in hemen altında toplanması.
• Örneklem büyüklüğünün nasıl belirlendiğinin hiç açıklanmaması.
• Aykırı değer, dışlama ya da kontrol değişkeni kararlarının gerekçesiz bırakılması.
• Yöntemde sayılan ölçeklerin bir kısmının bulgularda hiç görünmemesi.
• Bütün hipotezlerin kusursuz biçimde desteklenmesi ve beklenmedik hiçbir bulgunun olmaması.
• Önceden kayıt varsa, makaledeki analizlerin kayıttaki plandan açıklama yapılmadan ayrılması.

Bu işaretleri tanımak, literatürü değerlendirirken ve meta-analiz yaparken de işe yarar; yayın yanlılığının nasıl inceleneceği için meta-analiz nasıl yapılır maddesine bakabilirsiniz.

p-hacking ve HARKing nasıl önlenir? Adım adım

1. Hipotezleri veri toplamadan önce yazın: Tez önerisinde ya da proje metninde hipotezleri, bağımlı ve bağımsız değişkenleri açıkça tanımlayın.
2. Örneklem büyüklüğünü önceden belirleyin: Güç analiziyle kaç katılımcıya ihtiyacınız olduğunu hesaplayın ve o sayıya ulaşınca durun. Hesap için G*Power ile örneklem büyüklüğü maddesine bakabilirsiniz.
3. Analiz planını yazılı hâle getirin: Hangi testi kullanacağınızı, aykırı değerleri hangi kurala göre ele alacağınızı ve hangi değişkenleri kontrol edeceğinizi verilere bakmadan belirleyin.
4. Mümkünse önceden kayıt yaptırın: Hipotez ve analiz planınızı Open Science Framework gibi bir platformda tarih damgalı olarak kaydedin. Klinik çalışmalarda kayıt çoğu zaman zaten beklenir. Adımlar için OSF'de ön kayıt nasıl yapılır maddesine bakın.
5. Doğrulayıcı ve keşifsel analizleri ayırın: Planladığınız analizleri ve sonradan yaptığınız ek analizleri bulgular bölümünde ayrı başlıklar altında raporlayın.
6. Bütün sonuçları raporlayın: Anlamlı çıkmayan testleri de yazın. Çoklu karşılaştırma yapıyorsanız düzeltme yöntemini belirtin; post hoc testler için ANOVA post hoc testleri maddesi yol gösterir.
7. Etki büyüklüğü ve güven aralığı verin: Yalnız p değerine dayanmak yerine etkinin ne kadar büyük olduğunu da gösterin.
8. Veriyi ve analiz kodunu saklayın: Ham veriyi, temizleme adımlarını ve analiz dosyalarını düzenli tutun; dergi istediğinde paylaşabilir durumda olun.

Tez öğrencileri için: sonuç anlamlı çıkmazsa ne yapmalı?

p-hacking baskısının en yoğun hissedildiği yer, hipotezleri desteklenmeyen bir tezdir. Oysa anlamlı çıkmayan bir sonuç başarısız bir tez anlamına gelmez. Yeterli örneklemle, geçerli ölçme araçlarıyla ve doğru analizle elde edilmiş bir "fark yok" bulgusu bilimsel olarak değerlidir.

• Sonucu danışmanınızla açıkça konuşun; analizleri değiştirmeden önce neden böyle bir sonuç çıkmış olabileceğini birlikte değerlendirin.
• Tartışma bölümünde olası açıklamaları (örneklem, ölçüm, kuramsal beklenti) dürüstçe tartışın. Bunun nasıl yazılacağını tezde tartışma ve sonuç bölümü yazma maddesinde bulabilirsiniz.
• Ek analiz yapmak istiyorsanız bunu keşifsel analiz olarak adlandırın ve sonraki araştırmalar için bir öneri olarak sunun.
• Sınırlılıklar bölümünde güç analizinizi ve örneklem büyüklüğünüzü açıkça belirtin.

Kaynaklar ve resmî bağlantılar

• Yükseköğretim Kurulu (YÖK) — bilimsel araştırma ve yayın etiği düzenlemeleri
• TÜBİTAK — araştırma ve yayın etiği
• Open Science Framework — araştırma planlarının önceden kaydı
• EQUATOR Network — araştırma raporlama kılavuzları