Replikasyon (Tekrar) Çalışmaları Yayımlanır mı? Değeri, Kabul Eden Dergiler ve Yazım

Bu madde, dergi seçiminin genel kriterlerini değil, tekrar çalışmalarına özgü soruları ele alır: bu çalışmaların değeri, hangi yayın biçimlerinin onlara açık olduğu ve makalenin nasıl gerekçelendirileceği. Dergiyi kapsam, dizin, Q dilimi ve ücret açısından nasıl seçeceğinizi makale için dergi seçimi kriterleri maddesinde bulabilirsiniz.

Replikasyon çalışması nedir?

Replikasyon, daha önce yayımlanmış bir çalışmanın sorusunu yeni veriyle yeniden sınamaktır. Amaç, ilk bulgunun tesadüf, örnekleme özgü bir durum ya da analiz tercihlerinin bir sonucu olup olmadığını anlamaktır. Literatürde kavramlar tam aynı biçimde kullanılmasa da şu ayrım yaygındır:

Bir ölçeği Türkçeye uyarlayıp geçerlik ve güvenirliğini sınamak ise tekrar çalışması değildir; amacı bir bulguyu değil, bir ölçme aracını yeni bir dil ve kültürde kullanılabilir kılmaktır. Bu süreç için ölçek uyarlama çalışması maddesine bakın. Aynı soruyu farklı bir örneklemde "bir de biz bakalım" diye sormak da kendi başına replikasyon sayılmaz; onu tekrar çalışması yapan, özgün çalışmayı açıkça hedef alması ve sonucu onunla karşılaştırmasıdır.

Tekrar çalışmalarının bilimsel değeri nedir?

Bilimsel bilgi tek bir çalışmayla değil, birbirini doğrulayan çalışmalarla güçlenir. Son yıllarda psikoloji başta olmak üzere birçok alanda yürütülen geniş tekrar projeleri, yayımlanmış bazı bulguların yeni örneklemlerde aynı güçle ortaya çıkmadığını gösterdi. Bu bulguların bir kısmının arkasında p-hacking ve HARKing gibi sorgulanabilir araştırma uygulamalarının bulunabileceği de tartışılır. Bu tartışma, tekrar çalışmalarına bakışı değiştirdi: artık yalnız "yeni" sonuçların değil, mevcut bulguları sınayan çalışmaların da literatüre katkı yaptığı daha yaygın kabul görüyor.

• Yayın yanlılığını dengeler: Anlamlı sonuçların yayımlanıp anlamsızların çekmecede kaldığı bir literatürde, tekrar çalışmaları gerçek etkinin büyüklüğü hakkında daha dengeli bir tablo verir.
• Meta-analize veri sağlar: Bir konudaki çalışmaları birleştiren meta-analizler, ancak yeterince bağımsız çalışma varsa güvenilir sonuç verir.
• Kültürel genellemeyi sınar: Bir ülkede bulunan etkinin Türkiye'deki örneklemde de görülüp görülmediği, kuramın sınırlarını gösterir; ama bu ancak iyi gerekçelendirilirse katkı sayılır.
• Araştırmacıyı eğitir: Başka birinin yöntemini adım adım uygulamak, tez öğrencisi için yöntem ve raporlama becerisini geliştirmenin iyi bir yoludur.

Dergiler tekrar çalışmalarını neden reddeder?

Tekrar çalışmalarının reddedilme nedeni çoğu zaman "tekrar" olmaları değil, tekrar olarak zayıf kurulmuş olmalarıdır. Bu tür ret kararlarının arkasında genellikle şu sorunlardan biri ya da birkaçı vardır:

1. Gerekçe yok: Neden bu çalışmanın, neden şimdi ve neden bu örneklemde tekrarlandığı söylenmemiştir.
2. Örneklem yetersiz: Özgün etkiyi yakalayacak gücü olmayan küçük bir örneklemle "tekrarlanamadı" sonucuna varılmıştır; bu sonuç bilgi vermez.
3. Sapmalar gizli: Ölçme aracı, işlem ya da analiz değişmiş ama bu farklar açıkça raporlanmamıştır.
4. Kapsam uyuşmazlığı: Dergi yönergesi açıkça "özgün ve yeni katkı" arıyordur ve tekrar çalışmalarını kapsamına almıyordur.
5. Kopya kuşkusu: Giriş ve yöntem bölümleri özgün makaleden neredeyse aynen alınmıştır; benzerlik raporu yüksektir.

Tekrar çalışmalarını hangi dergiler ve yayın biçimleri kabul eder?

Kesin ve güncel bir "kabul eden dergiler listesi" vermek yanıltıcı olur; dergi politikaları değişir. Bunun yerine hangi tür dergilerin ve yayın biçimlerinin tekrar çalışmalarına açık olduğunu ve bunu nasıl kontrol edeceğinizi bilmek daha işe yarar.

Yöntem titizliğine bakan dergiler

Bazı dergiler bir çalışmayı "ne kadar yeni" olduğuna göre değil, yönteminin sağlam olup olmadığına göre değerlendirir. Örneğin PLOS ONE'ın yayın ölçütlerinde, önceki bir çalışmayı tekrarlayan ya da ona çok benzeyen çalışmalar için yazarların sağlam bir bilimsel gerekçe sunması, var olan literatürü açıkça atıfla tartışması istenir; yeterli gerekçe sunulmazsa çalışmanın büyük olasılıkla reddedileceği belirtilir. Aynı ölçütlerde negatif ve anlamsız (null) sonuçların da değerlendirmeye alındığı yazar.

Kayıtlı rapor (registered report) biçimi

Kayıtlı raporda hakem değerlendirmesi veri toplanmadan önce yapılır. Araştırma sorusu ve yöntem (birinci aşama) incelenir; yeterli bulunan protokol, kayıtlı yönteme uyulması koşuluyla ilkesel kabul alır ve bu kabul sonuç nedeniyle geri alınmaz. Center for Open Science'ın sayfasına göre bu biçimi düzenli bir gönderim seçeneği ya da özel sayı olarak sunan dergi sayısı 300'ü aşmıştır. Tekrar çalışmaları için bu biçim özellikle uygundur, çünkü "sonuç tekrarlanmadı, o yüzden ilginç değil" itirazını baştan ortadan kaldırır.

Bir derginin tekrar çalışmasına açık olup olmadığını nasıl anlarsınız?

• Derginin amaç ve kapsam (aims and scope) sayfasında ve yazar rehberinde "replication", "registered report", "null results" gibi ifadeleri arayın.
• Dergide daha önce yayımlanmış tekrar çalışması var mı, arşivde başlıklara bakın.
• Türkçe dergilerde yazım kurallarında kabul edilen makale türlerini okuyun; emin değilseniz göndermeden önce editöre kısa bir ön soru e-postası yazın.
• Uygun dergileri kapsam ve dizine göre daraltmak için dergi bulucu aracından yararlanabilirsiniz; tekrar çalışmasını kabul edip etmediğini ise her derginin kendi sayfasından doğrulayın.

Yayımlanabilir bir tekrar çalışması nasıl tasarlanır?

1. Doğru çalışmayı seçin: Çok atıf alan, kuramsal ya da uygulamalı önemi yüksek, ama küçük örneklemle yapılmış ya da yalnız tek bir bağlamda sınanmış bir bulgu iyi bir adaydır.
2. Gerekçeyi yazın: "Bu bulguyu neden yeniden sınamak gerekiyor?" sorusuna bir paragraflık cevap hazırlayın; bu paragraf girişin ve editöre mektubun omurgası olacaktır.
3. Materyale ulaşın: Özgün çalışmanın ölçme araçlarını, yönergelerini ve varsa analiz kodunu edinin; eksikse yazarlarla nazikçe iletişime geçin. Telifli ölçeklerde kullanım iznini ayrıca alın.
4. Örneklemi hesaplayın: Özgün etki büyüklüğünü temel alarak güç analizi yapın; yayımlanmış etkilerin çoğu zaman olduğundan büyük olabileceğini hesaba katın. Yöntem için G*Power ile örneklem büyüklüğü hesaplama maddesine bakın.
5. Başarı ölçütünü önceden tanımlayın: "Tekrarlandı" demek için neye bakacağınızı veri toplamadan yazın: etkinin yönü, anlamlılığı, etki büyüklüğünün güven aralığı ya da özgün etkiyle karşılaştırma.
6. Ön kayıt yapın: Hipotez, örneklem, analiz planı ve başarı ölçütünü herkese açık bir ön kayıt platformunda zaman damgasıyla kaydedin. OSF'de adım adım kayıt için ön kayıt (preregistration) maddesine bakın.
7. Etik onayı alın: Yeni veri topluyorsanız, özgün çalışma onaylı olsa bile kendi kurumunuzdan etik kurul onayı gerekir. Süreç için etik kurul onayı nasıl alınır maddesine bakın.
8. Veriyi paylaşıma hazırlayın: Veri ve analiz kodunu düzenli tutun; birçok dergi tekrar çalışmalarında veri paylaşımını özellikle önemser. Ayrıntılar araştırma verileri yönetimi maddesinde.

Tekrar çalışması makalesi nasıl yazılır?

Makalenin iskeleti olağan bir araştırma makalesine benzer, ama her bölümün ağırlığı farklıdır.

• Başlık: Çalışmanın tekrar olduğunu saklamayın; başlıkta ya da alt başlıkta özgün çalışmaya işaret edin ("… bulgusunun Türkiye örnekleminde doğrudan tekrarı" gibi).
• Giriş: Özgün bulguyu, neden önemli olduğunu ve neden yeniden sınanması gerektiğini anlatın. Literatürde başka tekrar denemeleri varsa onları da tartışın.
• Yöntem: Özgün çalışmayla farkları gösteren kısa bir karşılaştırma tablosu ekleyin (örneklem, ölçme aracı, işlem, analiz). Ön kayıttan sapmaları gerekçesiyle yazın.
• Bulgular: Önceden tanımladığınız ölçüte göre sonucu bildirin; anlamlılığın yanında etki büyüklüğü ve güven aralığı verin. Hesaplama için etki büyüklüğü hesaplama maddesi işinize yarar.
• Tartışma: Sonuç tekrarlanmadıysa "özgün çalışma yanlıştı" demeyin; örneklem, bağlam, zaman ve ölçme farklarının olası rolünü tartışın. Tekrarlandıysa da etkinin büyüklüğünü özgün çalışmayla karşılaştırın.

Editöre mektupta çalışmanın bir tekrar olduğunu ilk paragrafta söyleyin ve gerekçeyi iki-üç cümleyle verin; derginin tekrar çalışmalarına açık olduğunu gösteren bir politika varsa ona değinin. Mektup yapısı için dergi editörüne cover letter maddesine bakabilirsiniz.

Sık yapılan hatalar

Tekrar çalışmanızın akademik değerlendirmede (ör. atama ya da doçentlik başvurusunda) nasıl sayılacağı, makalenin türünden çok yayımlandığı dergi ve dizin ile ilgili kriterlere bağlıdır; kendi başvurunuz için ilgili kriterleri ayrıca okuyun.

Kaynaklar ve resmî bağlantılar

• PLOS ONE — Criteria for Publication — tekrar çalışmalarında bilimsel gerekçe şartı ve negatif/null sonuçların değerlendirilmesi.
• Center for Open Science — Registered Reports — kayıtlı rapor biçimi, ilkesel kabul ve bu biçimi sunan dergiler.
• DergiPark — Türkçe dergilerin yazım kuralları ve kabul ettikleri makale türleri.
• TR Dizin — ulusal dizindeki dergilerin listesi ve dergi değerlendirme ölçütleri.