Üniversite Sıralamaları Ne Kadar Güvenilir? Yöntemsel Eleştiriler ve Doğru Okuma

Üniversite sıralamaları güvenilir mi?

Her yıl yeni bir sıralama açıklandığında aynı haberler dolaşır: bir üniversite "yüz basamak yükseldi", bir başkası "listeden düştü". Bu haberlerin arkasında, binlerce kurumu tek bir sayıya indirgeyen bileşik göstergeler vardır. Bu madde sıralamaların ne olduğunu tanıtmaz; yöntemlerinin nerede zayıfladığını ve sıralama haberlerini nasıl eleştirel okuyacağınızı anlatır. THE, QS ve ARWU'nun hangi göstergeleri kullandığını öğrenmek için THE, QS ve ARWU farkları ile Türkiye üniversite sıralamaları 2026 maddelerine bakın.

Kısa cevap şudur: sıralamalar ölçtükleri şey konusunda kısmen bilgilendirici, iddia ettikleri şey konusunda ise sınırlıdır. Bir sıralama "en iyi üniversite" sorusuna cevap verdiğini öne sürer; oysa ölçtüğü şey seçilmiş birkaç göstergenin, seçilmiş ağırlıklarla toplanmış hâlidir. Bu ayrımı akılda tutunca sıralamalar işe yarar bir araç olur; unutulunca yanıltıcı bir karne hâline gelir.

Sıralamalar nasıl hesaplanır ve sorun nerede başlar?

Çoğu genel sıralama aynı reçeteyi izler:

1. Kaliteyi temsil ettiği varsayılan göstergeler seçilir (yayın, atıf, itibar, öğretim üyesi-öğrenci oranı, uluslararası öğrenci gibi).
2. Her gösterge için veri toplanır: bir kısmı bibliyometrik veri tabanlarından, bir kısmı anketlerden, bir kısmı kurumların kendi beyanından.
3. Göstergeler ortak bir ölçeğe dönüştürülür (normalleştirme).
4. Her göstergeye bir ağırlık verilir ve ağırlıklı toplamla tek bir puan hesaplanır.
5. Kurumlar bu puana göre sıralanır; alt sıralarda tek tek sıra yerine 201–250 gibi bantlar kullanılır.

Her adım bir yöntem seçimidir ve her seçim sonucu etkiler. Hangi göstergenin dahil edildiği, hangisinin dışarıda kaldığı, normalleştirmenin nasıl yapıldığı ve ağırlıkların ne olduğu, aynı veriden farklı sıralamalar üretebilir. Aşağıdaki bölümler bu adımların her birindeki başlıca zayıflıkları ele alır.

Ağırlıklar neden bu kadar belirleyici?

Bileşik bir sıralamanın en tartışmalı yanı ağırlıklardır. Atıfa mı itibara mı daha çok ağırlık verileceğinin bilimsel olarak "doğru" bir cevabı yoktur; ağırlıklar sıralamayı hazırlayan kuruluşun tercihidir. Araştırma ağırlıklı göstergelere çok ağırlık veren bir sıralama büyük araştırma üniversitelerini, öğretim göstergelerine ağırlık veren bir sıralama başka kurumları öne çıkarır.

Bu tercihin etkisi küçük değildir. Puanları birbirine yakın kurumların sırası, ağırlıklardaki birkaç puanlık değişiklikle yer değiştirebilir. Bu yüzden sıralamalar metodolojilerini güncellediğinde, kurumların kendisinde hiçbir şey değişmeden sıraları değişebilir. Sitemizdeki Türkiye sıralamaları maddesinde de belirtildiği gibi, QS'nin son yıllarda göstergelerini ve ağırlıklarını değiştirmesi bunun örneğidir.

İtibar anketleri ve bibliyometrik veri neden tartışmalı?

İtibar anketleri

Bazı sıralamalar, akademisyenlere ve işverenlere hangi kurumları iyi bulduklarını soran anketlere önemli bir ağırlık verir. Bu anketler gerçek bir bilgiyi, yani alandaki tanınırlığı ölçer; ama tanınırlık ile kalite aynı şey değildir. Köklü, büyük, İngilizce yayın yapan ve uluslararası ağı geniş kurumlar daha çok tanındığı için avantajlıdır. Yanıtlayıcıların hangi ülkelerden ve alanlardan geldiği de sonucu etkiler. Üstelik iyi sıralamada olan bir kurum daha çok tanınır ve sonraki ankette yine yüksek puan alır; bu da kendini besleyen bir döngü yaratır.

Bibliyometrik veri

Yayın ve atıf göstergeleri anketten daha nesnel görünür, ama onların da sınırları vardır. Bu veriler Web of Science ya da Scopus gibi veri tabanlarından gelir ve bu veri tabanlarının kapsamı alanlara ve dillere göre eşit değildir. Fen, mühendislik ve tıp dergileri daha geniş temsil edilirken sosyal ve beşerî bilimlerde, kitap ve Türkçe yayınlarda kapsam daha dardır. Bu nedenle güçlü bir hukuk ya da edebiyat fakültesinin katkısı sıralamada az görünebilir. Veri tabanlarının farkları için Scopus ve WoS maddesine bakabilirsiniz.

Atıflar alanlar arasında da çok farklıdır: bazı alanlarda bir makale kısa sürede çok atıf alırken başka alanlarda atıf birikimi yavaştır. Sıralamalar bunu alan normalleştirmesiyle düzeltmeye çalışır, ama normalleştirme yönteminin kendisi de sonucu etkiler. Çok yazarlı büyük konsorsiyum makaleleri, küçük kurumların atıf göstergelerini orantısız biçimde yükseltebilir; bazı sıralamalar bu yüzden çok yazarlı yayınlar için özel kurallar uygular. Atıf göstergelerinin genel mantığı için bibliyometrik atıf analizi maddesine göz atabilirsiniz.

Kurum adlarının yayınlarda farklı biçimlerde yazılması da bir hata kaynağıdır: aynı üniversitenin yayınları farklı adlar altında dağılırsa kurum olduğundan düşük görünür.

Büyüklük, kurum verisi ve puan farkları sıralamayı nasıl etkiler?

Büyüklük etkisi

Toplam yayın ya da toplam atıf gibi göstergeler büyük kurumları, öğretim üyesi başına göstergeler ise küçük ama verimli kurumları öne çıkarır. Bir sıralamanın hangi tür göstergeye ağırlık verdiği, büyük devlet üniversiteleri ile küçük vakıf üniversitelerinin birbirine göre konumunu doğrudan belirler.

Kurumların kendi bildirdiği veriler

Öğretim üyesi ve öğrenci sayıları, uluslararası öğrenci oranı ya da gelir gibi göstergeler çoğu zaman kurumların kendi beyanına dayanır. Tanımlar ülkeden ülkeye farklıdır: kimin öğretim üyesi sayılacağı, yarı zamanlı personelin nasıl hesaplanacağı ya da hangi öğrencinin uluslararası sayılacağı kurumdan kuruma değişebilir. Bu verilerin bağımsız denetimi sınırlıdır.

Puan farkı ile sıra farkı

Sıralamanın orta ve alt kısımlarında kurumların puanları birbirine çok yakındır. Bu bölgede puandaki küçük bir fark, onlarca sıra farkına dönüşebilir. Sıralamalar genellikle puanların belirsizlik payını yayımlamaz; oysa birbirine çok yakın iki kurumun sırası, istatistiksel olarak ayırt edilemeyecek kadar küçük farklara dayanıyor olabilir. Bantlı gösterim bu sorunu kısmen kabul eder. Aynı geniş banttaki kurumları bölgesel listelerin nasıl ayrıştırdığını ve bunun sınırlarını THE Asya ve Gelişmekte Olan Ekonomiler sıralamaları maddesinde bulabilirsiniz. Bir haberde "50 sıra yükseldi" ifadesini gördüğünüzde puanın ne kadar değiştiğine bakın.

Sıralamalar kurumların davranışını nasıl değiştirir?

Ekonomiden gelen ve Goodhart yasası olarak bilinen gözlem genellikle şöyle özetlenir: bir ölçü hedef hâline geldiğinde iyi bir ölçü olmaktan çıkar. Sıralamalar için de bu geçerlidir. Kurumlar stratejik planlarına sıralama hedefleri yazdığında, kaliteyi geliştirmek yerine göstergeyi yükseltmeye yönelik davranışlar ortaya çıkabilir:

• Yüksek atıflı araştırmacılarla, asıl çalışma yeri başka olsa da kurum adresi kullanılmasını sağlayan düzenlemeler yapmak.
• Kendine atıf ya da karşılıklı atıf ağlarıyla atıf göstergelerini şişirmek.
• İtibar anketlerine katılacak kişilerin ağına yönelik tanıtım faaliyetleri yürütmek.
• Sıralamada ağırlığı olan göstergelere kaynak aktarıp ölçülmeyen ama önemli işlevleri (öğretim, topluma hizmet, yerel bilim) ihmal etmek.

Bu davranışlar bütün kurumlarda görülmez, ama sıralamaların bu tür teşvikler yarattığı bilinmelidir. Atıf ve dergi metriklerindeki benzer sorunlar için impact factor maddesine bakabilirsiniz.

Bir başka tartışma çıkar çatışmasıdır. Uluslararası sıralamaları hazırlayan kuruluşların bir kısmı ticari şirketlerdir ve üniversitelere veri, danışmanlık ya da etkinlik gibi hizmetler de sunar. Bu durum, sıralamanın bağımsızlığı konusunda soru işaretleri doğurur.

Sıralamaların başlıca yöntemsel sınırlılıkları: özet tablo

Sıralama haberleri nasıl eleştirel okunur? Adım adım

1. Hangi sıralama? Haber hangi kuruluşun hangi listesinden söz ediyor: genel, alan, bölge, genç üniversiteler, sürdürülebilirlik? Farklı listeler farklı şeyler ölçer.
2. Hangi yıl? Bazı sıralamalar listeye bir sonraki yılın adını verir; yıl adı ile açıklanma tarihini karıştırmayın.
3. Ne ölçülüyor? Metodoloji sayfasına bakın: hangi göstergeler, hangi ağırlıklar, hangi veri kaynağı?
4. Kaç kurum var? Bir üniversitenin "ilk 1.000'de" olması, listenin kaç kurumu kapsadığına göre farklı anlam taşır.
5. Sıra mı, bant mı, puan mı? Bantlı gösterimlerde "yükselme" ve "düşüş" ifadeleri yanıltıcı olabilir.
6. Yöntem değişti mi? Büyük sıçramalar çoğu zaman yöntem değişikliğinden kaynaklanır.
7. Hangi gösterge değişti? Yükselişin hangi göstergeden geldiğini bulun; bu, kurumda neyin değiştiğini (ya da değişmediğini) gösterir.
8. Öteki sıralamalarla tutarlı mı? Bir kurum birden çok sıralamada benzer konumdaysa bu daha güçlü bir sinyaldir.
9. Kaynağı kim? Haber, kurumun kendi basın bülteni mi? Kurumlar çoğu zaman en iyi oldukları listeyi duyurur.

Bir kurumun araştırma performansını sıralamalara bağlı kalmadan kendiniz incelemek isterseniz üniversite araştırma performansı analizi maddesindeki yöntemleri kullanabilirsiniz.

Sıralamalara ne zaman güvenilebilir? Akademisyen ve adaylar için öneriler

Sıralamaları tamamen yok saymak da doğru değildir. Belirli koşullarda yararlı bilgi verirler:

• Göstergeler tek tek okunduğunda: bileşik puan yerine sizi ilgilendiren göstergeye (örneğin alan normalleştirilmiş atıf) bakmak daha anlamlıdır. Leiden Ranking gibi bazı sıralamalar, kullanıcının hangi göstergeye göre sonuç göreceğini kendisinin seçmesine imkân verir.
• Alan bazında okunduğunda: genel sıralamada orta sıralarda olan bir kurum sizin alanınızda çok güçlü olabilir. Bunun için alan bazlı üniversite sıralamaları maddesine bakın.
• Uzun dönemli eğilim izlendiğinde: aynı sıralamada birkaç yıl boyunca istikrarlı bir yükseliş, tek yıllık sıçramadan daha anlamlıdır.
• Birden çok sıralama karşılaştırıldığında: farklı yöntemlerin ortak sonucu, tek bir yöntemin sonucundan daha sağlamdır.

Lisansüstü program ya da kadro seçerken sıralamayı bir eleme aracı olarak değil, sorulacak soruları belirleyen bir başlangıç noktası olarak kullanın. Sizin için asıl belirleyici olan danışman, araştırma grubu, altyapı ve çalışma koşullarıdır; bunlar hiçbir sıralamada görünmez. Danışman seçimi için doktora tez danışmanı seçimi maddesi yol gösterir.

Kaynaklar ve resmî bağlantılar

• CoARA, Araştırma Değerlendirmesinde Reform Anlaşması taahhütleri: sıralamaların araştırma değerlendirmesinde kullanılmamasına ilişkin taahhüt.
• CWTS Leiden Ranking, göstergeler sayfası: kullanıcının gösterge seçtiği bir sıralama örneği.
• ShanghaiRanking: ARWU metodolojisi.
• QS Top Universities: QS sıralamalarının metodoloji sayfaları.
• Times Higher Education: THE sıralamalarının metodoloji açıklamaları.