TARK 2023 Deneysel ve Klinik Sözlü Sunum Yarışmalarında Sunulan Bildirilerin Okunabilirlik Düzeylerinin Belirlenmesinde ChatGPT ile Ateşman Formülünün Karşılaştırılması
Olcay Demir, Asuman Mehel
Samsun eğitim araştırma hastanesi
Giriş: Bilimsel kongrelerde sunulan bildirilerin okunabilirlik düzeyi, bilgilerin etkin bir şekilde iletilmesinde büyük önem taşır. Türkçe metinlerin anlaşılabilirliğini ölçmek amacıyla kullanılan Ateşman Okunabilirlik Formülü, cümle başına ortalama kelime sayısı ve kelime başına düşen hece sayısına dayalı hesaplama yöntemi sunar (1). Literatürde Türkçe metinler için bu indeksin sık uygulandığı görülmektedir. Bununla birlikte, yapay zeka programları da, metinin karmaşıklığını ve içeriğini analiz edebilme yeteneğine sahiptir. Bu çalışmanın amacı, Türk Anesteziyoloji ve Reanimasyon Kongresi (TARK) 2023’te yarışmada sunulan bildirilerin okunabilirlik düzeylerini belirlemede ChatGPT ile Ateşman Formülünü karşılaştırarak iki yöntemin etkinliğini değerlendirmektir
Gereç ve Yöntem: Klinik ve deneysel yarışmalarda sunulan bildirileri belirlemek için derneğimizin https://akademi.tard.org.tr internet sayfasına 01.10.2024 tarihinde erişim sağlanmıştır. İlk aşamada, her bir bildirinin okunabilirlik düzeyi Ateşman Formülü kullanılarak hesaplanmıştır (http://okunabilirlikindeksi.com). İkinci aşamada ise, aynı bildiriler ChatGPT kullanılarak okunabilirlik açısından analiz edilmiştir. Her iki yöntemle elde edilen sonuçlar Spearman’s korelason testine tabi tutulmuştur.
Bulgular: Deneysel ve klinik sözlü sunum yarışmalarında sunulan 10’ar bildiri değerlendirildi. Deneysel sunularla ilgili Spearman korelasyon analizinde, Ateşman ve ChatGPT skorları arasında düşük seviyede negatif bir korelasyon gözlenmiş ancak bu ilişki istatistiksel olarak anlamlı bulunmamıştır (r(8) = -0,12, p = 0,737). Öte yandan, klinik sunularla ilgili Spearman korelasyon analizinde Ateşman ve ChatGPT skorları arasında düşük seviyede pozitif bir korelasyon saptanmış, ancak bu da istatistiksel olarak anlamlı değildir (r(8) = 0,29, p = 0,416) (şekil 1).
Tartışma ve Sonuç: Bu çalışma, ChatGPT ve Ateşman Formülü’nün bilimsel bildirilerin okunabilirlik düzeylerini belirlemede birbirleriyle korele olmadığını belirledik. Daha kapsamlı ve sayıca fazla metinlerin değerlendirildiği çalışmalarla ileri düzey korelasyon ve validasyon çalışmalarına ihtiyaç vardır.
|