Dr. Google'dan Dr. ChatGPT'ye: Preoperatif ağrı kontrolü için yapılan bloklar hakkında yapay zeka tarafından üretilen tıbbi bilgilerin içeriği ve kalitesinin değerlendirilmesi
Semin Turhan
Hitit Üniversitesi Erol Olçok Eğitim ve Araştırma Hastanesi
Giriş: Yapay zeka destekli büyük dil modelleri, çevrimiçi konuşma platformlarında bilgi arama ve sağlık hizmetlerinde kullanım potansiyeline sahip. Preoperatif ağrı kontrolü için yapılan bloklar gibi tıbbi konular hakkında üretilen içeriklerin kalitesi ve kullanılabilirliği incelenerek, yapay zeka tarafından üretilen bilgilerin halk sağlığı açısından güvenilirliği değerlendirilmektedir.
Gereç ve Yöntem: Yaygın olarak kullanılan üç yapay zeka sohbet botu, ChatGPT-3.5 ve ChatGPT-4o (OpenAI, San Francisco, California) ve Gemini (Google, Mountain View, California) preoperatif ağrı kontrolü için yapılan bloklar hakkında içerik oluşturmak için sorgulandı. Yapay zeka tarafından oluşturulan içerikleri değerlendirmek için, her biri 5 puanlık bir Likert ölçeğinde puanlanmış 16 farklı kriteri içeren modifiye edilmiş bir DISCERN değerlendirme aracı (puan aralığı 16-80) kullanıldı. Okunabilirlik, Flesch Okuma Kolaylığı (FRE) ve Flesch-Kincaid Sınıf Seviyesi (FKGL) puanları kullanılarak belirlendi. Üç araştırmacı, AI platformlarının kimliğinden bağımsız olarak oluşturulan metinleri bağımsız olarak puanladı.
Bulgular: ChatGPT-3.5, ChatGPT-4o ve Gemini 16-80 aralığında genel ortalama (SD) kalite puanları sırasıyla 51.0 (1.3), 68.5 (1.1), 69.0 (1.2) idi. Değerlendiriciler arası güvenilirlik sırasıyla 0.80, 0.82, 0.83 idi. ChatGPT-3.5 (p=0.001) ve ChatGPT-4o Gemini (p=0.001) ile karşılaştırıldığında anlamlı derecede daha düşük bir ortalama kalite puanı sergiledi. Gemini, doğrulanabilir kaynakları listeleyen tek yapay zeka platformuydu, ChatGPT-3.5 ise uydurma kaynaklar sağladı. Tüm sohbet botları, belirtiler yaşanıyorsa bir doktora danışmayı önerdi. Okunabilirlik açısından, ChatGPT-3.5, ChatGPT-4o, Bard ve Claude-2'nin FKGL ve FRE puanları sırasıyla 14.5 ve 23.9, 33.5 ve 22.5, 30.0 ve 22.7 idi; bu da üniversite okuma becerisi düzeyinde zor okunabilirlik göstermektedir.
Tartışma ve Sonuç: Preoperatif ağrı kontrolü için yapılan bloklar üzerine yapay zeka tarafından üretilen tıbbi bilgiler, kalite değerlendirmesinde olumlu bir şekilde puan aldı, ancak çoğu ya kaynaklarını uydurdu ya da hiç sağlamadı. Ayrıca, genel olarak okunabilirlik, halk için önerilen seviyeleri önemli ölçüde aştı. Üretebilir yapay zeka platformları, preoperatif ağrı kontrolü hakkında hasta eğitimi ve ilgisini artırma konusunda ölçülü bir potansiyel sergilemektedir.
|