Yapay zekanın yaratıcı üretimdeki rolü tartışılmaya devam ederken, ABD’de gerçekleştirilen yeni bir araştırma, okurların bir metni değerlendirirken yazarın kimliğinden ne ölçüde etkilendiğini ortaya koyuyor. Cambridge University Press’in Judgment and Decision Making dergisinde yayımlanan “Bot or not” başlıklı araştırmaya göre, ChatGPT tarafından üretilen kısa hikayeler, insan yazarların eserlerine kıyasla hem kalite hem de okuru içine çekme bakımından daha yüksek puanlar alıyor. Buna karşılık, bir metnin insan tarafından yazıldığına inanılması, gerçek kaynağından bağımsız olarak değerlendirmeleri olumlu yönde etkiliyor.
Villanova Üniversitesi araştırmacıları Sydney Sears ve Deena Skolnick Weisberg tarafından yürütülen çalışma, toplam 2.587 yetişkinin katıldığı üç deneyden oluşuyor. Yaş, cinsiyet ve ırk bakımından ABD nüfusunu temsil edecek şekilde seçilen katılımcılara, daha önce edebiyat dergilerinde veya öykü derlemelerinde yayımlanmış üç insan yapımı hikaye ile ChatGPT-4 tarafından oluşturulan üç hikaye sunuldu. Yaklaşık 1.000 kelimelik metinler, benzer konular ve anlatı özellikleri üzerinden karşılaştırıldı.
ChatGPT’nin hikayeleri daha yüksek puan aldı
İlk deneyde 1.682 katılımcıdan okudukları hikayeleri kalite ve sürükleyicilik açısından değerlendirmeleri istendi. Katılımcıların bir bölümüne metinlerin gerçek yazarı söylenirken diğerlerine kasıtlı olarak yanlış bilgi verildi. Araştırmacılar, bu yöntemle metnin kendisine yönelik beğeni ile yazarın kimliğine ilişkin algıyı ayrı ayrı ölçmeyi amaçladı.
Sonuçlar, yapay zeka tarafından üretilen metinlerin belirgin bir üstünlük sağladığını gösterdi. Eksi 3 ile artı 3 arasındaki değerlendirme ölçeğinde ChatGPT’nin hikayeleri sürükleyicilik açısından ortalama 1,42 puan alırken, insan yazarların hikayeleri 1,00 puanda kaldı. Algılanan kalite bakımından fark daha da açıldı. Yapay zeka üretimi metinler 1,54 puana ulaşırken insan yapımı metinler 0,97 puan aldı.
Ancak katılımcılara hikayelerin kim tarafından yazıldığı söylendiğinde değerlendirmeler değişti. İnsan tarafından yazıldığı belirtilen hikayeler, gerçek kaynağı ne olursa olsun, sürükleyicilik açısından ortalama 1,32 puan aldı. Yapay zekaya atfedilen metinlerde bu değer 1,10’a geriledi. Kalite puanlarında da benzer bir tablo ortaya çıktı. İnsan imzası taşıdığı söylenen metinler 1,40, yapay zekaya atfedilenler ise 1,12 puan aldı.
Bu sonuçlar, literatürde “algoritmadan kaçınma” olarak tanımlanan eğilimle örtüşüyor. İnsanlar, aynı çıktıyı bir algoritmanın ürettiğini öğrendiklerinde ona daha düşük değer verebiliyor. Araştırmacıların ifadesiyle katılımcılar, yapay zekanın hikayelerini daha kötü bulacaklarına inanmalarına rağmen gerçekte bu hikayeleri tercih ediyor.
Okurlar yapay zekanın yazdığını ayırt edemiyor
Araştırmanın ikinci ve üçüncü deneyleri ise farklı bir soruya odaklandı: İnsanlar, hangi metnin ChatGPT tarafından yazıldığını gerçekten anlayabiliyor mu? Bu kez katılımcılara biri insan, diğeri yapay zeka tarafından yazılmış iki hikaye sunuldu ve hangisinin hangi kaynaktan geldiğini belirlemeleri istendi. İkinci deneyde yer alan 424 kişinin yalnızca yüzde 40’ı doğru tahminde bulundu. Bu oran, rastgele seçim yapıldığında beklenen yüzde 50’lik başarı düzeyinin altında kaldı.
Deney 481 kişilik yeni bir grupla tekrarlandığında doğru tahmin oranı yüzde 52 oldu. Ancak bu sonuç da istatistiksel açıdan rastgele tahminden anlamlı biçimde farklılaşmadı. Her iki deneyde de okurların insan ile yapay zeka tarafından yazılmış hikayeleri güvenilir biçimde ayırt edebildiğine dair kanıt elde edilemedi.
Araştırmanın bir başka bulgusu ise deneyimin etkisiyle ilgiliydi. Edebiyat alanındaki bilgi ve deneyim, doğru tahminde bulunma olasılığıyla anlamlı bir ilişki göstermedi. Buna karşılık, yapay zeka sistemlerine daha aşina olan katılımcılar metinlerin kaynağını belirlemede daha başarılıydı.
Üstelik okurların kullandığı bazı ipuçları yanıltıcı sonuçlar doğurdu. İkinci deneyde metnin diline odaklandığını belirten kişilerin hata yapma olasılığı daha yüksekti. Üçüncü deneyde de dil özelliklerinden veya hikayeden ne kadar keyif aldığından hareketle karar verenler daha sık yanıldı. Sembolizme dikkat etmek ise doğru tahminle sınırlı düzeyde ilişkilendirildi.
Yapay zekanın akıcı dili neden daha çok beğeniliyor?
Araştırmacılara göre ChatGPT’nin hikayelerinin daha yüksek puan almasının olası nedenlerinden biri, metinlerin kolay okunması ve anlaşılması. Önceki çalışmalar, yapay zeka tarafından üretilen içeriklerin genellikle daha akıcı ve kolay yorumlanabilir olduğunu, okurların da bu özelliklere olumlu tepki verdiğini gösteriyor.
İnsan yazarların eserleri ise daha fazla belirsizlik, karmaşıklık ve yorumlama güçlüğü içerebiliyor. Bu durum, özellikle kısa metinlerde okuma deneyimini zorlaştırabiliyor. Bununla birlikte araştırmacılar, bir hikayenin kolay okunmasının veya okuru içine çekmesinin tek başına daha yüksek edebi kalite anlamına gelmediğini vurguluyor.
Çalışmada dikkat çekilen bir başka olasılık da yapay zekanın üretim biçimiyle ilgili. ChatGPT, çok büyük miktarda içerikten öğrendiği dilsel ve anlatısal örüntüler üzerinden yeni metinler oluşturuyor. Araştırmacılara göre bu süreç, insan eserlerindeki bazı sıra dışı özellikleri yumuşatarak daha geniş bir okur kitlesine hitap eden anlatılar ortaya çıkarabiliyor.
Ancak bu eğilim, yaratıcı üretimin çeşitliliği açısından sınırlamalar da barındırıyor. Araştırmada atıfta bulunulan önceki çalışmalar, yapay zeka tarafından üretilen yaratıcı çıktıların birbirine daha fazla benzeme eğiliminde olduğunu, insan üretimlerinin ise bütün olarak değerlendirildiğinde çok daha geniş bir çeşitlilik sunduğunu gösteriyor.
Araştırmacılar ayrıca yaratıcı üretimin fikir geliştirme ve ortaya çıkan fikirler arasından seçim yapma aşamalarına dikkat çekiyor. Yapay zeka modelleri çok sayıda alternatif üretme konusunda güçlü sonuçlar verebilirken, insanın değerlendirme ve seçme sürecine dahil olması nihai ürünün kalitesini artırabiliyor. Önceki araştırmalar da insanların yapay zeka tarafından üretilen farklı seçenekler arasından seçim yapmasının, ortaya çıkan çalışmanın daha olumlu değerlendirilmesini sağlayabildiğine işaret ediyor.
İnsan imzasının değeri korunuyor
Araştırmanın sonuçları, yapay zeka çağında yaratıcı eserlerin nasıl değerlendirildiğine ilişkin önemli sorular ortaya çıkarıyor. Bir metnin kalitesine yönelik algı, yalnızca içeriğin özelliklerinden etkilenmiyor. Okurun eserin arkasında bir insan bulunduğuna inanması da değerlendirmeye doğrudan yansıyor.
Bununla birlikte araştırmacılar, bulguların sınırlarına dikkat çekiyor. Deneylerde kullanılan metinler yaklaşık 1.000 kelimelik gerçekçi kısa hikayelerden oluşuyor. Aynı sonuçların uzun romanlarda, farklı edebi türlerde veya başka kültürlerde geçerli olup olmayacağı henüz bilinmiyor. Ayrıca katılımcıların tamamı ABD’den seçildi ve metinlerin kaynağını belirlemeleri istenen deneylerde bir hikayenin insan, diğerinin yapay zeka tarafından yazıldığı önceden söylendi.
Tüm bu sınırlamalara rağmen çalışma, yaratıcı içerik üretiminde dikkat çekici bir algı farklılığını görünür kılıyor. Okurlar, yapay zekanın ürettiği metinlerden daha fazla keyif alırken aynı metinleri bir insana ait olduklarını düşündüklerinde daha değerli bulabiliyor. Bu çelişki, yapay zekanın giderek daha fazla içerik ürettiği medya, yayıncılık, reklam ve yaratıcı endüstrilerde, eserlerin kim tarafından üretildiği bilgisinin okur ve tüketici algısındaki rolünü yeniden gündeme taşıyor.