Yeni bir araştırmaya göre ChatGPT, bir lisans öğrencisiyle eşleşen veya onu aşan düzeyde problem çözebiliyor.
Araştırmacılar, sohbet robotunun temelini oluşturan GPT-3 büyük dil modelinin, zeka testlerinde veya Amerikan üniversiteye giriş sınavı SAT gibi sınavlarda ortaya çıkan muhakeme problemlerini çözmeleri istendiğinde ABD’li üniversite lisans öğrencileri kadar iyi performans gösterdiği kaydedildi.
Los Angeles’taki California Üniversitesi’nden psikologlar, GPT-3’ün karmaşık bir şekiller dizisindeki bir sonraki görüntüyü tahmin etme yeteneğini, görüntüleri yapay zekanın anlayabileceği bir metin formatına dönüştürdükten ve GPT-3’ün sorularla daha önce hiç karşılaşmadığından emin olduktan sonra test ettiler.
Problemler 40 UCLA lisans öğrencisine de uygulandı ve araştırmacılar GPT-3’ün problemlerin yüzde 80’ini doğru çözdüğünü, bu oranın insan katılımcılar için yüzde 60’ın biraz altında kaldığını belirtti.
Araştırmacılar ayrıca modelden, internette yayınlanmadığına ve bu nedenle üzerinde eğitildiği büyük miktarda veride yer alamayacağına inandıkları bazı “analoji” sorularını çözmesini istedi.
ÜNİVERSİTE ÖĞRENCİLERİNDEN DAHA İYİ PERFORMANS SERGİLEDİ
UCLA ekibi, üniversite adaylarının SAT puanlarıyla karşılaştırıldığında, yapay zekanın insanlar için ortalama puandan daha iyi performans gösterdiğini tespit etti.
GPT-4 DAHA İYİ SONUÇ VERİYOR
Araştırmacılar modelden ve gönüllü öğrencilerden bu kez bir düzyazıyı aynı anlamı taşıyan farklı bir kısa hikayeyle eşleştirmelerini istedi.
Nature Human Behaviour dergisinde yayınlanan araştırmaya göre, GPT-3 bu testte öğrencilerden daha az başarılı oldu, ancak GPT-3’ün geliştirilmiş versiyonu olan GPT-4 öncekinden daha iyi sonuç verdi.
Çalışma, GPT-3’ün örüntüleri tespit etme ve ilişkileri çıkarma konusunda şaşırtıcı derecede güçlü bir kapasite sergilediğini, çoğu ortamda insan yetenekleriyle eşleştiğini ve hatta onları aştığını ortaya koydu.
“KESİNLİKLE İNSAN SEVİYESİNDE BİR ZEKA DEĞİL”
Çalışmanın baş yazarı Taylor Webb, ChatGPT’yi yönlendiren modelin insan düzeyinde zeka standardında olmadığını söyledi.
Webb şu ifadelerle GPT’yi tanımladı; “Kesinlikle tam olarak genel insan seviyesinde bir zeka değil. Ancak belirli bir alanda kesinlikle ilerleme kaydetti”
UCLA araştırmacıları, San Francisco merkezli OpenAI şirketi tarafından geliştirilen GPT-3’ün iç işleyişine erişimleri olmadan, modelin muhakeme yeteneklerinin nasıl çalıştığını ve bir insan gibi mi düşündüğünü yoksa yeni bir zeka biçimi mi gösterdiğini belirleyemediklerini de sözlerine ekledi.
UCLA psikoloji profesörü Keith Holyoak, “GPT-3 bir tür insan gibi düşünüyor olabilir. Ama öte yandan, insanlar tüm interneti yutarak öğrenmediler, dolayısıyla eğitim yöntemi tamamen farklı. Gerçekten insanların yaptığı gibi mi yapıyor yoksa gerçek bir yapay zeka mı? bilmek isteriz ki bu da başlı başına şaşırtıcı olurdu.” ifadelerini kullandı.
