Yakın zamanda ÖSYM Başkanı, "Sınav sorularını yapay zekâ oluşturacak." şeklinde bir açıklama yapmıştı. Başkan, insan faktörünün arka plana atılmayacağını belirtmiş olsa da akıllarda pek çok soru işareti olacak gibi görünüyor.
Biz de sizler için günümüzdeki en popüler yapay zekâ aracı olan ChatGPT 4'e ÖSYM tarzı sorular hazırlattık ve cevaplarını istedik. Ardından da çıkan sonuçları bir öğretmenimize sorduk. Gelin bakalım ne tür sonuçlar çıkmış birlikte tartışalım:
Öncelikle ÖSYM web sitesinden 2021-AYT/Fen Bilimleri sorusunun görselini ChatGPT'ye vererek kendisinden benzer bir soru yapmasını istedik:Not: ÖSYM, kendi hazırladığı soruyu hiçbir yerde paylaşmaya izin vermediği için sansürlemek durumundayız.
Ardından da ChatGPT bizlere şöyle bir soru hazırladı:Aslında bakıldığında çok iyi hazırlanmış gibi duruyor, öyle değil mi? Örnek olarak attığımız soruyu, sansürlediğimiz için belki göremediniz ama neredeyse ona çok benzer bir soru hazırladı. Hatta tablosuna kadar dikkat edip özgün bir soru oluşturdu. Peki gerçekten göründüğü kadar iyi mi?
Hazırladığı bu soruyu detaylı bir şekilde çözmesini ve ardından da cevabı istedik:Özet geçecek olursak: "Birbirini işaret eden Spider-Man" diyebiliriz çünkü kendisi cevabı "20" buldu. Hem de bir değil iki kez çözdü ve yine aynı sonuca ulaştı. İlkinde cevabı bulduktan sonra bu cevabın seçeneklerde olmadığını fark etti ve kendi kendine çelişkiye düşüp "Soruda bu seçenek yok, o yüzden çözümde hata olmalı." dedi ve tekrar çözmeye başladı.
Uzunca bir süre beynini yorduktan sonra cevabı tekrardan "20" buldu ve "Soru hatalı veya yazım hatası var." deyip kendi kendine laf attı. İçimizden "Yahu soruyu sen hazırladın, nasıl soru hatalı olabilir?" dedik ve bayağı güldük. İşin komik bir tarafı daha var...
Bulduğu "20" cevabını teyit etmek amacıyla Kimya Öğretmeni Muzaffer Baz hocamıza ulaştık ve kendisi bize şöyle bir cevap verince daha da şaşırdık:"Şimdi sorunun başında bir kere mantık hatası var. Soru kökünde başlangıç kısmı tam belirgin değil. İlk başta çözelti var mı, yok mu? Yoksa suya 40 g tuz ekleyince mi doygun oluyor? Bunların hiçbiri belirtilmemiş. Ben ilk başta çözeltide tuz varmış gibi düşünerek soruyu çözdüm ve sonuç 1300/85=15,29 çıktı ve tam sayı çıkmadı."Yapay zekânın cevabı yanlış bulmasının sebebi muhtemelen hocamızın da dediği gibi sorunun hatalı olmasından kaynaklı. Çünkü yukarı çıkıp birazcık okursanız kendisi de varsayım üzerinden çözmeye çalışmış ve kafası karışmış. Ek olarak hocamız, yapay zekâ ile soru hazırlanmasına karşın şöyle cevaplarda da bulundu:
"Soruların yapay zekâ ile değil de insan eliyle oluşturulması gerekiyor çünkü soruyu çözümleyecek olan kişi, insan. Bu sebeple daha anlaşılır bir dille öğrencilere sorular sorulması gerekiyor. Öğrencinin kafasını karıştırabilecek, ne istediğini düzgün bir biçimde anlatamayan sorular, kaliteli değildir. Ayrıca bu sistemle yapılan bir sınavda zorluk seviyesi de belirlenemeyebilir. Her şeyi hesaba kattığımızda şu anki hâli ile yapay zekânın hiçbir şekilde soru hazırlaması mümkün gözükmüyor. Ha tabii ki ileride insan eliyle bir soru havuzu oluşturulur ve bu soru havuzuyla eğitilen bir yapay zekâ soru oluşturursa daha kapsayıcı, güzel ve yanıltıcı olmayan bir sınav ortaya çıkar.Kendisine verdiği cevaplardan dolayı teşekkür ediyoruz.Belki bazılarınız "Siz soruyu görsel olarak attınız, bir de yazı olarak deneyin." diyebileceği için bir şans daha verdik ve matematik sorusu hazırlattık:Başlangıçta matematik sorusu olduğu için ümitliydik fakat sonuç tahmin ettiğimiz gibi olmadı. Soruyu yazıyla yazmamıza ve prompt'unu da değiştirmemize rağmen bu sefer çok daha kötü bir sonuçla karşı karşıya kaldık. Hatta bu sefer sonuç o kadar kötüydü ki hata vermesine bile sebep oldu.
"Oluşturduğun sorunun cevabının şıklarda olmasına özen göster." dediğimiz için soruyu oluşturur oluşturmaz çözmeye başladı ve işin içinden çıkamadı.
Sonuç olarak, yapay zekâ şu an güvenilir bir kaynak olabilecek gibi durmuyor.
Evet, yapay zekâ günümüzde çok popüler ve zaman geçtikçe akılalmaz seviyelere illaki ulaşacaktır ancak gelin görün ki bu hâli ile hocalarımızın hazırladığı soruları hazırlayabilecek yeterliliğe sahip değil.
Yapay zekâ, şu an daha 2-3 yaşında ve her şeyi yeni yeni öğrenen bir bebek gibi. Siz ona bir şey verirsiniz, eğitirsiniz ve öğretirsiniz. O da karşılığında size, öğrettiğiniz şekilde benzer cevaplar verir.
Biz burada ChatGPT 4 kullandık ve hiçbir şekilde bir eğitim vermeden benzer sorular hazırlamasını istedik. Belki de ÖSYM'den birden fazla sorular atıp soru tarzlarını ve yazılış biçimlerini öğrenmesini isteseydik sonuçlar farklı olabilirdi, bilemiyoruz.
Şu an kullandığımız sürüm, internetten veri çekebiliyor ama kendi başına buyruk hareketler yapamıyor. Hatta internetten veri çekse bile bazen bilgileri uydurup yanlış bilgiler verebiliyor. Zamanında "Kim Milyoner Olmak İster?" yarışmasının bazı sorularına da yanlış cevaplar vermişti.