Teknoloji devleri birer ikişer yapay zekâ alanına girdiklerini açıklamış, Meta, OpenAI ve Google gibi geliştiriciler kendi modellerini ortaya koymuştu. Apple da Apple Intelligence adını verdiği yapay zekâ modeli ile karşımıza çıkmıştı. Apple'ın yapay zekâ araştırmacıları bu büyük dil modellerinin matematiksel akıl yürütme görevlerinde nasıl performans gösterdiklerini inceledi.
Çalışma, büyük dil modellerinin mantık kurma biçimindeki hatayı da ortaya çıkardı. Buna göre büyük dil modelleri, gerçek anlamda mantık yürütmek yerine daha önceden eğitimlerde öğrendikleri örüntü eşleştirme tekniklerini kullanıyor. Bu da soruların sorulma şekli değiştirildiğinde yapay zekâların cevaplarında değişiklikler olmasına sebebiyet veriyor. Örneğin kivi sayılarının toplanması istenen bir soruda kivilerin ağırlıkları ya da boyu gibi bilgiler verildiğinde cevaplar da değişiyor.
Modellerin güvenilirliğini azaltıyor
Araştırma ekibinden yapılan açıklamaya göre bu tür değişimler, model davranışını dikkate değer bir şekilde etkiliyor ve modellerin güvenilirliğini azaltıyor. Araştırmacılara göre sadece isimler değiştirmek bile model performansında yüzde 10'luk bir değişime neden olabiliyor. Bu durumun nedeni olarak ise modellerin biçimsel akıl yürütme yerine karmaşık örüntü tanıma yöntemleri kullanması gösteriliyor.
Araştırmacılara göre bu sorunu çözmek için geleneksel sembol temelli akıl yürütme ile nöral ağların birleştirildiği nörosimbiyotik yapay zekâ yaklaşımları benimsenebilir. Böylece yapay zekâ daha doğru kararlar alabilir ve soruları daha doğru bir şekilde çözebilir.