Yapay zeka yanılgı ayıklamada hâlâ yazılımcıların çok gerisinde

Yakın bir gelecekte pek çok bölümde iş imkânlarını hayli kısıtlayacak olan yapay zeka, yazılımcılar açısından da önemli bir risk teşkil ediyor. Bugün bile kod yazma konusunda etkileyici kabiliyetlere sahip olan yapay zekanın önümüzdeki birkaç yıl içinde pek çok vazifesi kendi başına yerine getirebileceğine inanılıyor. Bu yüzden pek çok şirketin yazılımcıların yerini AI ile doldurmasından korkuluyor. Hatta bunun birinci emeralerini şimdiddden görmeye başladık. Hatırlarsanız Mark Zuckerberg ocak ayında bir açıklama yaparak, Meta’daki kod yazma işlerinin bir kısmını bu yıl içinde AI’a devretmeye başlayacaklarını açıklamıştı.

Başta Meta olmak üzere Silikon Vadisi’nde pek çok şirket kod yazma konusunda AI’a gittikçe daha çok güveniyor olsa da Microsoft tarafından paylaşılan son datalar, bu hususta biraz telâşlı davranıldığını gösteriyor. Çünkü yapay zeka, bilhassa kusur ayıklama konusunda hâlâ yazılımcıların çok gerisinde.

Debug-gym, Yapay Zekanın Yanılgı Ayıklama Kabiliyetlerini Test Ediyor

Microsoft Research, yapay zekanın kod yazma ve yanılgı ayıklama konusunda ne durumda olduğunu görmek ve bu alanlarda daha da gelişmesini sağlamak için Debug-gym adını verdiği yeni bir araç geliştirdi. GitHub üzerinden kullanıma sunulan Debug-gym, AI modellerinin olağanda programlarının kesimi olmayan yanılgı ayıklama araçlarını da kullanabildikleri bir platform sunuyor.

Microsoft tarafından paylaşılan sonuçlar, yapay zeka modellerinin Debug-gym’in kendilerine sunduğu bu araçları kullanırken bile yanılgı ayıklamada o kadar düzgün olmadığını gösteriyor. Debug-gym dışındaki performanları ise çok daha makûs.

Üstteki grafikte de görüleceği Claude 3.7, OpenAI o1, OpenAI o3-mini gibi bugün kullanımda olan en güçlü yapay zekalardan kimileri bile kod yazma konusunda şimdi istenen noktada değiller. Bilhassa kusur ayıklama araçlarını kullanmadıklarında. Debug-gym’in kendilerine sunduğu kusur ayıklama araçlarını kullandıklarında performanslarında kayda paha bir artış yaşandığı görülüyor. Lakin burada bile elde edilen en yüksek muvaffakiyet oranı yüzde 48.4.

Yapay zekanın Debug-gym’de kendisine sunulan kusur ayıklama araçlarını tam olarak nasıl kullanacağını bilmediği, zira bu bahiste eğitilmediği vurgulanıyor. Yapay zeka bu alanda daha çok eğitilip, buna yönelik araçlarla donatıldıkça, muvaffakiyet oranı da artacaktır. Hakikaten Debug-gym’deki tam olarak anlamadığı araçları kullandıklarında bile performanslarında önemli bir artış yaşandığı görülüyor. Zaten Microsoft Research de Debug-gym aracıyla yapay zekaların gelişimine katkıda bulunmayı hedefliyor.

Microsoft Research takımı tarafından yazılan makalede, yanılgı ayıklamaya özel olarak ayarlanmış bir modelin daha yeterli sonuç verebileceğine dikkat çekiliyor. Bu noktada ortaya çıkan bir tahlil, bu büyük lisan modellerine eşlik edecek daha küçük modeller geliştirmek olabilir. Büsbütün bilgi toplama ve kusur ayıklama odaklı bu küçük model, daha sonra bu bilgileri büyük modele aktararak çok daha yeterli sonuçlar vermesini sağlayabilir. Lakin en azından şimdilik, kusur ayıklama konusunda yapay zekanın yazılımcılara alternatif olması üzere bir durum kelam konusu değil.