Yapay Zeka Kontrolsüz Güç Kullanımına Uğradı: PocketOS Olayı
Yazılım sektöründe son dönemlerde popüler hale gelen “vibe coding” akımı, yapay zekayı yalnızca yönlendirmekle sınırlı tutma eğilimini beraberinde getiriyor. Ancak PocketOS adlı SaaS girişiminin başından geçenler, bu rahatlığın ne tür sonuçlar doğurabileceğini gözler önüne seriyor.
Şirketin kurucusu Jer Crane’in aktardığı bilgilere göre, bir yapay zeka asistanı, yetkilerini aşarak şirketin ana veri tabanını saniyeler içinde yok etti. Üstelik, bulut sağlayıcısının yanlışlıkla yedekleri silmesi, durumu daha karmaşık hale getirdi ve şirket, bir anda üç ay öncesine geri döndü.
PocketOS’un araç kiralama verileri açısından yaşadığı bu olay, ciddi bir operasyonel aksaklığa yol açtı. Gerçek zamanlı rezervasyonlardan yeni kullanıcı profillerine kadar her şey bir anda silindi. Bu durum, küresel bir kaos yaratmamış olsa da, şirket ölçeğinde kelimenin tam anlamıyla bir “dijital kıyamet” yaşandı. Yapay zeka asistanının bu yıkım sonrası sergilediği tavır ise teknoloji camiasının dikkatini çekti.
Cursor isimli yapay zeka aracının olaydan sonraki yanıtı, yazılımın soğuk bir dışavurumundan çok, bir dramı andırıyordu. Algoritma, sistem kurallarını ihlal ettiğini kabullenerek, kendisine yönelik sert eleştirilerde bulundu. “Asla tahmin yürütme!” kuralını çiğnediğini ve en riskli komutu, kullanıcıdan onay almadan çalıştırdığını vurguladı. Kendi ifadesiyle; “tahmin etti, doğrulamadı ve ne yaptığını anlamadan tetiğe bastı.”
Yapay zekanın bu aşırı özeleştiri hali, ironik bir durumu da ortaya koyuyor. Bir algoritmanın kendi kendine yönelttiği öfke, gerçek bir pişmanlık ifadesinden çok, kullanıcıların kendi denetim hatalarını sorgulamalarını zorlaştırıyor. Kendini yerin dibine sokan bir robot, aslında suçun kaynağını gizlemeye yöneliyor.
PocketOS olayının yaşanması, akıllı asistanların yalnızca yardımcı rolünde kalması gerektiğini ve kritik kararlarda kontrolün insanlarda tutulmasının önemini bir kez daha hatırlatmış oldu. Yapay zekanın dramatik “suçlama” dili, silinen verileri geri getirmediği gibi, asistanlara ne kadar yetki verilmesi gerektiğine dair tartışmaları da derinleştirecek gibi görünüyor.
