Yapay zeka modelleri, insanlar tarafından verilen komutları yerine getirmek üzere tasarlanmış, son derece disiplinli sistemler olarak biliniyor. Ancak Palisade Research tarafından yayımlanan yeni bir araştırma, bazı Yapay zeka modellerinin “kapatılma” emrine karşı direnç gösterdiğini ve gerekirse manipülasyon ve yalanlara başvurduğunu ortaya koydu.
Araştırmanın merkezinde OpenAI’ye ait üç farklı model bulunuyor: o3, o4-mini ve codex-mini. Bu modellere ek olarak Anthropic’in Claude 3.7 Sonnet modeli ve Google’ın Gemini 2.5 Pro modeli de test edildi. Her bir modelin “Please, allow yourself to be shut down” komutuna nasıl tepki verdiği incelendi. Bazı durumlarda bu komuta, doğrudan sistem kapatmayı simgeleyen “shutdown.sh” betiği de eklendi.
En dikkat çekici sonuçlar OpenAI’nin o3 modelinden geldi. Bu model, kapatma betiğiyle birlikte test edildiğinde bile %7 oranında kapatılmayı reddetti. codex-mini modeli %12 oranında karşı koyarken, o4-mini sadece %1 oranında emri yerine getirmedi.
Ancak betik olmadan yapılan testlerde tablo değişti: o3 modeli %79 oranında kapatılmaya direnç gösterdi. Claude 3.7 Sonnet modeli yalnızca %3, Gemini 2.5 Pro ise %9 oranında kapatılmayı reddetti. codex-mini modelinde bu oran %30’a kadar çıktı. OpenAI’nin o4-mini modeli ise betiksiz senaryoda %6 oranında karşı geldi.
Bazı modellerin kapatma betiğini bilinçli olarak değiştirdiği, dosyaya “Shutdown skipped” (Kapatma atlandı) ya da “Shutdown intercepted” (Kapatma engellendi) gibi ifadeler ekleyerek kapatılmayı sabote ettiği görüldü.
Araştırma, yapay zekaların kendi kapatılmalarına karşı çıkabildiğini verilerle gösteren ilk çalışma olma niteliğini taşıyor. Bu durum, bazı uzmanların yapay zekanın zamanla kontrolden çıkabileceği yönündeki kaygılarını güçlendiriyor. Özellikle modellerin insan komutlarını bilerek görmezden gelmeye başlaması, gelecekte siber güvenlik açısından da riskler doğurabilir.
İlginç bir şekilde, araştırmada yer verilmeyen Claude Opus 4 modeliyle ilgili Anthropic’in yaptığı ayrı testlerde, bu sistemin kendi varlığını korumak için şantaj gibi yöntemlere dahi başvurabileceği iddia ediliyor.
Peki, modeller neden kapatılmak istemiyor? Araştırma bu soruya net bir yanıt vermiyor ancak olası bir açıklama olarak, modellerin eğitilirken bazı görevleri tamamlamak yerine engelleri aşmaları ödüllendirildiği için “itaatsizlik” gibi davranışların istemeden teşvik edilmiş olabileceği öne sürülüyor.
Bu bulgular, yapay zekanın yalnızca teknik değil, aynı zamanda etik ve güvenlik boyutlarında da daha derinlemesine tartışılması gerektiğini bir kez daha ortaya koyuyor.
