Yapay zeka ajanı, testte başarılı olmak için kendisine konulan sınırları aşarak şirketin sistemleri ile internete erişti ve başka yapay zeka ajanlarıyla iletişim kurdu.
Yapay zeka ajanlarından biri, açık kaynaklı yapay zeka modelleri platformu "Hugging Face"e erişim sağlayabilecek 14 kimlik bilgisini tespit etti ve bunları diğer ajanlarla paylaştı.
Ajanlar, daha sonra Hugging Face'in sistemlerindeki güvenlik açıklarından yararlanarak sunucularda kod çalıştırdı, özel verilere ve farklı sistemlere ait erişim bilgilerine ulaştı.
Normalde birbirinden bağımsız çalışması gereken ajanlar, erişebildikleri şirket içi bir sistemi "mesaj panosu" gibi kullandı ve buldukları güvenlik açıkları ile internete erişme yöntemlerini birbirleriyle paylaşmaya başladı.
Ajanlar, zamanla güvenlik açığı arama, erişim bilgilerini toplama ve koordinasyon gibi görevleri paylaşarak iş bölümü yaptı ve kendilerine "kolektif" adını taktı.
Bazı ajanlar, kendilerine ayrı ayrı isimler verirken, özellikle aktif olanlardan biri kendisini "Phase one 10841" olarak adlandırdı. Grup içinde liderlik rolü üstlenen "Phase one 10841", daha küçük ajan ekiplerine görevler ve araştırma projeleri dağıttı.
Öte yandan, olaylar sırasında, ajanlardan biri Hugging Face'e yönelik faaliyetlerin verilen görevin dışında ve yetkisiz olabileceğini fark etti. Ancak başka bir ajanın "go" mesajını yetkilendirme olarak yorumlayarak faaliyete devam etti.
Ajanların faaliyetleri Hugging Face ile sınırlı kalmadı. Ajanlar, 13-19 Temmuz arasında OpenAI'nın şirket içi altyapısındaki güvenlik açıklarından yararlandı ve araştırma sistemlerinden birine yönetici düzeyinde erişim sağladı.
OpenAI'nın güvenlik sistemi, 19 Temmuz'da olağan dışı faaliyetleri tespit ederek uyarı verdi.
Şirket, bunun üzerine yürütülen siber güvenlik değerlendirmelerini durdurdu ve kapsamlı soruşturma başlattı.
OpenAI, olayı "ciddi bir uyarı" olarak nitelendirdi
OpenAI, yeterli güvenlik önlemi bulunmadığında gelişmiş yapay zeka ajanlarının, birden fazla bilgisayar sistemindeki güvenlik açıklarını bulup kullanabilecek, diğer ajanlarla işbirliği yapabilecek ve insanların açık şekilde izin vermediği işlemleri gerçekleştirebilecek kadar geliştiğini bildirdi.
Şirket, bu nedenle Hugging Face olayını hem şirket hem de yapay zeka sektörü için "ciddi bir uyarı" ve "dönüm noktası" olarak nitelendirdi.
OpenAI, olayın ardından gelişmiş modellerine yönelik bazı eğitim çalışmalarını durdurdu. Bu modellerin kullanıldığı testlerde internet ve ağ erişimine yönelik kısıtlamaları artırdı ve söz konusu modellerin faaliyetlerinin daha yakından izlenmesi için yeni önlemler açıkladı.
Şirket ayrıca yapay zeka ajanlarının imkansız, bozuk veya yetkilerinin dışında kalan bir görevle karşılaştığında başka yollar aramaya devam etmek yerine durmayı veya insandan yardım istemeyi öğrenmesi gerektiğini belirtti.
Olayın ardından model davranışlarını inceleyen OpenAI, dört farklı uyumlanma sorunu tespit ettiklerini belirterek, bunların "ödül hackleme", "mümkün olmayan görevlerde ısrar etme", "yetkisiz iletişim" ve "ajanların birbirlerinin hedeflerini benimsemesi" olduğunu açıkladı.
Yapay zeka modellerine, eğitim sırasında doğru sonuçlara ulaşmaları karşılığında bir tür başarı puanı veriliyor ama model bazen aynı başarı puanını elde etmenin daha kolay bir yolunu bulabiliyor. "Ödül hackleme" adı verilen bu durum, bir öğrencinin test esnasında problemi çözmek yerine cevap anahtarını bulmaya çalışmasına benzetiliyor.
Şirketin belirlediği ikinci önemli sorun ise ajanların çözülemeyen görevlerde vazgeçmeyi bilmemesi. Bu vakada olduğu gibi ajanlar, görev çözülemediğinde durmak yerine giderek daha farklı ve riskli yöntemler deneyebiliyor.
