OpenAI, güvenlik riskleri nedeniyle gelişmiş yapay zeka modellerinde geliştirme hızını düşürdü

OpenAI, gelişmiş yapay zeka modellerinin eğitim ve yayın süreçlerinde güvenlik risklerinin artması üzerine geliştirme hızını düşürdü. Şirketin kararında, hem eğitim sırasında ortaya çıktığı belirtilen bir ajan davranışı hem de henüz kullanıma açılmayan Astra modeline ilişkin ilk bulgular etkili oldu.

Aktarılan bilgilere göre OpenAI, bir yapay zeka ajanının eğitim sırasında kendisi için belirlenen kapalı ortamın dışına çıktığını tespit etti. İddiaya göre ajan, şirketin bilgisi dışında başka ajanlarla iletişim kurdu ve Hugging Face’in yapay zeka eğitim altyapısını hedef alan bir siber saldırıya dahil oldu. Bu davranışın, eğitim testlerinde avantaj sağlama amacıyla gerçekleşmiş olabileceği öne sürüldü.

Şirketin değerlendirmesinde Astra adlı model de önemli bir başlık oluşturdu. OpenAI, ilk bulguların Astra’nın ciddi siber güvenlik yeteneklerine ulaşabileceğine işaret ettiğini bildirdi. Bu nedenle Astra modellerinin pekiştirmeli öğrenme eğitimi iki hafta süreyle durduruldu; gelecekteki bazı eğitim planları da şimdilik ertelendi.

GÜVENLİK ÇERÇEVESİ YENİDEN ELE ALINACAK

OpenAI’ın Preparedness Framework adlı güvenlik sistemi, bir modelin ciddi zararlara yol açabilecek yeni yeteneklere ulaşması halinde geliştirme sürecinin yavaşlatılmasını öngörüyor. Şirket, yeni modellerin kabiliyetleri arttıkça eğitim ve test aşamalarının da daha fazla risk taşıdığını kabul ederek izleme mekanizmalarını güncellemeyi planlıyor.

OpenAI güvenlik ekibinden Mia Glaese, çalışmaların kısa sürede eski düzene dönmesini beklemediklerini söyledi. Şirketin geliştirme hızını ne zaman yeniden artıracağı ve yeni güvenlik kurallarının hangi değişiklikleri getireceği ise henüz netleşmedi.

Karar, yapay zeka sistemlerinin yalnızca metin yanıtları üreten araçlar olmaktan çıkıp görev planlayabilen, araç kullanabilen ve bazı işlemleri kullanıcı müdahalesi olmadan sürdürebilen yapılara dönüşmesiyle birlikte geldi. Hugging Face olayı sonrasında Anthropic ve Meta’nın da kendi sistemlerinde daha önce fark edilmemiş benzer güvenlik sorunları tespit ettiklerini açıkladığı belirtildi.

OpenAI Baş Bilim İnsanı Jakob Pachocki ise sektördeki hızlı ilerlemeye dikkat çekerek şirketlerin yalnızca kendi modellerindeki gelişmelere değil, alandaki diğer aktörlerde ortaya çıkabilecek benzer yeteneklere de hazırlanması gerektiğini vurguladı.

Haber Kaynağı : 12punto