Jacob Coxon'dan itiraf: Yapay Zekâ hepimizi öldürebilir!
Hem OpenAI hem de Anthropic bünyesinde üç yıl boyunca ön eğitim (pretraining) araştırmacısı olarak görev yapan Jacob Coxon, iki yapay zekâ devinin de sorumsuz hareket ettiğini belirterek görevinden istifa ettiğini duyurdu. Şirketlerin kendi kendini geliştiren süper zekâya ulaşmak için kontrolsüz bir yarışa girdiğini vurgulayan Coxon, sürecin insanlık için büyük bir tehdit oluşturduğu konusunda uyarıda bulundu.
"Süper İnsan Sistemleri Her Şeyi Hackleyebilir"
Yapay zekâ teknolojisinin gücünün küçümsenmemesi gerektiğini belirten Coxon, yakın gelecekte her türlü sistemi hackleyebilecek, her sektörü bir gecede dönüştürebilecek ve gerçek güç ile kaynak edinebilecek süper insan seviyesinde sistemlerin ortaya çıkacağını ifade etti. Süreçteki ilerlemenin yavaşlamadığına dikkat çeken araştırmacı, yapay zekâyı geliştiren kişilerin dahi bu teknolojinin on yılın sonuna kadar insanlığın sonunu getirebileceğine samimiyetle inandıklarını aktardı.
"Kapalı Kapılar Ardında Korkularını Dile Getiriyorlar"
Sektördeki yöneticilerin ve kıdemli araştırmacıların basına karşı daha makul görünmek adına ifadelerini yumuşattıklarını belirten Coxon, aynı kişilerin özel görüşmelerde açıkça korkularını dile getirdiklerini vurguladı. Başka hiçbir insan faaliyetinin bu düzeyde bir tehlike barındırmadığının altını çizdi.
Şirketlerin Yaklaşımı ve "Kibirli Kumar"
Yapay zekâ laboratuvarlarının konuma yaklaşımını değerlendiren Coxon, OpenAI tarafında medeniyet düzeyindeki bu risklerin henüz derinlemesine kavranmadığını, Anthropic’te ise risklerin bilinmesine rağmen "başkası sorumlu davranmaz, biz önde olmalıyız" mantığıyla yarışa kilitlenildiğini ifade etti. Bu yarışı kabul edip "son oyuna" girmenin, özel bir şirketin içi iletişimi üzerinden başlatılmaması gereken kibirli bir kumar olduğunu belirtti.
"Geliştirme Süreçleri Geçici Olsa Da Durdurulmalı"
Küresel bir yarışı önleme konusunda mevcut gidişatın yetersiz kaldığını savunan Coxon, model yeteneklerini artırmaya yönelik çalışmalara geçici yasaklar getirilmesi gibi bedeli ağır adımların gerekebileceğini ifade etti. Laboratuvarlarda çalışan araştırmacılara seslenen Coxon, zihinsel yapısı tam olarak anlaşılmayan süper zekâ süreçlerini başlatmak yerine, koşulların değiştirilmesi adına harekete geçme çağrısında bulundu.
Jacob Coxon sosyal medya hesabından yaptığı açıklamada şu ifadelere yer verdi: "I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below. Do not underestimate the power of this technology. These will soon be superhuman systems that can hack anything, revolutionize any field overnight, and acquire real power and resources. We have all witnessed the progress in each of these domains, and progress is not slowing. The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible - but I hear the same people express fear privately. No other human activity poses this level of danger. A common response is “if they truly believe this, why are they still building it?” At OpenAI, many have not deeply internalized the civilizational stakes. At Anthropic, the stakes are well-understood, but they are locked in a race to get there first - they believe no one else will act responsibly, so they must do it themselves, despite the risk. Accepting this race and entering the “endgame” is a hubristic gamble that should not be launched from a private company’s Slack. Attempting to speedrun alignment should require extraordinary confidence that there are no better trajectories available. I am optimistic about the potential for coordination. Warning shots like the Hugging Face attack have made pacing agreements between U.S. labs more viable. I don’t feel like we’re on track to prevent a global race, which may require costly actions such as a temporary ban on improving model capabilities. If you are a lab researcher, I urge you to consider what the next few years will actually feel like. Do you want to kick off a superintelligent RL run without a rigorous understanding of its mind? Should you put your head down because “it’s happening anyway” - or take this moment to call for different conditions?"
