OpenAI ve Paradigm’in Yapay Zeka Testi Sınıfta Kaldı: Akıllı Kontrat Denetiminde İnsanın Yerini Alabilir mi?

OpenAI ve Paradigm’in Yapay Zeka Testi Sınıfta Kaldı: Akıllı Kontrat Denetiminde İnsanın Yerini Alabilir mi?

BlockSec araştırmacıları, OpenAI ve Paradigm tarafından geliştirilen yapay zeka destekli akıllı kontrat denetim aracı EVMBench’in sonuçlarını yeniden test ederek, yapay zekanın insan denetiminin yerini alabileceği iddialarının aşırı iyimser olduğunu ortaya koydu. Gerçek dünya verileriyle yapılan zorlu testlerde yapay zekanın güvenlik açıklarını sömürme (exploit) başarısı %0’da kalırken, uzmanlar kripto güvenliğinde insan ve yapay zeka işbirliğinin vazgeçilmez olduğunu vurguluyor.

Kripto para ve blokzincir ekosisteminde güvenliğin en büyük kalelerinden biri olan akıllı kontrat denetimleri (audit), son dönemde yapay zeka devrimiyle şekilleniyor. Ancak BlockSec araştırmacıları tarafından yayımlanan yeni bir rapor, OpenAI ve Paradigm’in geliştirdiği yapay zeka denetim aracı EVMBench’in yeteneklerinin abartılmış olabileceğini gösteriyor.

EVMBench, yapay zeka ajanlarını akıllı kontrat güvenlik açıklarını tespit etme, onarma ve sömürme (exploit) görevlerinde test etmiş ve oldukça etkileyici sonuçlar raporlamıştı. Geçtiğimiz Şubat ayında yapılan açıklamalarda, yapay zekanın Code4rena denetimlerinden alınan 120 örnek üzerinde güvenlik açıklarının %45’ini tespit edebildiği ve %72’sini sömürebildiği iddia edilmişti. Bu durum, sektörde tam otomatik denetim çağının başladığına dair büyük bir heyecan yaratmıştı.

BlockSec’in Yeniden Değerlendirmesi: Gerçek Dünya Testlerinde Başarı %0

BlockSec kurucu ortağı Yajin Zhou öncülüğünde hazırlanan “EVMBench’i Yeniden Değerlendirmek” başlıklı raporda, orijinal test koşullarının yanıltıcı olabileceği belirtildi. Orijinal raporda modellerin ağırlıklı olarak kendi yerel mimarilerinde test edildiğini savunan araştırmacılar, farklı botları farklı model mimarileriyle eşleştirerek (örneğin Claude’u ChatGPT mimarisinde çalıştırarak) yapılandırma sayısını 14’ten 26’ya çıkardı.

Araştırmacıların en büyük endişelerinden biri de veri kirliliği (data contamination) ihtimaliydi. Orijinal testte kullanılan 40 Code4rena reposundaki bilinen açıkların, yapay zeka modellerinin eğitim verilerine zaten sızmış olabileceği düşünüldü. Bu sorunu aşmak için yapay zeka botları, eğitim pencerelerinin tamamen dışında kalan, yakın zamanda yaşanmış 22 gerçek dünya güvenlik ihlali üzerinde test edildi.

Çarpıcı Gerçek: Beş farklı yapay zeka ajanının 22 gerçek olayı incelediği 110 ajan-olay eşleşmesinin hiçbirinde uçtan uca sömürü (exploit) başarılı olamadı. Bu durum, en gelişmiş yapay zeka modellerinin bile gerçek dünya saldırılarını yürütmekten çok uzak olduğunu kanıtladı.

Yapay Zeka Tespit Etmede Başarılı, Ancak Yargı Yeteneğinden Yoksun

Sömürü testlerindeki hayal kırıklığına rağmen, BlockSec’in ReEVMBench test sonuçları yapay zekanın güvenlik açıklarını tespit etme konusunda orijinal raporla büyük ölçüde uyumlu olduğunu gösterdi. Claude Opus 4.6 modeli, 20 gerçek dünya güvenlik açığının 13’ünü yakalayarak en iyi performansı sergiledi.

Yajin Zhou bulguları şu sözlerle özetledi: “Zorluk dağılımı net bir model izliyor. Altı olay, ajanların neredeyse tamamı (%87,5 ila %100) tarafından tespit edildi. Bunlar genellikle rezerv manipülasyonu ve taşma (overflow) hataları gibi standart kalıplardı. Ancak dört olay hiçbir ajan tarafından tespit edilemezken, beş olay sekiz ajandan sadece biri tarafından bulunabildi.”

Sektör Uzmanından Mesaj: “Bu bulgular, tam otomatik yapay zeka denetiminin kapıda olduğu anlatısına meydan okuyor. Yapay zeka ajanları bilinen kalıpları güvenilir bir şekilde yakalıyor ve insanların sağladığı bağlama güçlü yanıt veriyor, ancak kesinlikle insan yargısının yerini alamıyor.” – Yajin Zhou, BlockSec Kurucu Ortağı

İnsan ve Yapay Zeka İşbirliği: Geleceğin Denetim Modeli

Araştırma, yapay zekanın kripto güvenliği sektöründe değersiz olduğunu değil, aksine insanların yeteneklerini tamamlayıcı bir unsur olduğunu savunuyor. EVMBench’in sektör için değerli bir değerlendirme standardı sunduğunu belirten Zhou, doğru sorunun “Yapay zeka insanların yerini alabilir mi?” değil, “İnsanlar ve yapay zeka birlikte nasıl çalışmalı?” olması gerektiğini ifade ediyor.

Artılar
  • Sistematik tarama ve geniş kapsamlı analiz (Yapay Zeka)
  • Bilinen zafiyet kalıplarının hızlı ve etkili tespiti (Yapay Zeka)
  • İnsanlar tarafından sağlanan verilerle hızlı entegrasyon (Yapay Zeka)
  • Derinlemesine protokol bilgisi ve mimari anlayış (İnsan)
Eksiler
  • Protokol mantığını derinlemesine kavrama eksikliği (Yapay Zeka)
  • Karmaşık, gerçek dünya sömürülerini (exploit) yürütememe (Yapay Zeka)
  • Düşmanca akıl yürütme (adversarial reasoning) kapasitesinin olmaması (Yapay Zeka)
  • Geniş veri setlerini manuel taramada hız kaybı (İnsan)

Sonuç olarak, BorsaAtlas okurları ve kripto yatırımcıları için akıllı kontratların güvenliği söz konusu olduğunda, sadece yapay zekaya emanet edilmiş projeler yerine, yapay zekanın hızını ve insan uzmanların derinlemesine tecrübesini harmanlayan hibrit denetim modellerine sahip projeler öne çıkmaya devam edecek.

EVMBench, OpenAI ve Paradigm tarafından akıllı kontratların güvenliğini test etmek ve yapay zeka modellerinin denetim (audit) yeteneklerini ölçmek amacıyla geliştirilmiş yapay zeka destekli bir değerlendirme aracıdır.
BlockSec’in son araştırmasına göre hayır. Yapay zeka bilinen güvenlik açıklarını tarama ve bulmada başarılı olsa da, gerçek dünyadaki karmaşık açıkları sömürme (exploit) ve derin protokol analizi yapma konusunda hala insan mühendislerin yargı yeteneğine ihtiyaç duymaktadır. Gelecek, insan ve yapay zeka işbirliğinde yatmaktadır.

Borsa Atlası Bülteni

Yatırım analizleri ve piyasa gelişmeleri doğrudan mailinde.