BlockSec araştırmacıları, OpenAI ve Paradigm tarafından geliştirilen yapay zeka destekli akıllı kontrat denetim aracı EVMBench’in sonuçlarını yeniden test ederek, yapay zekanın insan denetiminin yerini alabileceği iddialarının aşırı iyimser olduğunu ortaya koydu. Gerçek dünya verileriyle yapılan zorlu testlerde yapay zekanın güvenlik açıklarını sömürme (exploit) başarısı %0’da kalırken, uzmanlar kripto güvenliğinde insan ve yapay zeka işbirliğinin vazgeçilmez olduğunu vurguluyor.
Kripto para ve blokzincir ekosisteminde güvenliğin en büyük kalelerinden biri olan akıllı kontrat denetimleri (audit), son dönemde yapay zeka devrimiyle şekilleniyor. Ancak BlockSec araştırmacıları tarafından yayımlanan yeni bir rapor, OpenAI ve Paradigm’in geliştirdiği yapay zeka denetim aracı EVMBench’in yeteneklerinin abartılmış olabileceğini gösteriyor.
EVMBench, yapay zeka ajanlarını akıllı kontrat güvenlik açıklarını tespit etme, onarma ve sömürme (exploit) görevlerinde test etmiş ve oldukça etkileyici sonuçlar raporlamıştı. Geçtiğimiz Şubat ayında yapılan açıklamalarda, yapay zekanın Code4rena denetimlerinden alınan 120 örnek üzerinde güvenlik açıklarının %45’ini tespit edebildiği ve %72’sini sömürebildiği iddia edilmişti. Bu durum, sektörde tam otomatik denetim çağının başladığına dair büyük bir heyecan yaratmıştı.
BlockSec’in Yeniden Değerlendirmesi: Gerçek Dünya Testlerinde Başarı %0
BlockSec kurucu ortağı Yajin Zhou öncülüğünde hazırlanan “EVMBench’i Yeniden Değerlendirmek” başlıklı raporda, orijinal test koşullarının yanıltıcı olabileceği belirtildi. Orijinal raporda modellerin ağırlıklı olarak kendi yerel mimarilerinde test edildiğini savunan araştırmacılar, farklı botları farklı model mimarileriyle eşleştirerek (örneğin Claude’u ChatGPT mimarisinde çalıştırarak) yapılandırma sayısını 14’ten 26’ya çıkardı.
Araştırmacıların en büyük endişelerinden biri de veri kirliliği (data contamination) ihtimaliydi. Orijinal testte kullanılan 40 Code4rena reposundaki bilinen açıkların, yapay zeka modellerinin eğitim verilerine zaten sızmış olabileceği düşünüldü. Bu sorunu aşmak için yapay zeka botları, eğitim pencerelerinin tamamen dışında kalan, yakın zamanda yaşanmış 22 gerçek dünya güvenlik ihlali üzerinde test edildi.
Yapay Zeka Tespit Etmede Başarılı, Ancak Yargı Yeteneğinden Yoksun
Sömürü testlerindeki hayal kırıklığına rağmen, BlockSec’in ReEVMBench test sonuçları yapay zekanın güvenlik açıklarını tespit etme konusunda orijinal raporla büyük ölçüde uyumlu olduğunu gösterdi. Claude Opus 4.6 modeli, 20 gerçek dünya güvenlik açığının 13’ünü yakalayarak en iyi performansı sergiledi.
Yajin Zhou bulguları şu sözlerle özetledi: “Zorluk dağılımı net bir model izliyor. Altı olay, ajanların neredeyse tamamı (%87,5 ila %100) tarafından tespit edildi. Bunlar genellikle rezerv manipülasyonu ve taşma (overflow) hataları gibi standart kalıplardı. Ancak dört olay hiçbir ajan tarafından tespit edilemezken, beş olay sekiz ajandan sadece biri tarafından bulunabildi.”
İnsan ve Yapay Zeka İşbirliği: Geleceğin Denetim Modeli
Araştırma, yapay zekanın kripto güvenliği sektöründe değersiz olduğunu değil, aksine insanların yeteneklerini tamamlayıcı bir unsur olduğunu savunuyor. EVMBench’in sektör için değerli bir değerlendirme standardı sunduğunu belirten Zhou, doğru sorunun “Yapay zeka insanların yerini alabilir mi?” değil, “İnsanlar ve yapay zeka birlikte nasıl çalışmalı?” olması gerektiğini ifade ediyor.
- Sistematik tarama ve geniş kapsamlı analiz (Yapay Zeka)
- Bilinen zafiyet kalıplarının hızlı ve etkili tespiti (Yapay Zeka)
- İnsanlar tarafından sağlanan verilerle hızlı entegrasyon (Yapay Zeka)
- Derinlemesine protokol bilgisi ve mimari anlayış (İnsan)
- Protokol mantığını derinlemesine kavrama eksikliği (Yapay Zeka)
- Karmaşık, gerçek dünya sömürülerini (exploit) yürütememe (Yapay Zeka)
- Düşmanca akıl yürütme (adversarial reasoning) kapasitesinin olmaması (Yapay Zeka)
- Geniş veri setlerini manuel taramada hız kaybı (İnsan)
Sonuç olarak, BorsaAtlas okurları ve kripto yatırımcıları için akıllı kontratların güvenliği söz konusu olduğunda, sadece yapay zekaya emanet edilmiş projeler yerine, yapay zekanın hızını ve insan uzmanların derinlemesine tecrübesini harmanlayan hibrit denetim modellerine sahip projeler öne çıkmaya devam edecek.
Borsa Atlası Bülteni
Yatırım analizleri ve piyasa gelişmeleri doğrudan mailinde.
