Makineyi Tespit Etmek: AI Metin Dedektörlerinin Kapsamlı Değerlendirmesi ve Perplexity Paradoksu

Giriş

Büyük dil modellerinin (large language models, LLM) metin üretim kapasitesindeki meteorik yükseliş, dijital içeriklerin kaynağını belirleme ihtiyacını kaçınılmaz kıldı. Akademik yayınlardan sosyal medya gönderilerine kadar yapay zeka tarafından üretilen metinlerin tespiti, bilgi bütünlüğü ve akademik dürüstlük açısından kritik önem taşıyor. Ancak mevcut değerlendirme çalışmaları genellikle tek bir dedektör tipini, tek bir veri seti üzerinde ve ideal koşullar altında test etmekle yetiniyordu. Baidya, Baidya ve Chawla tarafından hazırlanan "Detecting the Machine: A Comprehensive Benchmark of AI-Generated Text Detectors Across Architectures, Domains, and Adversarial Conditions" başlıklı bu kapsamlı çalışma, alandaki bu boşluğu doldurarak farklı mimarileri, domain transferlerini ve adversarial koşulları sistematik olarak değerlendiriyor.

Çalışma, HC3 (23.363 çift insan-ChatGPT örneği) ve ELI5 (15.000 çift insan-Mistral-7B örneği) veri setleri üzerinde, klasik istatistiksel sınıflandırıcılardan fine-tuning (özel görevler için hassas ayarlanmış) transformer modellerine, perplexity tabanlı denetimsiz yöntemlerden LLM-as-detector (dedektör olarak kullanılan büyük dil modeli) yaklaşımlarına kadar geniş bir yelpazeyi kapsıyor. Özellikle met