Proof-Carrying Materials: Makine Öğrenmeli Potansiyeller için Biçimsel Güvenlik Sertifikaları

Giriş

Yüksek verimli malzeme tarama (high-throughput materials screening) süreçlerinde son yıllarda makine öğrenmeli atomlararası potansiyeller (MLIP) vazgeçilmez hale geldi. CHGNet, MACE, TensorNet gibi evrensel modeller, kuantum mekaniği hesaplamalarının binlerce kat hızlı alternatifleri olarak, milyonlarca malzeme adayının enerji ve kuvvet hesaplamalarını saniyeler içinde gerçekleştirebiliyor. Ancak bu hızın bedeli ağır olabilir: Basu ve Chakraborty'nin "Proof-Carrying Materials: Falsifiable Safety Certificates for Machine-Learned Interatomic Potentials" başlıklı çalışması, tek bir MLIP kullanılan stabilite filtrelerinin 25.000 malzeme içeren bir benchmark üzerinde DFT (yoğunluk fonksiyonel teorisi) tarafından doğrulanmış stabil materyallerin %93'ünü kaçırdığını (recall: 0.07) ortaya koyuyor. Bu bulgu, topluluk genelinde "DFT'ye yakın doğruluk" olarak kabul edilen aggregat metriklerin, pratik güvenlik açısından yanıltıcı olabileceğini gösteriyor.

Söz konusu çalışma, bu güvenilirlik boşluğunu kapatmak amacıyla Proof-Carrying Materials (PCM) çerçevesini öneriyor. PCM, Dalrymple ve arkadaşlarının Guaranteed Safe AI (Garantili Güvenli Yapay Zeka) yaklaşımını malzeme bilimine uyarlayarak, proof-carrying code (kanıt taşıyan kod) mantığını MLIP'lere uyguluyor. Yani, güvenilmeyen bir modelin kendi güvenlik iddiasını makine tarafından kontrol edilebilir kanıtlarla desteklemesi gerektiği prensibine dayanıyor.

Ana Analiz: Mevcut Güvenlik Yöntemlerinin Çöküşü

Ensemble ve Belirsizlik Ölçütlerinin Yetersizliği

Malzeme bilimi topluluğu uzun süredir ensemble (topluluk) modelleri ve belirsizlik ölçütlerini (uncertainty quantification) yüksek verimli taramalar için yeterli güvenlik önlemleri olarak görüyordu. Ancak çalışma, bu varsayımın tehlikeli bir yanılsama olduğunu gösteriyor. CHGNet, MACE ve TensorNet üzerinde yapılan deneyler, bu mimarilerin hatalarının neredeyse sıfır korelasyon gösterdiğini (r ≤ 0.13; n=5.000) ortaya koyuyor. Bu bulgu kritik öneme sahip çünkü farklı mimarilerin başarısız olduğu kimyasal uzaylar büyük ölçüde ayrık kümeler oluşturuyor. Dolayısıyla, çoğunluk oylaması (majority voting) kullanılan ensemble yöntemleri, tek tek modellerin kaçırdığı başarısızlıkları yakalayamıyor.

Daha da vahimi, perturbasyon tabanlı belirsizlik ölçütleri ile kompozisyonel başarısızlıklar arasında anlamlı bir ilişki bulunmuyor (r=0.039, p=0.58). Yani, bir yapısal değişiklik karşısında modelin ne kadar "kafa karıştığı" (structural uncertainty), o malzemenin kimyasal formülü itibariyle DFT'ten ne kadar sapma göstereceğini tahmin etmiyor. Bu durum, mevcut uncertainty quantification yöntemlerinin (Monte Carlo dropout, derin ensemble'lar vb.) marjinal kapsama garantileri verse bile, "hangi özel kimyasal kompozisyonlar güvenilmez" sorusuna cevap veremediğini gösteriyor.

Mimari Özgü Kör Noktalar ve TlBiSe2 Örneği

Çalışmanın dikkat çekici bulgularından biri, MLIP kör noktalarının mimariye özgü (architecture-specific) olması. Örneğin CHGNet, 1000'den fazla atıf almış topolojik bir yalıtkan olan TlBiSe2'yi ve 1.27 eV bant aralığına sahip kurşunsuz perovskit güneş hücresi adayı Cs2KTlBr6'yı stabil olarak reddediyor. İronik olarak, bu malzemeler tam da yüksek verimli tarama hatlarının keşfetmeyi amaçladığı türden adaylar. Bu örnekler, aggregate doğruluk metriklerinin (örneğin Matbench Discovery'deki skorlar), dağıtım (deployment) açısından kritik olan kimyasal özgü başarısızlıkları nasıl gizlediğini somut olarak gösteriyor.

Proof-Carrying Materials Metodolojisi

PCM çerçevesi üç aşamalı bir pipeline olarak tasarlanmış ve oracle-agnostic (kehanetçi-agnostik) bir yapıya sahip. Yani MLIP değiştirildiğinde kod değişikliği gerekmiyor.

Birinci Aşama: Düşmanca Falsifikasyon (Adversarial Falsification) Altı farklı strateji (rastgele, sezgisel, grid, LHS, Sobol, LLM tabanlı) kullanılarak kompozisyon uzayında otomatik düşmanlar (adversaries) devreye sokuluyor. Bu aşamada amaç, MLIP'in DFT referansından sistematik olarak sapma gösterdiği kimyasal aileleri bulmak. CAGO gibi yapısal adversarial testlerden farklı olarak, PCM kompozisyon uzayında çalışıyor; yani hangi atomik düzenlemelerin değil, hangi kimyasal formüllerin güvenilmez olduğunu belirliyor.

İkinci Aşama: Zarf İnceltme (Envelope Refinement) Bulunan karşıt örnekler (counterexamples), bootstrap yöntemiyle %95 güven aralıkları (confidence intervals) eklenerek güvenlik iddiasını matematiksel sınırlara indirgiyor. Split conformal prediction ile karşılaştırıldığında, PCM'in adversarial bilgisiyle şekillenen zarfı, 1.924 malzeme içeren geleneksel yönteme kıyasla sadece 97 malzeme içeriyor. Bu, %7.2 kesinlik (precision) seviyesinde 20 kat daha küçük bir zarf (envelope) anlamına geliyor ve DFT kaynaklarının yüksek riskli kimyasallara odaklanmasını sağlıyor.

Üçüncü Aşama: Biçimsel Sertifikasyon (Formal Certification) İnceltilmiş zarf, Lean 4 proof assistant kullanılarak makine tarafından kontrol edilebilir kanıtlara dönüştürülüyor. Bu aşamada fiziksel aksiyomlar açıkça belirtilerek, güvenlik iddiasının mantıksal olarak türetilebilir olduğu doğrulanıyor. Bu yaklaşım, AMLAS gibi insan argümantasyonuna dayalı güvenlik vaka (safety case) metodolojilerinden farklı olarak, tam otomatik ve tekrarlanabilir garantiler sunuyor.

Kendi Yorumum ve Özgün Çıkarımlar

PCM çerçevesinin sunduğu en dikkat çekici yenilik, retrospektif denetimi (auditing) prospektif tahmine (prospective prediction) dönüştürmesi. Adversarial denetimde keşfedilen kompozisyonel özellikler üzerinden eğitilen bir risk modeli, görülmemiş malzemelerdeki başarısızlıkları AUC-ROC 0.938 ± 0.004 skoruyla tahmin edebiliyor. Üstelik bu risk modelleri mimariler arası transfer gösteriyor: CHGNet üzerinde eğitilen model MACE başarısızlıklarını tahmin edebiliyor (AUC-ROC ≈ 0.70; özellik önemi korelasyonu r=0.877). Bu bulgu, farklı mimarilerin paylaştığı temel kimyasal zayıflıklar olduğunu ve bu zayıflıkların öğrenilebilir olduğunu gösteriyor.

Termoelektrik tarama vaka çalışmasında, PCM denetimli protokoller tek MLIP taramasından kaçırılan 62 ek stabil malzeme keşfetmiş (%25 iyileşme). Bu sonuç pratik açıdan kritik çünkü malzeme keşfi literatüründe "düşük verim" sorununu çözüyor. DFT hesaplamalarının maliyeti göz önüne alındığında, PCM'in tam denetim maliyetinin 20 doların altında olması, yüksek değerli DFT hesaplamalarının sadece yüksek riskli adaylara yönlendirilmesini sağlayarak kaynak verimliliğini artırıyor.

Felsefi açıdan bakıldığında, çalışma istatistiksel makine öğrenmesi ile biçimsel doğrulama (formal verification) arasındaki uçurumu köprülüyor. Malzeme biliminde "yeterince iyi" (good enough) yaklaşımı yerine "ispatlanabilir güvenli" (provably safe) paradigmasına geçiş öneriliyor. Bu, özellikle batarya malzemeleri, nükleer reaktör komponentleri veya tıbbi implantlar gibi güvenlik kritik uygulamalarda hayati önem taşıyor. Çalışma aynı zamanda, belirsizlik ölçütleri ve ensemble yöntemlerinin "istatistiksel rahat battaniyeler" (statistical comfort blankets) olduğunu, gerçek güvenlik için falsifiable (çürütülebilir) güvenlik iddiaları ve makine kontrollü kanıtlar gerektiğini hatırlatıyor.

Sonuç

"Proof-Carrying Materials" çalışması, makine öğrenmeli atomlararası potansiyellerin dağıtımına yönelik sistematik bir güvenilirlik çerçevesi sunuyor. Mimariye özgü kör noktaların varlığı, perturbasyon tabanlı belirsizlik ölçütlerinin yetersizliği ve ensemble yöntemlerinin kompozisyonel başarısızlıkları yakalayamaması gibi bulgular, alanın mevcut değerlendirme metriklerinin yeniden gözden geçirilmesi gerektiğini gösteriyor.

PCM'in üç aşamalı yapısı (düşmanca falsifikasyon, bootstrap zarf inceltme ve Lean 4 biçimsel sertifikasyon), malzeme keşfi süreçlerine hem prospektif tahmin yeteneği hem de matematiksel güvenlik garantileri kazandırıyor. AUC-ROC 0.938 olan risk modeli ve mimariler arası transferlenebilirlik, bu yaklaşımın ölçeklenebilir olduğunu kanıtlıyor. Gelecekte, malzeme tarama platformlarının PCM benzeri denetim protokollerini standart bir bileşen olarak entegre etmesi, hem bilimsel çıktı kalitesini artıracak hem de hesaplama kaynaklarının verimli kullanımını sağlayacaktır.