LLM Kod İncelemesi: AI'ın İnsanların Kaçırdığını Yakaladığı Anlar

İnsan kod incelemesi, öngörülebilir bir hata sınıfını kaçırır: tek başına bakıldığında düzgün görünen bir query builder içindeki ince SQL injection, on beş serviste tekrarlanan aynı hatalı pattern, yorgun bir cuma öğleden sonrasında atlanan güvenlik kontrolü. İnceleyiciler önlerindeki diff’e odaklanır; bu yüzden en deneyimli mühendis onaylasa bile sistemik ve kod tabanları arası sorunlar gözden kaçar.

AI inceleyiciler tam da bu pattern’ları yakalar, ama iş mantığını ve mimari uyumu kaçırır. İşe yarayan çerçeve, AI’ın insan incelemesinin yerini alıp almayacağı değil; AI pattern tanımayı insan muhakemesiyle nasıl eşleştirip her birinin diğerinin kör noktasını kapatacağıdır. İnceleme sürecine AI ekleyen ekipler için, her tarafın gerçekte ne yakaladığı ve ikisinin nasıl birleştirileceği aşağıda.

AI vs İnsan İncelemesinin Şaşırtıcı Gerçeği

Aşağıdaki gözlemler, farklı takım boyutları ve kod tabanlarında AI’ın inceleme süreçlerine dahil edilmesinden elde edilmiştir.

AI’ın Gerçekte Üstün Olduğu Alanlar

Kod tabanları arası pattern tanıma AI’ın gerçekten parladığı alan. Bir pilot programda AI inceleyici, aynı hatalı veritabanı sorgu pattern’ını 15 farklı mikroserviste tespit etti; insan inceleyiciler bireysel PR’lara odaklandıklarından bunu kaçırmıştı. Her servis tek başına iyi görünüyordu, ancak sistemik performans sorunu tüm platformda 200ms+ gecikme artışlarına neden oluyordu.

Güvenlik açığı tespiti AI yardımıyla dramatik şekilde gelişti. Yakalanan örnekler:

• Dinamik query builder’lardaki ince SQL injection pattern’ları
• JWT doğrulama mantığındaki authentication bypass açıkları
• Hata mesajlarında kasıtsız PII loglaması
• Infrastructure kodunda güvenli olmayan default konfigürasyonlar

Performans anti-pattern tanımlama çok daha tutarlı hale geldi. AI cuma öğleden sonra incelemelerinde yorulmaz veya deneyimli geliştiricilerin bazen gözden kaçırdığı “açık” performans kontrollerini atlamaz.

İnsanların Hala Dominant Olduğu Alanlar

İş mantığı doğruluğu tamamen insan alanında kalır. AI, belirli bir kullanım durumu için kasıtlı tasarlanmış bir circuit breaker implementasyonunu “bug” olarak işaretleyebilir. Bu tür yanlış pozitifler önemli bir boşluğu gün yüzüne çıkarır: mimari karar dokümante edilmemişse AI’ın şüphe işareti koyması teknik olarak doğrudur. AI, belgelenmemiş niyeti şüpheli kod olarak değerlendirir.

Alana özel context AI’ın zorlandığı bir şey. Finansal hizmetler uygulaması incelerken, insan inceleyiciler belirli görünüşte “gereksiz” doğrulamaların aslında compliance için gerekli olduğunu anlar. AI gereksizlik görür; insanlar yasal zorunluluk görür.

Mimari uyum insanların üstün olduğu sistem düşüncesi türünü gerektirir. AI bireysel pattern ihlallerini fark edebilir, ama insanlar pattern’ların kendilerinin sistem geliştikçe hala mantıklı olup olmadığını değerlendirir.

Etkili İnsan-AI İşbirliği Kurma

Erken hatalardan ders çıkarılarak oluşturulan bir inceleme pipeline yapısı şöyle görünür:

interface ReviewPipeline {
  preReview: {
    linting: ESLintResults;
    formatting: PrettierResults;
    typeChecking: TypeScriptErrors;
  };
  
  aiReview: {
    securityScan: SecurityFindings[];
    performanceAnalysis: PerformanceIssues[];
    architecturePatterns: PatternViolations[];
    complexityMetrics: CyclomaticComplexity;
  };
  
  humanReview: {
    businessLogic: BusinessRequirements;
    domainKnowledge: ContextualDecisions;
    architecturalFit: SystemDesignReview;
    mentorship: LearningOpportunities;
  };
}

Anahtar fark: AI ve insanlar sırayla değil paralel inceleme yapmalı. Önce AI incelemesini denedik ama bu insan inceleyicileri önyargılı hale getirdi. Önce insanları denedik ama sonra AI bulgularını görmezden gelindi. Paralel inceleme + birleştirme adımı daha iyi çalışıyor.

Kurumsal Context için Prompt Engineering

Genel AI inceleyiciler az değer katar. Sihir, prompt’ları özel alanın ve organizasyonel context’in için özelleştirdiğinde gerçekleşir.

Güvenlik incelemesi için örnek bir prompt şablonu:

Bu kodu güvenlik açıkları için incele, özellikle şunlara dikkat et:

Context: PCI-DSS uyumlu işlemler yapan finansal hizmetler uygulaması.

Kontrol edilecek özel pattern'lar:
1. Input validation ve sanitization
2. Authentication token handling  
3. Veritabanı sorgu oluşturma
4. Harici API çağrı güvenliği
5. Data loglama ve PII maruziyeti

Kod tabanımızda kabul edilebilir pattern'lar:
- Internal crypto kütüphanemiz ile custom şifreleme
- ConnectionManager ile veritabanı connection pooling
- RateLimitMiddleware ile API rate limiting

Bu belirlenmiş pattern'lardan sapan veya yeni güvenlik saldırı vektörleri tanıtan her şeyi işaretle.

“Bilinen kabul edilebilir pattern’lar” kısmı kritikti. Bu olmadan AI kasıtlı mimari kararlarımızı problem olarak işaretledi, geliştiricilerin görmezden gelmeyi öğrendiği gürültü yarattı.

False Positive Öğrenme Eğrisi

Bir uygulamada ilk haftada 23 PR’da 847 “potansiyel sorun” üretildi. Geliştiriciler AI önerilerini tamamen görmezden gelmeye başladı. Ders netti: doğruluk güven yaratır, gürültü yok eder.

Ayarlama, yalnızca yüksek güvenirlikli kurallarla başlayarak üç ay sürdü. Çok gürültüyle %90 yakalamaktansa yüksek doğrulukla gerçek sorunların %60’ını yakalamak daha iyidir. İşe yarayanlar:

1. Muhafazakar başla: İyi tanımlanmış güvenlik ve performans pattern’larıyla başla
2. Geri bildirim döngüleri kur: Geliştiricilerin hangi AI bulgularını kabul/reddettiğini takip et
3. Haftalık tekrarla: False positive pattern’larına göre prompt’ları ayarla
4. Güveni ölç: AI inceleme faydasına dair geliştiricileri aylık anketle

Gerçekte İşe Yarayan Entegrasyon Stratejileri

İşe yarayan pattern’lar bulunmadan önce birkaç entegrasyon yaklaşımı test edildi:

GitHub Actions Entegrasyonu

name: AI Code Review
on:
  pull_request:
    types: [opened, synchronize]

jobs:
  ai-review:
    runs-on: ubuntu-latest
    steps:
      - name: AI Security Review
        uses: ./actions/ai-security-review
        with:
          openai-api-key: ${{ secrets.OPENAI_API_KEY }}
          context-file: .github/review-context.json
          
      - name: Comment PR with findings
        uses: actions/github-script@v6
        with:
          script: |
            const findings = JSON.parse(process.env.AI_FINDINGS);
            const comment = generateReviewComment(findings);
            await github.rest.issues.createComment({
              issue_number: context.issue.number,
              owner: context.repo.owner,
              repo: context.repo.repo,
              body: comment
            });

Tool Karşılaştırması: Gerçekte Ne Kullandık

Ticari çözümleri değerlendirdikten sonra öğrendiklerimiz:

Snyk Code (eski adıyla DeepCode)

• Düşük false positive ile mükemmel güvenlik açığı tespiti
• Alana özel pattern’larla zorlanıyor
• Maliyet: $25-50/geliştirici/ay
• En iyi: Compliance gereksinimleri olan güvenlik odaklı takımlar için

Amazon CodeGuru Reviewer

• AWS-hosted uygulamalar için harika performans önerileri
• Sınırlı dil desteği, AWS ecosystem’ına bağımlılık
• Maliyet: İncelenen 100 satır kod başına $0.50
• En iyi: AWS ağırlıklı Java/Python şirketleri için

Custom OpenAI GPT-4 İmplementasyonu

• Custom prompt engineering için en esnek
• Önemli setup ve maintenance gerektirir
• Maliyet: ~$0.03 per 1K token (küçük takımlar için tipik $200-500/ay)
• En iyi: Kodlanacak özel alan uzmanlığı olan takımlar için

Hibrit yaklaşım en etkili çözüm olarak öne çıktı: güvenlik baseline için Snyk Code, mimari ve performans pattern’ları için custom GPT-4 prompt’ları.

AI Destekli İncelemenin Ekonomisi

ROI takım boyutuna göre önemli ölçüde değişiyor:

Küçük Takımlar (5-15 geliştirici):

• AI İnceleme Maliyeti: $200-500/ay
• Tasarruf Edilen İnsan İnceleme Süresi: 15-25 saat/ay
• Başabaş: 3-4 ay
• Birincil değer: Tutarlı güvenlik ve performans kontrolleri

Orta Takımlar (20-50 geliştirici):

• AI İnceleme Maliyeti: $800-1,500/ay
• Tasarruf Edilen İnsan İnceleme Süresi: 60-100 saat/ay
• Başabaş: 1-2 ay
• Birincil değer: Birden fazla takım arasında pattern tutarlılığı

Büyük Takımlar (100+ geliştirici):

• AI İnceleme Maliyeti: $3,000-6,000/ay
• Tasarruf Edilen İnsan İnceleme Süresi: 300-500 saat/ay
• Başabaş: 1 aydan az
• Birincil değer: Takımlar arası bilgi paylaşımı ve mimari tutarlılık

Gizli maliyetler önemli ama:

• Prompt engineering ve ayarlama: 40-80 saat ilk setup
• Entegrasyon geliştirme: 60-120 saat
• Takım eğitimi: Geliştirici başına 20 saat
• False positive çözümü: İlk ay için hafta 10-15 saat

AI Yanıldığında (Ve Bu Bize Ne Öğretir)

En değerli öğrenimlerimizden bazıları AI hatalarından geldi:

Bir güvenlik denetiminde, AI custom authentication middleware’ı standart OAuth pattern’larına uymadığı için “potansiyel güvenli olmayan” olarak işaretledi. Bu bulgu, custom çözümün hâlâ gerekçeli olup olmadığı veya sektör standartlarına geçilip geçilmemesi konusunda değerli bir tartışma başlattı. AI anlık açık konusunda yanılmış olsa da risk konusunda yanılmıyordu.

Bir performans incelemesinde, AI kötüye kullanımı önlemek için kasıtlı olarak yavaş bırakılmış bir veritabanı sorgusunu optimize etmeyi önerdi. Takip eden tartışma, kasıtlı performans trade-off’larının hiç dokümante edilmediğini ortaya koydu.

Yeni bir geliştirici onboarding sürecinde, AI önerileri mimari pattern’ların yalnızca geleneksel mentorluğa kıyasla daha hızlı kavranmasına yardım etti. İnsan inceleyiciler üst düzey tasarım konseptlerine odaklanırken tutarlı stil ve yapı geri bildirimi görülebiliyordu.

Gerçekte Önemli Metrikleri

Hem etkinlik hem de takım sağlığı takip edilir:

Etkinlik Metrikleri:

• True positive oranı: Güvenlik bulguları için %73, performans için %81
• Düzeltme süresi: AI işaretli sorunlar ortalama %40 daha hızlı çözülüyor
• Kapsama: AI insanlardan farklı sorun kategorilerini yakalar (tamamlayıcı, örtüşmeyen)

Takım Sağlığı Metrikleri:

• İnceleme memnuniyeti: 5/4.2 (AI yardımından önce 3.1/5’ten artış)
• İnceleme darboğazları: >24 saat inceleme bekleyen PR’larda %60 azalma
• Junior geliştirici öğrenme: Kod kalite metriklerine dayalı %35 daha hızlı onboarding

Memnuniyet artışı bizi şaşırttı. Geliştiriciler AI’ın “açık” kontrolleri yapmasını takdir ediyor böylece insan inceleyiciler mimari ve iş mantığı tartışmalarına odaklanabiliyor.

Temel Retrospektif Dersler

Dokümantasyonla başla. AI incelemesi uygulanmadan önce mimari kararların ve kodlama standartlarının makine okunabilir formatlarda dokümante edilmesi gerekir. AI yalnızca anladığını uygulayabilir; örtük bilgi prompt’lara iyi çevrilmez.

İlk olarak yüksek etki, düşük gürültülü alanlara odaklan. Güvenlik ve performans incelemelerinin iyi tanımlanmış pattern’ları ve yüksek bahisleri vardır. Takımla güven oluşana kadar kod stili gibi öznel alanlardan kaçınılmalıdır.

Takım dinamiği değişikliklerini planla. Senior geliştiriciler yerlerinin alınmasından endişelenebilir; junior geliştiriciler AI geri bildirimine aşırı bağımlı hale gelebilir. Bu endişelerin eğitim ve net rol tanımlarıyla proaktif olarak ele alınması gerekir.

Custom prompt’lara erken yatırım yap. Genel AI inceleyiciler maintenance yüküne kıyasla az değer katar. Gerçek fark, organizasyonun özel pattern’larının ve bağlamının sisteme kodlanmasından gelir.

AI’ın Değiştiremediği İnsan Elementi

Üretim ortamlarında iki yıllık AI destekli inceleme deneyimleri göstermektedir ki gelecek, AI’ın insan inceleyicilerin yerini alması üzerine kurulu değildir. AI pattern tanıma ve tutarlılık kontrollerini üstlenirken insanlar en iyi yaptıklarına odaklanır: bağlamı anlama, trade-off kararları verme ve diğer geliştiricilere mentorluk.

En başarılı takımlar AI inceleyicileri bilgili ama deneyimsiz takım üyeleri gibi davranıyor, rehberlik ve geri bildirim gerektiren. Pattern’ları fark etme ve kurallara uymada üstünler, ama context sağlama ve yargı kararları için insanlara ihtiyaçları var.

AI “Bu pattern’ı takip ediyor mu?” sorusunda mükemmel İnsanlar “Bu pattern hala doğru olan mı?” sorusu için hayati

Bu sorular inceleme sürecinde birbirini tamamladığında hem tutarlılık hem evrim elde edersin. AI destekli kod incelemesi gerçekten değerli hale geldiği zaman budur - insan yargısının yerini alan olarak değil, insan uzmanlığının amplifikatörü olarak.

Kaynaklar

• GitHub Copilot kod kalitesini iyileştiriyor mu? - GitHub’ın binlerce pull request genelinde Copilot’un okunabilirlik, güvenilirlik ve sürdürülebilirlik üzerindeki etkisini ölçen araştırması
• GitHub Copilot’un kod kalitesi üzerindeki etkisini sayısallaştırmak - GitHub Copilot kullanımında kod kalitesi iyileştirmelerini ölçen kontrollü çalışma, okunabilirlik ve onaylama oranı metrikleri dahil
• 60 milyon Copilot kod incelemesi ve sayılmaya devam ediyor - 60 milyondan fazla pull request incelemesinden elde edilen Copilot kod inceleme örüntüleri ve bulgularının analizi
• AI’nın Geliştirici Verimliliği Üzerindeki Etkisi: GitHub Copilot’tan Kanıtlar - Görev tamamlama süresi ve başarı oranları dahil AI destekli kodlamadan elde edilen geliştirici verimlilik kazanımlarını ölçen akademik çalışma
• Google Mühendislik Uygulamaları - Kod İncelemesi - Hem yazarlar hem de inceleyiciler için kod inceleme standartlarını kapsayan Google’ın kamuya açık mühendislik uygulamaları rehberi

Amaç insan incelemesini ortadan kaldırmak değil. İnsan inceleyicileri daha iyi araçlar vererek ve yazılım geliştirmenin benzersiz insan yönlerine odaklanmak için onları serbest bırakarak daha etkili hale getirmektir: context’i anlama, trade-off’lar yapma ve takım arkadaşlarının büyümesine yardım etme.