boc/SIL/VALIDATION_FRAMEWORK.md

SIL Validation Framework

"Mäta hur ofta SIL:s analyser stämmer, hur snabbt grafen hinner ikapp förändringar och hur ofta den leder till bättre beslut."

---

Mätvärden (Metrics)

1. Prediction Accuracy

accuracy = korrekta_förutsägelser / totala_förutsägelser

Hur mäter vi:

• SIL förutsäger att "Wallet Service påverkar Stripe"
• Efter deploy: Verifiera om Stripe-anrop faktiskt ändrades
• Logga: ✅ Korrekt eller ❌ Felaktigt

Mål: > 85% efter 3 månader

2. Coverage

coverage = dokumenterade_komponenter / verkliga_komponenter

Hur mäter vi:

• SIL känner till X komponenter
• Verkligheten har Y komponenter (från AST, K8s, etc.)
• Logga: täckningsgrad per typ (services, APIs, tables)

Mål: > 90% efter 3 månader

3. Freshness

freshness = 1 - (tid_sedan_senaste_uppdatering / max_acceptabel_tid)

Hur mäter vi:

• När uppdaterades grafen senast?
• När skedde senaste ändringen i kodbasen?
• Logga: fördröjning i minuter/timmar

Mål: < 1 timme efter varje commit

4. Confidence Calibration

calibration = |förutsagd_confidence - verklig_träffsäkerhet|

Hur mäter vi:

• SIL säger 90% confidence
• Verklighet: 85% av förutsägelser stämmer
• Kalibreringsfel: 5%

Mål: < 10% kalibreringsfel

5. Decision Impact

impact = beslut_med_SIL / totala_beslut

Hur mäter vi:

• Hur många PR:s använde SIL-analys?
• Hur många incidenter kunde förhindras?
• Tid sparad vs. manuell analys?

Mål: > 50% av PR:s använder SIL efter 3 månader

---

Valideringsprocess

Steg 1: Logga alla förutsägelser

{
  "timestamp": "2026-06-30T18:45:00Z",
  "pr": "HEAD~1..HEAD",
  "predictions": [
    {
      "id": "pred-001",
      "type": "impact",
      "component": "wallet",
      "prediction": "Wallet Service påverkar Stripe",
      "confidence": 0.95,
      "verifiable": true,
      "verification_method": "git_diff_stripe_calls"
    },
    {
      "id": "pred-002",
      "type": "risk",
      "component": "auth",
      "prediction": "Auth Service är kritisk",
      "confidence": 0.90,
      "verifiable": false,
      "verification_method": "manual_review"
    }
  ]
}

Steg 2: Verifiera efter deploy

{
  "timestamp": "2026-06-30T19:00:00Z",
  "pr": "HEAD~1..HEAD",
  "verifications": [
    {
      "prediction_id": "pred-001",
      "result": "correct",
      "evidence": "git diff visar ändring i stripe.ts",
      "verified_by": "auto"
    },
    {
      "prediction_id": "pred-002",
      "result": "pending",
      "evidence": null,
      "verified_by": null
    }
  ]
}

Steg 3: Beräkna mätvärden

# Kör varje vecka
node sil-metrics.mjs --week 2026-W26

Output:

📊 SIL Metrics vecka 2026-W26

Prediction Accuracy: 87% (target: 85%) ✅
Coverage: 78% (target: 90%) ⚠️
Freshness: 23 min (target: 60 min) ✅
Confidence Calibration: 7% (target: 10%) ✅
Decision Impact: 34% (target: 50%) ⚠️

Rekommendationer:
  1. Öka coverage: 22% av komponenter saknas i grafen
  2. Öka adoption: Endast 34% av PR:s använder SIL

---

Dashboard (för människor)

Veckorapport

┌─────────────────────────────────────────────────────────────┐
│                    SIL VECKORAPPORT                          │
│                    Vecka 26, 2026                           │
├─────────────────────────────────────────────────────────────┤
│                                                              │
│  📈 Prediction Accuracy: 87% ████████████░░░               │
│  📊 Coverage: 78% █████████░░░░░░░░░░░░░░░                 │
│  ⏱️  Freshness: 23 min ████████████████████                │
│  🎯 Calibration: 93% ████████████████░░░░░                 │
│  👥 Adoption: 34% ███████░░░░░░░░░░░░░░░░░                 │
│                                                              │
├─────────────────────────────────────────────────────────────┤
│  TOP 5 AVVIKELSER                                           │
│  1. Wallet Service endpoints saknas (coverage)              │
│  2. KYC-verifiering för långsam (freshness)                 │
│  3. 3 förutsägelser om Stripe var felaktiga (accuracy)      │
│  4. Confidence för DB-relationer för hög (calibration)      │
│  5. Endast 2 av 10 PR:s använde SIL (adoption)              │
├─────────────────────────────────────────────────────────────┤
│  ÅTGÄRDER                                                    │
│  • Lägg till Wallet Service endpoints (auto-scan)           │
│  • Justera confidence för DB-relationer                     │
│  • Skapa onboarding-guide för SIL                           │
└─────────────────────────────────────────────────────────────┘

---

Experiment: Skuggläge

Hypotes

"SIL kan identifiera påverkade komponenter med > 80% träffsäkerhet"

Experimentdesign

1. Kontrollgrupp: Utvecklare analyserar PR manuellt
2. Experimentgrupp: SIL analyserar PR automatiskt
3. Jämförelse: Efter deploy, verifiera vilken analys som var mer korrekt

Mätning

• Varje vecka: 20 PR:s analyseras av båda grupperna
• Efter deploy: Verifiera faktisk påverkan
• Beräkna: Träffsäkerhet, tid sparad, fel som förhindrats

Avslutningskriterier

• Efter 100 PR:s: Jämför resultat
• Om SIL > 80% träffsäkerhet: Aktivera för alla PR:s
• Om SIL < 80%: Förbättra modellen, fortsätt experiment

---

Kontinuerlig Förbättring

Veckovis

1. Samla in mätvärden
2. Identifiera avvikelser
3. Justera confidence-nivåer
4. Uppdatera grafen

Månadsvis

1. Djupanalys av felaktiga förutsägelser
2. Uppdatera algoritmer
3. Utöka coverage
4. Rapportera till teamet

Kvartalsvis

1. Strategisk review
2. Jämför med mål
3. Justera roadmap
4. Celebrera framgångar

---

SIL Validation Framework v0.1 "Mäta för att förbättra"