Un model nu dă eroare când greșește. Răspunde la fel de sigur pe el, doar că tot mai des greșit.
Un an din viața unui model
Un model care sortează tichetele de suport, lansat în ianuarie. Trage de cursor și urmărește ce se întâmplă cu el, cu și fără cineva care să se uite.
Cu monitorizareFără monitorizarePrag de alertă, 88%Exemplu
Cu monitorizare–
Fără monitorizare–
Curbele și procentele sunt ilustrative. Viteza cu care se degradează un model depinde de domeniu și de cât de repede se schimbă datele voastre.
De ce nu observă nimeni
Lansarea unui model pare finalul proiectului. De fapt e începutul perioadei în care se poate strica fără ca cineva să știe.
Fără cineva care să se uite la cifre, primul semnal e o reclamație sau un raport lunar care nu mai iese cum trebuie.
Modelul nou se pune în producție de mână, fără comparație cu cel vechi și fără un drum clar înapoi.
Ce urmărim, zi de zi
Șase semnale, adunate automat într-un tablou pe care îl vedeți și voi. Fiecare are praguri agreate împreună.
Cât de des are dreptate, măsurat pe cazurile verificate de oameni.
Dacă cererile de azi seamănă cu cele pe care a învățat. Aici se vede primul drift.
Cât durează un răspuns și câte cereri eșuează, pe ore și pe zile.
Vârfuri, scăderi bruște, un client care trimite de zece ori mai mult decât de obicei.
Memorie, GPU și disc, ca să nu afli că s-a umplut serverul abia când se oprește.
Corecturile făcute de colegi devin date pentru următoarea reantrenare.
O buclă, nu o intervenție de urgență
Când precizia scade, nu începe o criză. Începe o rutină pe care modelul a mai parcurs-o și pe care o știe toată lumea.
- 1Observă
Semnalele se strâng zilnic, automat.
- 2Compară
Cu nivelul de la lansare și cu pragurile agreate.
- 3Alertează
Omul potrivit află pe canalul pe care îl folosește deja.
- 4Reantrenează
Pe date recente, cu același set de test ca prima dată.
- 5Lansează treptat
Întâi pe o parte din trafic, apoi pe tot.
Apoi de la capăt, cu modelul nou sub observație.
Nicio versiune nouă fără dovadă
Un model reantrenat nu e automat mai bun. De aceea fiecare lansare trece prin aceleași verificări, iar cea veche rămâne pregătită.
- Versiune nouă doar dacă e mai bună
- Modelul reantrenat trece prin același test ca cel vechi. Dacă nu îl bate, nu ajunge în producție.
- Drum înapoi, oricând
- Fiecare versiune rămâne păstrată. Dacă cea nouă se poartă ciudat, revenim la cea de dinainte.
- Știi mereu ce rulează
- Ce versiune, antrenată pe ce date, lansată când și de cine. Totul notat, nu ținut minte.
- Datele rămân la voi
- Monitorizarea și reantrenarea rulează pe serverele firmei. Predicțiile și datele nu pleacă nicăieri.
Cum începem
Nu schimbăm modelele voastre. Le punem sub observație, apoi facem din actualizare o rutină.
- 1Evaluare gratuită
Ne arătați ce modele aveți în producție și cum sunt lansate azi.
- 2Instrumentare
Adăugăm măsurătorile, fără să schimbăm felul în care merge modelul.
- 3Praguri și alerte
Stabilim împreună ce e normal și cine află când nu mai e.
- 4Operare
Reantrenare și lansări ca rutină, nu ca intervenție de urgență.
Întrebări frecvente
Ce înseamnă drift?
Lumea se schimbă după ce modelul a fost antrenat: apar produse noi, clienții scriu altfel, se schimbă un formular. Datele reale nu mai seamănă cu cele pe care a învățat, iar precizia scade treptat. Asta e driftul.
Cât de des trebuie reantrenat un model?
Nu după calendar, ci când semnalele o cer. Unele modele merg bine un an întreg, altele simt schimbarea după câteva săptămâni. Monitorizarea vă spune care e cazul vostru.
Merge și cu modele pe care nu le-ați făcut voi?
Da. Ne legăm de modelele și serverele pe care le aveți, fie că sunt făcute intern, de alt furnizor sau modele open-source. Nu rescriem ce merge.
Cum se măsoară precizia în producție, dacă nu știm răspunsul corect?
Folosim un eșantion verificat periodic de oameni, corecturile pe care colegii le fac deja și semnale indirecte, cum ar fi schimbarea datelor de intrare. Alegem combinația potrivită pentru fiecare model.
Datele trec printr-un serviciu extern?
Nu. Monitorizarea, jurnalele și reantrenarea rulează pe serverele firmei. Alertele ajung pe canalele pe care le folosiți deja, cum ar fi e-mailul sau Teams.
Cât costă?
Depinde de câte modele sunt și de cât de des trebuie urmărite. După evaluarea gratuită primiți un preț fix, în scris. Pentru operare continuă, abonamentul lunar e de obicei varianta potrivită.
Cum se simte modelul vostru azi?
Dacă nu știți sigur, e un răspuns în sine. Evaluarea e gratuită: ne uităm la ce aveți în producție și vă spunem ce merită urmărit.
