Dacă decizia se poate scrie în zece rânduri de cod, nu vă vindem un model. Vă spunem asta la evaluare.
Aveți datele. Vă lipsește modelul.
Cele mai valoroase date ale unei firme sunt de obicei cele pe care nu le folosește nimeni.
- Modelele gata făcute nu vă știu domeniul
Un model general a învățat de pe internet. Nu vă știe produsele, clienții sau excepțiile, și greșește exact acolo unde contează.
- Datele stau degeaba
Aveți ani de comenzi, tichete, măsurători sau imagini. Fără un model antrenat pe ele, sunt doar un cost de stocare.
- Pentru antrenare în cloud, datele pleacă
Ca să antrenezi la un furnizor extern, îți urci acolo istoricul firmei. Exact ce nu vrei cu datele de business.
Curba de învățare
Un model care arată perfect la antrenare poate fi inutil în producție. Mută cursorul și vezi ce se întâmplă cu eroarea când are puține sau multe date.
- Eroare la antrenare
- Eroare pe date noi
La antrenare
Pe date noi
Oprim la
Memorează în loc să învețe
Pe exemplele văzute pare aproape perfect. Pe exemple noi greșește des, iar cu cât antrenezi mai mult, cu atât e mai rău. Asta e supraînvățarea.
Ce facem: adunăm sau generăm mai multe exemple, alegem un model mai simplu și oprim antrenarea la timp.
Învață, dar trebuie oprit la timp
Modelul prinde regula, apoi, după un punct, începe să memoreze. Momentul bun de oprire se vede doar pe date pe care nu le-a văzut.
Ce facem: urmărim eroarea pe date noi la fiecare epocă și păstrăm varianta cea mai bună.
Ce învață se păstrează
Cele două curbe merg împreună. Ce a învățat pe exemplele de antrenare se vede la fel și pe exemple noi.
Ce facem: verificăm că setul de test seamănă cu ce va vedea modelul în producție, ca cifra să fie reală.
Curbe ilustrative, nu măsurători. Eroarea arătată e la cel mai bun moment de oprire. Forma lor e însă exact ce urmărim la fiecare antrenare reală.
O întrebare pe care o puneți des
Un model bun răspunde la o singură întrebare, foarte bine. Iată întrebările la care antrenăm cel mai des.
- „În ce categorie intră?”Clasificare
Documente, tichete, e-mailuri sau produse, încadrate automat în categoriile voastre.
- „Cât o să fie?”Predicție
Cerere, risc, durată sau preț, estimate din istoricul firmei.
- „Ce se vede în imagine?”Viziune
Defecte pe linia de producție, obiecte, citire de etichete sau verificări de calitate.
- „Ce spune textul?”Limbaj
Extragere de date, sentiment sau intenție, pe termenii din domeniul vostru, în română.
- „Ce urmează luna viitoare?”Serii de timp
Vânzări, consum sau stocuri, cu sezonalitatea și tendințele voastre reale.
Nu primiți doar un fișier
Un model fără raport, istoric și reantrenare e o cutie neagră cu termen de expirare. La predare primiți tot dosarul.
- livrare/
model/Modelul antrenat, gata de rulat pe serverele voastre.raport-evaluare.pdfCât de bine merge, pe date pe care nu le-a văzut, pe metricile agreate la început.experimente/Ce s-a încercat, cu ce rezultat și de ce a câștigat varianta finală.limite.mdUnde greșește modelul și în ce situații nu trebuie folosit singur.reantrenare/Scriptul care îl reantrenează când apar date noi, fără să pornim de la zero.
Uneori, răspunsul corect e să nu antrenăm
Un model propriu nu e scopul. Scopul e problema rezolvată, cu cel mai simplu instrument care merge.
Pentru multe sarcini, un model open-source adaptat e mai rapid și mai ieftin decât unul antrenat de la zero.
Vă spunem câte exemple lipsesc și cum le puteți aduna, în loc să antrenăm ceva care memorează.
Pentru modele de limbaj care trebuie să scrie în stilul firmei, vezi fine-tuning pentru LLM.
De la date la model în producție
Fiecare etapă se termină cu ceva ce puteți verifica, nu cu o promisiune.
- 1Ținta
Stabilim ce prezice modelul și ce metrică decide dacă e bun pentru voi.
- 2Datele
Le verificăm, le curățăm și le împărțim corect, ca testul să fie cinstit.
- 3Antrenare
Pe serverele voastre, cu fiecare experiment notat și reproductibil.
- 4Evaluare
Pe date ținute deoparte, comparat cu ce folosiți azi.
- 5Predare
Modelul, raportul, documentația și pipeline-ul de reantrenare.
Întrebări frecvente
Câte date ne trebuie?
Depinde de problemă. Pentru unele clasificări ajung câteva sute de exemple bune, pentru altele e nevoie de mii. Ne uităm la ce aveți la evaluare și vă spunem concret, inclusiv dacă nu ajung încă.
Trebuie antrenat un model de la zero?
Rar. De cele mai multe ori pornim de la un model open-source existent și îl adaptăm pe datele voastre. De la zero antrenăm doar când problema chiar o cere.
Cum știm că modelul e bun, nu doar la test?
Îl măsurăm pe date pe care nu le-a văzut niciodată, alese să semene cu ce va vedea în producție. Primiți raportul cu cifrele și cu locurile unde greșește. Pentru comparații între mai multe variante, vezi și evaluarea și benchmarking-ul.
Ce se întâmplă când apar date noi?
Primiți pipeline-ul de reantrenare. Modelul se actualizează pe datele noi, iar noua versiune se compară cu cea veche înainte să o înlocuiască.
Datele noastre ajung undeva?
Nu. Antrenarea rulează pe serverele firmei. Dacă nu aveți încă hardware potrivit, îl dimensionăm pe problema voastră.
Cât costă?
Depinde de problemă și de starea datelor. După evaluarea gratuită primiți un plan pe etape și un preț fix, în scris.
Ce ar putea învăța un model din datele voastre?
Arată-ne ce date aveți și ce ați vrea să prezică. Evaluarea e gratuită și vă spunem sincer dacă merită un model.
