Aceleași greutăți, stocate cu mai puțini biți. Modelul rămâne același, doar ocupă mai puțin și rulează mai repede.
Modelul bun e prea mare. Cel mic e prea slab.
De cele mai multe ori, între cele două există un model comprimat care face treaba pe ce aveți deja.
- Nu încape pe ce aveți
Modelul care merge bine cere mai multă memorie video decât are serverul vostru. Soluția propusă e mereu „cumpărați alt GPU”.
- Prea lent pentru oameni care așteaptă
Un răspuns care vine în câteva secunde e bun pentru un raport de noapte, nu pentru un coleg sau un client care așteaptă.
- Hardware mare pentru o sarcină mică
Folosiți un model uriaș ca să clasificați e-mailuri. Plătiți în hardware și curent pentru o capacitate de care nu aveți nevoie.
Cât încape
Alege mărimea modelului și precizia. Vezi cam câtă memorie cere și pe ce fel de hardware încape. Diferența dintre 16 și 4 biți e, de multe ori, diferența dintre „trebuie un server nou” și „merge pe ce avem”.
Același model, 7B, în trei precizii
Memorie necesară, aproximativ
- Greutățile modelului
- Context și rulare, cam 20%
- Laptopaproximativ 16 GB pentru model
- Stație cu un GPU24 GB memorie video
- Server cu mai multe GPU-uride exemplu 4 × 48 GB
Aproximativ: parametri × octeți pe parametru, plus o marjă de 20% pentru context și rulare. Clasele de hardware sunt orientative. Contextul lung și multe cereri simultane cer mai multă memorie; cifrele exacte le măsurăm pe hardware-ul vostru.
Trei feluri de a micșora un model
Alegem după sarcină și după hardware. Uneori una ajunge, alteori le combinăm.
Un model mic învață să imite un model mare, pe sarcinile voastre. Merge foarte bine pe o sarcină îngustă, nu pe orice.
Scoatem părțile din model care contribuie puțin la rezultat. Se combină des cu celelalte două.
Nu comprimăm orbește
Orice compresie costă ceva. Diferența e dacă știți cât. Fiecare proiect trece prin aceeași buclă, pe întrebările voastre reale.
- 1Măsurăm originalul
Calitate pe întrebările voastre, viteză și memorie, pe hardware-ul țintă.
- 2Comprimăm
Cuantizare, distilare sau tăiere, după ce cere sarcina și hardware-ul.
- 3Măsurăm din nou
Pe exact aceleași întrebări, ca diferența să fie reală, nu o impresie.
- 4Decideți voi
Cu cifrele în față. Dacă pierderea e prea mare, rămânem la o precizie mai mare.
Vreți modelul și mai rapid la rulare? Vezi optimizarea inferenței. Vreți să comparați mai multe variante pe cifre? Vezi evaluarea și benchmarking-ul.
Întrebări frecvente
Pierdem calitate prin cuantizare?
Puțin, iar cât depinde de model și de sarcină. La 8 biți diferența e de obicei greu de observat, la 4 biți se poate vedea pe unele sarcini. Nu vă cerem să ne credeți: măsurăm pe întrebările voastre, înainte și după.
Care e diferența dintre distilare și cuantizare?
Cuantizarea păstrează același model și îi reduce precizia numerică. Distilarea antrenează un model separat, mai mic, să imite unul mare pe sarcinile voastre. Uneori le combinăm.
Merge pe hardware-ul pe care îl avem deja?
Des, exact acesta e scopul. Pornim de la ce aveți și vă spunem ce model și ce precizie încap, înainte să vă recomandăm să cumpărați ceva.
Cât de exact e calculul de memorie de pe pagină?
E orientativ: memoria pentru greutăți, plus o marjă pentru context și rulare. Contextul lung și multe cereri simultane cer mai multă memorie. Cifrele exacte le măsurăm pe hardware-ul vostru.
Ce modele putem comprima?
Modele open-source, de exemplu Llama, Mistral sau Qwen, și modele antrenate de noi pe datele voastre. Licența fiecărui model o verificăm împreună.
Cât costă?
Depinde de model și de hardware-ul țintă. După evaluarea gratuită primiți un preț fix, în scris.
Spune-ne ce hardware ai. Îți spunem ce încape.
Evaluarea e gratuită. Vă arătăm ce model și ce precizie merg pe ce aveți deja, înainte să cumpărați ceva.
