Primul cuvânt apare după câteva secunde, iar restul curge greu. Oamenii închid fereastra sau întreabă din nou, ceea ce încarcă și mai mult serverul.
Modelul știe răspunsul. Doar că îl spune greu.
Un model care impresionează în demonstrație poate fi prea lent în producție. Problema e rar modelul în sine. De cele mai multe ori e felul în care rulează.
Placa stă mare parte din timp așteptând, pentru că cererile vin una câte una. Plătești capacitate pe care serverul nu o folosește.
În test, cu un singur utilizator, totul pare în regulă. Luni dimineață, când intră toată echipa, coada crește și răspunsurile întârzie.
Cursa: același răspuns, de două ori
Același model, aceeași întrebare, aceeași placă. Diferă doar felul în care rulează. Alege tehnicile și pornește cursa.
Întrebarea„Unde e comanda mea și când ajunge?”
Apasă „Pornește cursa”.
- Primul cuvânt
- 0,0 s
- Tokeni/s
- 0
- Timp total
- 0,0 s
Apasă „Pornește cursa”.
- Primul cuvânt
- 0,0 s
- Tokeni/s
- 0
- Timp total
- 0,0 s
Exemplu
Cifrele și multiplicatorii sunt ilustrativi. Câștigul real depinde de model, de placă și de trafic, iar tehnicile nu se adună mereu așa frumos. Pe ale voastre le măsurăm la evaluare.
Ce reglăm, și ce costă fiecare
Nicio tehnică nu e gratuită. Pentru fiecare, îți spunem ce câștigi și ce riști, ca să alegem împreună doar ce se merită la voi.
- Câștigi
- Modelul ocupă mai puțină memorie și rulează mai repede pe aceeași placă.
- Compromis
- Poate pierde puțin din calitate. O măsurăm pe întrebările voastre înainte să o păstrăm.
- Câștigi
- Mai mulți utilizatori sunt serviți în același timp, fără să aștepte unul după altul.
- Compromis
- Cere reglaj atent, altfel un utilizator poate aștepta mai mult la vârf.
- Câștigi
- Instrucțiunile și documentele care se repetă în fiecare cerere nu se mai recalculează.
- Compromis
- Ocupă memorie pe GPU. Alegem cât păstrăm și ce scoatem primul.
- Câștigi
- Un model mic propune câteva cuvinte, cel mare doar le verifică. Textul final e același.
- Compromis
- Ajută mult la unele sarcini, puțin la altele. Îl lăsăm doar unde măsurăm câștig.
- Câștigi
- Un runtime făcut pentru LLM-uri, configurat pentru placa și modelul vostru.
- Compromis
- Uneori înseamnă o migrare. O facem în paralel, fără să opriți ce merge.
- Câștigi
- Vedem unde se duce timpul: în model, în rețea, în coadă sau în codul din jur.
- Compromis
- Cere puțin timp la început, dar ne scutește să optimizăm ce nu contează.
Primești un raport, nu o impresie
Același test de sarcină, rulat pe configurația de azi și pe cea optimizată. Cinci măsurători, pe hardware-ul vostru, cu întrebările voastre.
Cere măsurarea- Timpul până la primul cuvântCât așteaptă omul până vede că se întâmplă ceva.
- Tokeni pe secundă, pe utilizatorCât de repede curge textul pentru fiecare om.
- Cereri servite la vârfCâți pot lucra deodată până când răspunsurile încep să întârzie.
- Folosirea GPU și a memorieiCât din placa pe care ați plătit-o chiar lucrează.
- Calitatea răspunsurilorAcelași set de întrebări, înainte și după, ca să nu câștigăm viteză pe seama calității.
Mai rapid, dar nu mai prost
Viteza obținută pe seama calității nu e un câștig. De aceea lucrăm după patru reguli simple.
- Calitatea se măsoară, nu se presupune
- Pregătim împreună un set de întrebări reale. Orice schimbare care strică răspunsurile peste pragul acceptat de voi rămâne pe dinafară.
- Fiecare schimbare se poate da înapoi
- Configurația veche rămâne pregătită. Dacă ceva nu merge cum trebuie în producție, revenim la ea fără să pierdem nimic.
- Cifre măsurate la voi
- Nu promitem un multiplicator din prezentări. Primești raportul pe hardware-ul și traficul vostru.
- Rămâne pe serverul firmei
- Optimizăm pe infrastructura voastră. Cererile și datele nu trec prin niciun serviciu extern.
Măsurăm, reglăm, măsurăm din nou
Nu schimbăm nimic înainte să știm unde se pierde timpul.
- 1Evaluare gratuită
Ne arătați modelul, serverul și cum e folosit. Vă spunem unde vedem loc de câștig.
- 2Măsurare
Test de sarcină pe configurația de azi, cu întrebările voastre.
- 3Optimizare
Aplicăm tehnicile care ajută la voi, una câte una, cu măsurare după fiecare.
- 4Raport și predare
Cifrele înainte și după, configurația documentată și cum o operați.
Întrebări frecvente
Ce înseamnă concret optimizarea inferenței?
Modelul rămâne același, dar îl facem să ruleze mai eficient: îl încărcăm într-un format mai compact, grupăm cererile, refolosim calculele care se repetă și alegem serverul de inferență potrivit. Rezultatul e un răspuns mai rapid și mai mulți utilizatori serviți pe aceeași placă.
Trebuie să cumpărăm GPU-uri noi?
De multe ori nu. Primul câștig vine din folosirea mai bună a hardware-ului existent. Dacă măsurătorile arată că placa e pur și simplu prea mică pentru volumul vostru, vă spunem asta la evaluare, înainte să începem.
Scade calitatea răspunsurilor?
Unele tehnici, ca de exemplu cuantizarea, pot schimba puțin răspunsurile. De aceea măsurăm calitatea pe un set de întrebări reale înainte și după. Ce strică rezultatele peste pragul acceptat de voi nu rămâne în configurația finală.
Cât de mult mai rapid devine?
Depinde de model, de placă și de felul în care e folosit. Cifrele din demonstrația de pe pagină sunt doar un exemplu. Pe ale voastre le măsurăm și le primiți în raport.
Merge și pentru modele care nu sunt LLM-uri?
Da. Modelele de viziune, de clasificare sau de recunoaștere vocală se pot optimiza și ele, cu tehnici în mare parte asemănătoare. Le discutăm la evaluare.
Cât costă?
Depinde de câte modele sunt și de cât de complicată e infrastructura. După evaluarea gratuită primiți un preț fix, în scris.
Hai să vedem cât de repede poate merge.
Evaluarea e gratuită. Ne uităm la model, la server și la trafic, apoi îți spunem unde e câștigul și cât costă să-l obții.
