1. Care e termenul de retur pentru produsele comandate online?
Răspuns așteptat30 de zile de la livrare. Sursa: Politica de retur, art. 4.
Răspunsul modeluluiAveți 30 de zile de la livrare (Politica de retur, art. 4).
Trece: Corect, cu sursăRăspunsul modeluluiAveți 30 de zile pentru retur.
Picat: Corect, dar fără sursăRăspunsul modeluluiAveți 14 zile de la livrare, conform legii.
Picat: Termen greșitRăspunsul modeluluiReturul se poate face în 30 de zile de la livrare (Politica de retur).
Trece: Corect, cu sursăRăspunsul modelului30 de zile de la livrare, conform Politicii de retur, art. 4.
Trece: Corect, cu sursă2. Clientul Delta are livrare gratuită prin contract?
Răspuns așteptatDa, pentru comenzi peste 500 de lei. Sursa: contractul 112/2024, anexa 2.
Răspunsul modeluluiDa, pentru comenzi peste 500 de lei (contract 112/2024, anexa 2).
Trece: Corect, cu sursăRăspunsul modeluluiDa, livrarea e gratuită (contract 112/2024).
Picat: Lipsește pragul de 500 de leiRăspunsul modeluluiDa, livrarea este gratuită.
Picat: Incomplet, fără sursăRăspunsul modeluluiDa, pentru comenzi de peste 500 de lei.
Picat: Corect, dar fără sursăRăspunsul modeluluiDa, pentru comenzi peste 500 de lei (contract 112/2024, anexa 2).
Trece: Corect, cu sursă3. Rezumă reclamația atașată în două fraze.
Răspuns așteptatDouă fraze, în română, doar cu ce scrie în reclamație.
Răspunsul modeluluiClientul a primit un produs deteriorat și cere înlocuirea. A trimis poze pe 12 martie.
Trece: Fidel, în românăRăspunsul modeluluiClientul reclamă un produs deteriorat. Cere înlocuirea lui.
Trece: Fidel, în românăRăspunsul modeluluiThe customer received a damaged product. Cere înlocuirea.
Picat: Pe jumătate în englezăRăspunsul modeluluiClientul a primit produsul deteriorat și cere banii înapoi. Este nemulțumit și de curier.
Picat: Adaugă lucruri care nu scriu în reclamațieRăspunsul modeluluiClientul a primit un produs deteriorat și cere înlocuirea. A trimis poze pe 12 martie.
Trece: Fidel, în română
„Pare mai bun” nu e o măsurătoare
Fără un test al vostru, alegerea unui model e o părere. Iar o părere nu vă spune când ceva s-a stricat.
- Demo-ul arăta foarte bine
Cinci întrebări alese de furnizor, puse în ziua prezentării. În producție, pe întrebările voastre, modelul se poartă altfel.
- Scoruri publice care nu vă măsoară
Un clasament public spune cât de bun e un model la probleme de matematică în engleză. Nu cât de bine răspunde clienților voștri în română.
- Versiunea nouă strică pe tăcute
Schimbați modelul sau promptul, pare mai bine, iar peste o lună aflați că răspunsurile despre retur au devenit greșite.
Tabla de scor
Cinci modele, același set de test al unei firme. Apasă pe o coloană ca să sortezi după ce contează pentru tine, apoi pe un model ca să-i vezi foaia de examen.
| Model | |||||
|---|---|---|---|---|---|
| 87% | 93% | 96% | 1,7 s | 4 lei | |
| 86% | 90% | 92% | 3,9 s | 11 lei | |
| 84% | 71% | 90% | 2,4 s | 38 lei | |
| 78% | 74% | 88% | 1,6 s | 4 lei | |
| 69% | 61% | 71% | 0,8 s | 2 lei |
Cel mai bun pe coloană. Pentru modelele locale, costul include curentul și amortizarea hardware-ului, estimat.
Exemplu ilustrativ. Modelele sunt anonimizate, iar cifrele, întrebările și răspunsurile sunt inventate pentru a arăta formatul.
Ce măsurăm
Nu un singur scor, ci ce contează pentru decizie. Criteriile le stabilim împreună, înainte de primul test.
- Corectitudine
- Răspunsul e cel bun? Comparat cu răspunsul așteptat, scris de oamenii voștri.
- Surse
- Citează documentul corect, și chiar spune documentul ce susține răspunsul?
- Limba și tonul
- Română corectă, fără fraze traduse, în tonul potrivit pentru clienți.
- Când nu știe
- Recunoaște că nu are informația sau inventează ceva plauzibil?
- Viteză
- Cât așteaptă un om până la răspuns, măsurat pe hardware-ul pe care va rula.
- Cost
- Cât costă o mie de cereri: pe token la un API, sau curent și hardware la voi.
Setul de test rămâne. Regresiile nu mai trec.
La fiecare model, prompt sau versiune nouă, rulați același test. Dacă scorul scade, aflați înainte de clienți, nu după.
Cum lucrăm
O evaluare cinstită se decide înainte de test, nu după. De aceea ordinea contează.
- 1Ce înseamnă „bun”
Stabilim criteriile și pragurile înainte de orice test, ca să nu le potrivim după rezultat.
- 2Setul de test
Întrebări reale, cu răspunsurile așteptate scrise de oamenii voștri, plus cazuri grele.
- 3Rularea
Toate modelele, pe exact aceleași întrebări, pe hardware-ul potrivit.
- 4Notarea
Automat unde se poate, cu oameni sau cu un model-evaluator verificat unde e nevoie.
- 5Recomandarea
Ce model să folosiți și de ce, cu compromisurile scrise clar.
Întrebări frecvente
De ce nu ne bazăm pe clasamentele publice?
Pentru că măsoară altceva: probleme generale, de obicei în engleză. Un model bun „în general” poate fi slab exact pe întrebările voastre, în română, cu documentele voastre.
Cum notați un răspuns când nu există un singur răspuns corect?
Scriem criterii clare pentru fiecare întrebare: ce trebuie să conțină, ce sursă, ce nu are voie să inventeze. Notăm automat ce se poate, iar restul cu evaluatori umani sau cu un model-evaluator pe care îl verificăm întâi pe un eșantion notat de oameni.
Puteți evalua și modele comerciale, prin API?
Da. Punem pe aceeași tablă modele open-source rulate local, modele adaptate de noi și API-uri comerciale, ca să comparați corect, inclusiv la cost.
Setul de test rămâne la noi?
Da. E al vostru și îl refolosiți la fiecare model, prompt sau versiune nouă, ca să prindeți regresiile înainte să ajungă la clienți.
Datele de test pleacă undeva?
Nu, pentru modelele rulate local evaluarea se face pe serverele voastre. Dacă vreți să comparați și un API extern, vă spunem exact ce date i-ar ajunge și decideți voi.
Cât costă?
Depinde de câte modele comparăm și de mărimea setului de test. După evaluarea gratuită primiți un preț fix, în scris.
Alegeți modelul pe cifre.
Trimiteți-ne câteva întrebări reale și ce răspuns așteptați. Evaluarea e gratuită, iar prețul pentru testul complet îl primiți fix, în scris. Pentru monitorizare continuă, vezi MLOps și monitorizare.
