# Evaluare și benchmarking modele AI pe întrebările firmei | e-data > Măsurăm cât de bine merge un model AI pe întrebările firmei: corectitudine, surse, română, viteză și cost. Comparăm modele și prindem regresiile. Adresa: https://www.e-data.ro/servicii/evaluare-benchmarking # Măsurăm cât de bine merge. Nu ghicim. Alegeți un model pe cifre, nu pe impresia dintr-un demo. Construim un set de test din întrebările voastre reale, punem modelele cap la cap și vă arătăm unde reușesc și unde greșesc. [Cere o evaluare gratuită](https://www.e-data.ro/contact?serviciu=evaluare-benchmarking#formular) [Vezi tabla de scor](#tabla) - Pe întrebările voastre - Modele locale și API-uri - Set de test refolosibil 1. **Întrebările voastre** Cazuri reale, nu teste publice. 2. **Mai multe modele** Pe exact aceleași date. 3. **Aceleași criterii** Stabilite înainte de test. 4. **Scoruri** Calitate, viteză și cost. 5. **Și după lansare** Fiecare versiune nouă, remăsurată. ## Pe scurt e-data construiește un set de test din întrebările reale ale firmei și compară pe el modele open-source locale, modele adaptate și API-uri comerciale, după corectitudine, surse, română, viteză și cost. Primiți o recomandare cu compromisurile scrise și setul de test, pe care îl refolosiți ca să prindeți regresiile la fiecare versiune nouă. - **Pentru cine:** Firme care aleg între modele AI sau schimbă modelul ori promptul - **Ce primești:** Tabla de scor, recomandarea scrisă și setul de test, care rămâne al vostru - **Unde rulează:** Pe serverele firmei, pentru modelele rulate local - **Integrări:** Modele open-source locale, modele adaptate și API-uri comerciale - **Preț:** Fix, în scris, după evaluarea gratuită ## „Pare mai bun” nu e o măsurătoare Fără un test al vostru, alegerea unui model e o părere. Iar o părere nu vă spune când ceva s-a stricat. - **Demo-ul arăta foarte bine** Cinci întrebări alese de furnizor, puse în ziua prezentării. În producție, pe întrebările voastre, modelul se poartă altfel. - **Scoruri publice care nu vă măsoară** Un clasament public spune cât de bun e un model la probleme de matematică în engleză. Nu cât de bine răspunde clienților voștri în română. - **Versiunea nouă strică pe tăcute** Schimbați modelul sau promptul, pare mai bine, iar peste o lună aflați că răspunsurile despre retur au devenit greșite. ## Tabla de scor Cinci modele, același set de test al unei firme. Apasă pe o coloană ca să sortezi după ce contează pentru tine, apoi pe un model ca să-i vezi foaia de examen. ExempluSet de test: 400 de întrebări reale, cu răspunsurile așteptate scrise de echipă __Rezultatele a cinci modele pe setul de test. Sortabil după fiecare coloană.__ | Model | Acuratețerăspunsuri corecte | Citare corectăsursa bună, la loc | Românăfără greșeli sau engleză | Vitezăpână la răspuns complet | Cost la 1.000 de cereriestimat | | --------------------------------------- | --------------------------- | -------------------------------- | ------------------------------ | ----------------------------- | ------------------------------ | | **Model E** B, adaptat pe datele firmei | 87% | 93% | 96% | 1,7 s | 4 lei | | **Model A** Mare, open-source, local | 86% | 90% | 92% | 3,9 s | 11 lei | | **Model D** API comercial, extern | 84% | 71% | 90% | 2,4 s | 38 lei | | **Model B** Mediu, open-source, local | 78% | 74% | 88% | 1,6 s | 4 lei | | **Model C** Mic, cuantizat pe 4 biți | 69% | 61% | 71% | 0,8 s | 2 lei | Cel mai bun pe coloană. Pentru modelele locale, costul include curentul și amortizarea hardware-ului, estimat. Foaie de examen, 3 întrebări din 400 **Model E** 1. 1. Care e termenul de retur pentru produsele comandate online? Răspuns așteptat 30 de zile de la livrare. Sursa: Politica de retur, art. 4. Răspunsul modelului Aveți 30 de zile de la livrare (Politica de retur, art. 4). Trece: Corect, cu sursă Răspunsul modelului Aveți 30 de zile pentru retur. Picat: Corect, dar fără sursă Răspunsul modelului Aveți 14 zile de la livrare, conform legii. Picat: Termen greșit Răspunsul modelului Returul se poate face în 30 de zile de la livrare (Politica de retur). Trece: Corect, cu sursă Răspunsul modelului 30 de zile de la livrare, conform Politicii de retur, art. 4. Trece: Corect, cu sursă 2. 2. Clientul Delta are livrare gratuită prin contract? Răspuns așteptat Da, pentru comenzi peste 500 de lei. Sursa: contractul 112/2024, anexa 2. Răspunsul modelului Da, pentru comenzi peste 500 de lei (contract 112/2024, anexa 2). Trece: Corect, cu sursă Răspunsul modelului Da, livrarea e gratuită (contract 112/2024). Picat: Lipsește pragul de 500 de lei Răspunsul modelului Da, livrarea este gratuită. Picat: Incomplet, fără sursă Răspunsul modelului Da, pentru comenzi de peste 500 de lei. Picat: Corect, dar fără sursă Răspunsul modelului Da, pentru comenzi peste 500 de lei (contract 112/2024, anexa 2). Trece: Corect, cu sursă 3. 3. Rezumă reclamația atașată în două fraze. Răspuns așteptat Două fraze, în română, doar cu ce scrie în reclamație. Răspunsul modelului Clientul a primit un produs deteriorat și cere înlocuirea. A trimis poze pe 12 martie. Trece: Fidel, în română Răspunsul modelului Clientul reclamă un produs deteriorat. Cere înlocuirea lui. Trece: Fidel, în română Răspunsul modelului The customer received a damaged product. Cere înlocuirea. Picat: Pe jumătate în engleză Răspunsul modelului Clientul a primit produsul deteriorat și cere banii înapoi. Este nemulțumit și de curier. Picat: Adaugă lucruri care nu scriu în reclamație Răspunsul modelului Clientul a primit un produs deteriorat și cere înlocuirea. A trimis poze pe 12 martie. Trece: Fidel, în română Exemplu ilustrativ. Modelele sunt anonimizate, iar cifrele, întrebările și răspunsurile sunt inventate pentru a arăta formatul. ## Ce măsurăm Nu un singur scor, ci ce contează pentru decizie. Criteriile le stabilim împreună, înainte de primul test. - **Corectitudine:** Răspunsul e cel bun? Comparat cu răspunsul așteptat, scris de oamenii voștri. - **Surse:** Citează documentul corect, și chiar spune documentul ce susține răspunsul? - **Limba și tonul:** Română corectă, fără fraze traduse, în tonul potrivit pentru clienți. - **Când nu știe:** Recunoaște că nu are informația sau inventează ceva plauzibil? - **Viteză:** Cât așteaptă un om până la răspuns, măsurat pe hardware-ul pe care va rula. - **Cost:** Cât costă o mie de cereri: pe token la un API, sau curent și hardware la voi. ## Setul de test rămâne. Regresiile nu mai trec. La fiecare model, prompt sau versiune nouă, rulați același test. Dacă scorul scade, aflați înainte de clienți, nu după. 1. **81%** v1Prima versiune 2. **85%** v2Prompt nou 3. **77%** v3Model schimbat: returul a devenit greșit 4. **87%** v4Corectat înainte de producție ## Cum lucrăm O evaluare cinstită se decide înainte de test, nu după. De aceea ordinea contează. 1. 1**Ce înseamnă „bun”** Stabilim criteriile și pragurile înainte de orice test, ca să nu le potrivim după rezultat. 2. 2**Setul de test** Întrebări reale, cu răspunsurile așteptate scrise de oamenii voștri, plus cazuri grele. 3. 3**Rularea** Toate modelele, pe exact aceleași întrebări, pe hardware-ul potrivit. 4. 4**Notarea** Automat unde se poate, cu oameni sau cu un model-evaluator verificat unde e nevoie. 5. 5**Recomandarea** Ce model să folosiți și de ce, cu compromisurile scrise clar. ## Întrebări frecvente De ce nu ne bazăm pe clasamentele publice? Pentru că măsoară altceva: probleme generale, de obicei în engleză. Un model bun „în general” poate fi slab exact pe întrebările voastre, în română, cu documentele voastre. Cum notați un răspuns când nu există un singur răspuns corect? Scriem criterii clare pentru fiecare întrebare: ce trebuie să conțină, ce sursă, ce nu are voie să inventeze. Notăm automat ce se poate, iar restul cu evaluatori umani sau cu un model-evaluator pe care îl verificăm întâi pe un eșantion notat de oameni. Puteți evalua și modele comerciale, prin API? Da. Punem pe aceeași tablă modele open-source rulate local, modele adaptate de noi și API-uri comerciale, ca să comparați corect, inclusiv la cost. Setul de test rămâne la noi? Da. E al vostru și îl refolosiți la fiecare model, prompt sau versiune nouă, ca să prindeți regresiile înainte să ajungă la clienți. Datele de test pleacă undeva? Nu, pentru modelele rulate local evaluarea se face pe serverele voastre. Dacă vreți să comparați și un API extern, vă spunem exact ce date i-ar ajunge și decideți voi. Cât costă? Depinde de câte modele comparăm și de mărimea setului de test. După evaluarea gratuită primiți un preț fix, în scris. ## Alegeți modelul pe cifre. Trimiteți-ne câteva întrebări reale și ce răspuns așteptați. Evaluarea e gratuită, iar prețul pentru testul complet îl primiți fix, în scris. Pentru monitorizare continuă, vezi [MLOps și monitorizare](https://www.e-data.ro/servicii/mlops-monitorizare) . [Cere o evaluare gratuită](https://www.e-data.ro/contact?serviciu=evaluare-benchmarking#formular) [Sună-ne: 0750 214 446](tel:+40750214446) ## Servicii înrudite - [**MLOps și monitorizare** Modele urmărite și actualizate în producție](https://www.e-data.ro/servicii/mlops-monitorizare) - [**Fine-tuning LLM** Un LLM care vorbește limba firmei](https://www.e-data.ro/servicii/fine-tuning-llm) - [**Aplicații RAG** Întrebări în limbaj natural peste documentele tale](https://www.e-data.ro/servicii/aplicatii-rag) - [**Distilare și cuantizare** Modele mici, pe hardware modest](https://www.e-data.ro/servicii/distilare-cuantizare) --- Sursa: e-data (E-DATA S.R.L.), https://www.e-data.ro/servicii/evaluare-benchmarking. Contact: contact@e-data.ro, 0750 214 446.