Modelele de embedding învățate mai ales pe engleză confundă termenii de specialitate și ratează româna scrisă fără diacritice. Tot ce se construiește deasupra moștenește greșeala.
Fundația pe care nu o vede nimeni
Când un asistent AI răspunde prost, de vină e rar modelul care scrie. De cele mai multe ori a primit documentele greșite, pentru că stratul de dedesubt nu a găsit ce trebuia.
Un prototip cu câteva sute de documente răspunde instant. La milioane de fragmente, o bază aleasă sau indexată greșit devine lentă și mănâncă toată memoria.
Documentele noi nu intră singure, cele șterse încă apar în rezultate. Cineva reface indexul de mână, când își aduce aminte.
Harta sensurilor
Fiecare punct e o frază scrisă de un client. Frazele cu sens apropiat stau aproape, chiar dacă nu au niciun cuvânt în comun. Alege o întrebare și vezi ce găsește.
Cei mai apropiați vecini
- 1„Unde e pachetul meu?”Livrare0,06
- 2„Coletul nu a sosit încă”Livrare0,06
- 3„În cât timp livrați?”Livrare0,09
Cei mai apropiați vecini
- 1„Aveți plata în rate?”Plăți0,07
- 2„Card debitat de două ori”Plăți0,09
- 3„Plata cu cardul a eșuat”Plăți0,09
Cei mai apropiați vecini
- 1„Produs primit greșit”Retururi0,17
- 2„Rambursarea nu a ajuns pe card”Plăți0,19
- 3„Cum trimit coletul înapoi?”Retururi0,21
Cei mai apropiați vecini
- 1„Nu mai pornește deloc”Garanție0,04
- 2„S-a stricat după o lună”Garanție0,09
- 3„Unde îl duc la reparat?”Garanție0,11
Punctul negru e întrebarea aleasă, cifrele sunt vecinii ei. Distanța mică înseamnă sens apropiat. Niciuna dintre frazele găsite nu conține cuvintele din întrebare.
Exemplu
Hartă simplificată și ilustrativă. Vectorii reali au sute de dimensiuni; aici sunt proiectați pe două, ca să se poată vedea. Distanțele sunt calculate pe hartă.
Ce construim
Tot stratul dintre documentele voastre și aplicația care le caută, instalat și reglat pe serverul firmei.
Testăm câteva modele open-source pe întrebările voastre, în română, și îl alegem pe cel care găsește cel mai bine.
Cât de mari sunt bucățile de text și unde se taie contează mult. Păstrăm titlurile și contextul fiecărui fragment.
Aleasă după volum: extensie pe baza de date existentă pentru volume mici, bază dedicată pentru milioane de vectori.
Echilibrăm viteza, memoria și precizia pentru volumul vostru real, nu pentru o demonstrație.
Documentele noi, modificate sau șterse ajung în index singure, fără reconstrucție de mână.
Fiecare vector poartă sursa, data și cine are voie să-l vadă. Căutarea le respectă pe toate.
Modelul se alege pe datele voastre, nu după clasamente
Un clasament public măsoară alte texte, de cele mai multe ori în engleză. Noi punem câteva modele să caute în documentele voastre, cu întrebările voastre, și comparăm.
Din 100 de întrebări reale, de câte ori documentul corect e în primele 5Exemplu
| Model | Găsite | Viteză | Memorie |
|---|---|---|---|
| Model A, multilingv, mic | foarte rapid | mică | |
| Model B, multilingv, mareales | rapid | medie | |
| Model C, antrenat mai ales pe engleză | rapid | medie |
La scară, alegi un echilibru
Viteză, memorie și precizie trag în direcții diferite. Nu vă promitem toate trei la maximum. Vă arătăm unde e echilibrul potrivit pentru volumul vostru.
- Viteză
- Un index aproximativ răspunde în milisecunde chiar la volume mari, dar găsește aproape mereu, nu mereu, cei mai apropiați vecini.
- Memorie
- Vectorii pot fi comprimați ca să încapă pe server. Câștigi spațiu, pierzi puțin din precizie.
- Precizie
- O căutare exactă nu ratează nimic, dar devine lentă la volum mare. Reglăm cât de aproape de ea vreți să fiți.
Ce se construiește deasupra
Același strat, folosit de mai multe aplicații. Îl faci o dată, bine, și îl refolosești.
De la texte la un index gata de folosit
- 1Evaluare gratuită
Ce texte avem, câte sunt, cât de des se schimbă și ce vreți să construiți peste ele.
- 2Test de modele
Câteva modele, rulate pe întrebările voastre, cu rezultatele puse unul lângă altul.
- 3Baza și indexul
Instalate pe serverul vostru și reglate pentru volumul real.
- 4Actualizare și predare
Fluxul care ține indexul la zi, plus documentația cu ce am ales și de ce.
Întrebări frecvente
Ce e un embedding, pe scurt?
O listă de numere care descrie sensul unui text. Texte cu înțeles apropiat primesc liste apropiate, chiar dacă nu au niciun cuvânt în comun. Pe asta se bazează căutarea după sens.
De ce ne trebuie o bază vectorială?
Ca să găsească rapid cei mai apropiați vectori printre milioane. O bază de date obișnuită nu e făcută pentru asta. Pentru volume mici, o extensie pe baza de date pe care o aveți deja e de multe ori suficientă, și atunci nu adăugăm nimic în plus.
Ce model de embedding folosiți?
Nu există unul potrivit pentru orice. Testăm câteva modele open-source pe textele și întrebările voastre, inclusiv în română, și îl alegem pe cel cu cele mai bune rezultate la viteza de care aveți nevoie.
E doar pentru RAG și chatboți?
Nu. Același strat susține căutarea din site, recomandări de produse asemănătoare, găsirea documentelor duplicate și gruparea tichetelor după subiect.
Datele pleacă undeva ca să fie transformate în vectori?
Nu. Modelul de embedding și baza vectorială rulează pe serverele firmei. Textele nu sunt trimise către niciun serviciu extern.
Cât costă?
Depinde de volum, de câte surse sunt și de cât de des se schimbă. După evaluarea gratuită primiți un preț fix, în scris.
O fundație bună face restul ușor.
Spuneți-ne ce texte aveți și ce vreți să construiți peste ele. La evaluarea gratuită vă spunem ce model și ce bază s-ar potrivi.
