Un model are nevoie de volum. Pentru un produs nou sau o situație rară, istoricul pur și simplu nu ajunge.
Aveți date. Doar că nu destule, sau nu voie.
Trei situații în care un proiect de AI se blochează înainte să înceapă.
Frauda, defectul, clientul care pleacă: tocmai ce vrei să recunoască modelul apare cel mai rar în date.
Date de clienți, pacienți sau angajați. Nu le poți da echipei de testare, unui furnizor sau unui partener așa cum sunt.
Care e real?
Șase fișe de client dintr-un magazin online. Unele pot fi reale, altele generate. Marchează-le, apoi vezi răspunsul.
- Andreea Munteanu34 de ani, Brașov
- Client din
- 2021
- Comenzi pe an
- 11
- Coș mediu
- 186 lei
- Cumpără des
- Îngrijire personală
Sintetic. Vârsta, orașul și ritmul comenzilor urmează tiparul clienților din orașele mari.
- Gheorghe Ionescu67 de ani, Buzău
- Client din
- 2016
- Comenzi pe an
- 3
- Coș mediu
- 412 lei
- Cumpără des
- Electrocasnice mari
Sintetic. Comenzi rare, dar mari: legătura dintre vârstă și coș e păstrată din datele reale.
- Ioana Stan23 de ani, Cluj-Napoca
- Client din
- 2024
- Comenzi pe an
- 19
- Coș mediu
- 74 lei
- Cumpără des
- Accesorii telefon
Sintetic. Client nou, comenzi dese și mici. Combinația e rară, dar există în date, deci apare și aici.
- Mihai Dobre45 de ani, Constanța
- Client din
- 2019
- Comenzi pe an
- 7
- Coș mediu
- 265 lei
- Cumpără des
- Grădină
Sintetic. Categoria urmează sezonul și regiunea, ca în istoricul real.
- Elena Rusu52 de ani, Suceava
- Client din
- 2018
- Comenzi pe an
- 5
- Coș mediu
- 318 lei
- Cumpără des
- Bucătărie
Sintetic. Vechimea și numărul de comenzi sunt coerente între ele, nu alese separat.
- Radu Pavel38 de ani, Timișoara
- Client din
- 2022
- Comenzi pe an
- 14
- Coș mediu
- 142 lei
- Cumpără des
- Jucării
Sintetic. Nimic ieșit din comun, exact ca majoritatea clienților reali.
Toate șase sunt sintetice.
- Nimeni real în spate
- Niciuna dintre persoane nu există. Numele, vârstele și comenzile au fost generate, iar un generator bun nu copiază rânduri din datele reale.
- Aceleași tipare
- Au părut reale pentru că legăturile dintre coloane sunt păstrate: vârsta cu coșul, vechimea cu numărul de comenzi, categoria cu sezonul.
- Folosibile liber
- Un astfel de set poate merge la testare, la antrenare sau într-un demo, fără să expună clienți reali.
Fișele au fost scrise pentru acest exemplu. Orice asemănare cu o persoană reală e întâmplătoare.
La ce folosesc
Datele sintetice nu sunt un scop în sine. Deblochează ceva ce altfel ar aștepta luni de aprobări sau de date noi.
Echipa construiește și testează aplicații pe date care arată ca producția, fără acces la clienți reali.
Mai multe exemple din clasele rare, ca modelul să nu le ignore. Alături de datele reale, nu în locul lor.
Un produs arătat clienților sau investitorilor cu date credibile, fără riscul de a expune pe cineva.
Un set cu aceleași tipare, de dat unui furnizor sau unei echipe externe, fără date personale în el.
Seamănă, dar nu copiază
Un set sintetic e bun doar dacă trece trei verificări. Le facem pe toate și le trecem în raport.
- Fidelitate
- Distribuțiile fiecărei coloane și legăturile dintre ele, comparate cu datele reale.
- Confidențialitate
- Niciun rând sintetic nu e prea aproape de unul real. Verificăm, nu presupunem.
- Utilitate
- Un model antrenat pe date sintetice e testat pe date reale, ca să vedem dacă învață ce trebuie.
Date realeDate sinteticelei pe comandă, procent din clienți
Ce nu pot face datele sintetice
Merită spus de la început, ca să nu construiți pe o așteptare greșită.
- Nu inventează tipare noi
- Datele sintetice repetă ce există în datele reale. Dacă un fenomen nu apare deloc acolo, nu va apărea corect nici în ele.
- Nu înlocuiesc evaluarea pe date reale
- Un model se verifică la final tot pe date reale. Sinteticul ajută la antrenare și testare, nu la verdictul final.
- Nu sunt anonime automat
- Un generator prost poate copia rânduri reale. De aceea verificăm confidențialitatea pe fiecare set livrat.
De aceea le folosim de obicei împreună cu date reale, curățate prin curățare și normalizare, la antrenarea modelelor.
Cum lucrăm
Totul pornește de la întrebarea ce lipsește, pentru că metoda diferă mult de la un caz la altul.
- 1Ce lipsește
Volum, cazuri rare sau permisiunea de a folosi datele. Răspunsul decide metoda.
- 2Tiparele reale
Învățăm distribuțiile și legăturile dintre coloane, pe serverul firmei.
- 3Generarea
Producem setul cu metoda potrivită tipului de date: tabele, text sau serii de timp.
- 4Verificarea
Fidelitate, confidențialitate și utilitate, măsurate și trecute într-un raport.
- 5La nevoie, încă
Livrăm și generatorul, ca să produceți singuri seturi noi când aveți nevoie.
Întrebări frecvente
Ce sunt datele sintetice?
Date generate de un program care a învățat tiparele datelor reale: cum sunt distribuite valorile și cum se leagă coloanele între ele. Arată și se comportă ca datele reale, dar rândurile nu aparțin nimănui.
Sunt la fel de bune ca datele reale?
Pentru multe scopuri, da, mai ales combinate cu date reale. Nu sunt însă mai bune decât datele din care au fost învățate. Măsurăm cât de aproape sunt de original și vă arătăm rezultatul.
Rezolvă problema de GDPR?
Ajută mult, pentru că datele nu mai descriu persoane reale. Totuși, nu e automat: verificăm pe fiecare set că nu se pot recupera persoane din datele originale, iar decizia finală rămâne una de evaluat împreună cu responsabilul vostru de protecția datelor.
Ce tipuri de date se pot genera?
Cel mai des tabele: clienți, comenzi, tranzacții. Se pot genera și texte, serii de timp sau variații de imagini, acolo unde metoda are sens pentru problema voastră.
Datele reale pleacă din firmă?
Nu. Învățarea tiparelor și generarea rulează pe serverul firmei, cu unelte open-source. Doar setul sintetic, verificat, poate pleca mai departe, dacă alegeți asta.
Cât costă?
Depinde de tipul și volumul datelor și de cât de strictă trebuie să fie verificarea. După evaluarea gratuită primiți un preț fix, în scris.
Ce proiect așteaptă după date?
Spuneți-ne ce lipsește: volum, cazuri rare sau permisiunea de a folosi datele. La evaluarea gratuită vedem dacă datele sintetice sunt răspunsul, cu preț fix în scris.
