Guvernanța datelor și versionarea modelelor, pentru audit

Știi ce date a folosit fiecare model. Și o poți dovedi oricând.

Pentru fiecare model din producție vezi pe ce date a învățat, cu ce cod, cine l-a aprobat și cum îl refaci. Util la audit, la un rezultat contestat și la cererile de ștergere a datelor.

Pe serverele firmei

Fiecare model, legat de datele lui

Pregătit pentru audit

Pe scurt

e-data pune în ordine datele și modelele AI ale firmei: versiuni pentru seturile de date, proveniență, registru de modele, acces pe roluri și jurnal de audit. Pentru orice model din producție știți pe ce date a învățat, cu ce cod și cine l-a aprobat. Totul rulează pe serverele firmei, lângă pipeline-urile existente.

Pentru cine

Echipe cu modele în producție care răspund la audit sau la cereri GDPR

Ce primești

Versiuni de date, registru de modele, acces pe roluri, jurnal de audit, reguli scrise

Unde rulează

Pe serverele firmei, fără copii într-un cloud extern

Tehnologii

Unelte open-source consacrate, de exemplu MLflow sau DVC

Preț

Fix, în scris, după evaluarea gratuită

Modelul merge. Dar de unde vine?

În multe echipe, istoria unui model stă în memoria cuiva. Merge până în ziua în care cineva întreabă.

Nimeni nu știe pe ce date a învățat
Modelul din producție a fost antrenat pe un export făcut de cineva, cândva. Exportul nu mai există, iar omul a plecat din firmă.
Un rezultat bun pe care nu-l mai poți reface
Versiunea de acum trei luni mergea mai bine. Nimeni nu mai știe exact ce date, ce cod și ce parametri a avut.
Toată lumea are acces la tot
Setul de antrenare stă pe un disc comun. Nu poți spune cine l-a văzut, cine l-a copiat și cine l-a modificat.

Trei întrebări care vin, mai devreme sau mai târziu

Nu contează dacă vin de la un auditor, de la un client sau de la propria echipă. Răspunsul e fie o căutare de zile, fie un clic.

Un auditor„Pe ce date a fost antrenat modelul care a respins cererea asta?”
Fără evidență
Cauți prin foldere, e-mailuri și notițe, apoi răspunzi aproximativ.
Cu evidență
Deschizi fișa modelului: setul de date, versiunea, codul și cine l-a aprobat.
Un client, printr-o cerere GDPR„Ștergeți-mi datele. Sunt și în model?”
Fără evidență
Nu știi în ce seturi au ajuns datele lui și nici ce modele le-au folosit.
Cu evidență
Vezi în ce versiuni apar, le scoți și știi exact ce modele trebuie reantrenate.
Echipa ta„Modelul nou merge mai prost. Ce s-a schimbat?”
Fără evidență
Nimeni nu poate reface versiunea veche ca să compare.
Cu evidență
Refaci ambele versiuni exact și compari datele, codul și parametrii.

Arborele de versiuni

Așa arată istoria unui model când e ținută în ordine. Apasă pe orice nod ca să-i vezi fișa: ce date, ce cod, cine a aprobat, ce metrici și când.

Exemplu

Date
Model
Ramură abandonată

ModelModel v4

În producție

Ce date: Aceleași date curățate v2, același set de test. Pornește din v3, cu parametri noi.
Ce cod: train.py, commit f81b2d0, parametri în config/v4.yaml
Cine a aprobat: Radu T., tech lead, și Mihai D., director operațiuni
Ce metrici: Acuratețe 91,2% pe același set de test; 180 ms pe cerere, la p95.
Când: Antrenat pe 14 iunie 2024, în producție din 17 iunie

Rețeta de reproduceredate@9c41e20 + cod@f81b2d0 + config/v4.yaml

Exemplu ilustrativ, cu nume, cifre și date inventate. Linia îngroșată arată proveniența nodului ales, până la datele brute.

Ce punem în ordine

Trei lucruri, legate între ele: datele au versiuni, modelele au fișe, iar accesul are reguli și urme.

DateVersiuni pentru date

Fiecare stare a unui set de date primește o versiune. Te întorci la oricare, fără copii făcute de mână.

DateProveniență

Pentru fiecare set știi din ce surse vine și prin ce transformări a trecut, pas cu pas.

ModeleRegistru de modele

Toate modelele, cu versiunea, starea și legătura către datele și codul care le-au produs.

ModeleReproducere la cerere

Date, cod, parametri și mediu, păstrate împreună. Orice model se reface exact, nu aproximativ.

AccesDrepturi pe roluri

Fiecare om vede doar seturile de care are nevoie. Datele sensibile rămân mascate pentru restul.

AccesJurnal de audit

Cine a văzut, cine a schimbat și cine a aprobat, cu dată și oră. Gata de arătat la un control.

Ordine, fără hârtii în plus

Guvernanța care cere formulare nu se ține. O construim astfel încât să se completeze singură, din munca pe care echipa o face oricum.

Pe serverele firmei: Catalogul, versiunile și jurnalele stau în infrastructura voastră. Nimic nu se copiază într-un cloud extern.
Peste ce aveți deja: Nu rescriem pipeline-urile. Adăugăm versiuni, registru și control de acces lângă sursele și scripturile existente.
Automat, nu birocratic: Versiunile și fișele se creează singure la fiecare rulare. Echipa nu completează formulare în plus.
Documentat pentru voi: Primiți regulile scrise: ce înseamnă o versiune, cine aprobă ce și cum refaceți un model.

Cum lucrăm

Pornim de la ce aveți azi. Primul rezultat e un inventar clar, chiar înainte de orice instalare.

1Inventar
Vedem ce date aveți, unde stau, cine le folosește și ce modele rulează azi.
2Reguli
Stabilim împreună cine are acces la ce, cine aprobă și ce înseamnă o versiune.
3Instalare
Punem versionarea, registrul de modele și controlul de acces pe serverele voastre.
4Legare
Conectăm pipeline-urile de date și de antrenare, ca fișele să se completeze singure.
5Întreținere
Jurnalele și versiunile rămân la zi. Vă ajutăm la audit sau la cereri GDPR.

Întrebări frecvente

Ce înseamnă guvernanța datelor, concret?

Reguli clare și urme verificabile: ce date aveți, de unde vin, cine are acces la ele și ce versiune a antrenat fiecare model. Nu hârtii în plus, ci răspunsuri pe care le găsiți în câteva clicuri.

De ce ne trebuie versiuni pentru date, nu doar pentru cod?

Pentru că un model e produsul datelor la fel de mult ca al codului. Fără versiunea exactă a datelor, nu puteți reface un model, nu puteți explica un rezultat contestat și nu puteți compara corect două variante.

Ne ajută la cererile GDPR?

Da. Cu proveniența la zi, vedeți în ce seturi și în ce modele au ajuns datele unei persoane. Le scoateți din versiunea următoare și știți ce modele trebuie reantrenate. Decizia juridică rămâne la voi și la consultantul vostru.

Trebuie să schimbăm tot ce avem?

Nu. Ne așezăm lângă sursele, pipeline-urile și modelele existente. Folosim unelte open-source consacrate, de exemplu MLflow sau DVC, alese după ce aveți deja.

Datele ajung undeva în afara firmei?

Nu. Catalogul, versiunile, registrul de modele și jurnalele rulează pe serverele voastre.

Cât costă?

Depinde de câte surse, echipe și modele trebuie acoperite. După evaluarea gratuită primiți un preț fix, în scris.

Următorul audit poate fi o formalitate.

Arată-ne cum țineți azi datele și modelele. Evaluarea e gratuită, iar după ea primiți un preț fix, în scris. Dacă modelele rulează deja, vezi și MLOps și monitorizare.

Cere o evaluare gratuită Sună-ne: 0750 214 446

Software

Infrastructură

Date

Modele

LLM și RAG

Aplicații

Configurații

Sisteme

Platforme

Despre noi

Vorbește cu noi

Resurse