Fiecare cerere trimite datele și contextul tău pe serverele altcuiva. Pentru date sensibile, e o scurgere cu abonament.
Factura crește odată cu succesul
API-urile publice sunt ușor de pornit. Tocmai de aceea scapi din vedere ce plătești la fiecare cerere. Pune cifrele tale.
Pe an, la traficul de azi
- Azi
- De 3 ori mai mulți utilizatori
- De 10 ori mai mulți
Pe serverul tău, un token în plus costă zero. Plătești o dată hardware-ul și instalarea, iar la evaluare comparăm cifrele cu ce plătești acum.
Factura crește odată cu utilizarea. Cu cât aplicația ta are mai mult succes, cu atât te costă mai mult să meargă.
Schimbă prețul, schimbă modelul sau îl retrage, iar aplicația ta se poartă altfel peste noapte.
Schimbi o singură linie
Endpoint-ul vorbește același protocol ca API-urile publice. Adaugi adresa serverului tău, pui cheia primită de la noi în aceeași variabilă de mediu, și atât. Codul, bibliotecile și obiceiurile echipei rămân la fel.
- Chat, completions, embeddings și răspuns în flux
- Aceleași SDK-uri, aceleași framework-uri
- Un URL în rețeaua ta, cu cheile tale
from openai import OpenAI client = OpenAI(+ base_url="https://ai.firma.local/v1",) raspuns = client.chat.completions.create( model="qwen2.5-32b-instruct", messages=[{"role": "user", "content": "Rezumă contractul Delta."}], stream=True,)import OpenAI from "openai"; const client = new OpenAI({+ baseURL: "https://ai.firma.local/v1",}); const raspuns = await client.chat.completions.create({ model: "qwen2.5-32b-instruct", messages: [{ role: "user", content: "Rezumă contractul Delta." }], stream: true,});-curl https://api.openai.com/v1/chat/completions \+curl https://ai.firma.local/v1/chat/completions \ -H "Authorization: Bearer $OPENAI_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "qwen2.5-32b-instruct", "messages": [{"role": "user", "content": "Rezumă contractul Delta."}] }'Tot ce aștepți de la un API de inferență
Aceleași funcții ca la serviciile publice. Doar că rulează la tine și le controlezi tu.
Chat, completions și embeddings pe standardul pe care îl știu deja dezvoltatorii.
/v1/chat/completionsTextul vine pe măsură ce e generat, exact ca la API-urile publice.
stream: truePentru căutare semantică și RAG, calculate tot pe serverul tău.
/v1/embeddingsRulezi mai multe modele deodată sau comuți între ele după nevoie.
/v1/modelsO cheie pentru fiecare aplicație sau echipă, cu limite și modele permise.
Authorization: BearerVezi utilizarea, latența și ce model a răspuns la fiecare cerere.
p50, p95, tokeni/sFiecare aplicație, cheia ei
Știi cine apelează, ce model folosește și cât. O aplicație scăpată de sub control nu le încetinește pe celelalte.
| Aplicație | Model | Limită | Cereri |
|---|---|---|---|
| Portal clienți | qwen2.5-32b-instruct | 60 / min | 182.400 |
| Asistent intern | llama-3.3-70b-instruct | 30 / min | 41.210 |
| Procesare facturi | qwen2.5-7b-instruct | 120 / min | 512.880 |
| Căutare în documente | bge-m3 (embeddings) | 300 / min | 2.104.330 |
Merge cu uneltele pe care le folosiți deja
Fiindcă e pe un standard deschis, orice știe să vorbească cu OpenAI știe să vorbească și cu serverul tău.
OpenAI SDKschimbi doar base URL
LangChainca model OpenAI
n8nautomatizări
Difyaplicații AI
Pythonorice script
Node.jsorice backend
curlHTTP simplu- Orice client HTTPfără niciun SDK
Aceeași interfață. Alt contract.
Nu schimbi cum apelezi. Schimbi unde stau datele, cine plătește și cine deține modelul.
API publicAPI-ul tău
Unde ajung datele
Pe serverele furnizorului
Rămân în rețeaua ta
Cum plătești
Pe fiecare token, la nesfârșit
Hardware și instalare, apoi fără cost pe token
Cine alege modelul
Furnizorul, care îl poate schimba oricând
Tu. Versiunea rămâne fixă cât vrei
Fără internet
Nu merge
Merge, e în rețeaua ta
Cum îl apelezi
API compatibil OpenAI
Același API
De la model la endpoint
Cinci pași până când aplicațiile tale apelează un model care rulează în biroul tău.
- 1Evaluare
Ne spui ce aplicații vor apela modelul, cât trafic aveți și ce latență vă trebuie.
- 2Alegem modelul
Testăm modelele potrivite pe cererile voastre reale, în română, înainte de orice decizie.
- 3Hardware
Dimensionăm serverul pe traficul estimat, cu loc de creștere, și îl configurăm pentru inferență.
- 4Endpoint
Instalăm, punem chei, limite și metrici, și dăm URL-ul echipei tale.
- 5Operare
Urmărim utilizarea și creștem capacitatea când traficul crește.
Întrebări frecvente
E chiar compatibil cu SDK-ul OpenAI?
Da. Expunem un endpoint compatibil: în cele mai multe cazuri schimbi doar adresa (base URL) și cheia, iar codul existent merge mai departe.
Ce modele pot rula?
Modele open-source (Llama, Mistral, Qwen și altele) și modele antrenate de noi pe datele voastre. Le alegem împreună, după ce le testăm pe cererile voastre reale.
Câte cereri simultane duce?
Depinde de hardware și de model. Dimensionăm serverul pe traficul estimat, cu marjă de creștere, și îți spunem cifrele înainte să cumperi ceva.
Pot rula mai multe modele deodată?
Da. În funcție de hardware, servim mai multe modele simultan sau comutăm între ele la cerere.
Datele din prompturi ajung undeva?
Nu. Prompturile, contextul și răspunsurile rămân în rețeaua ta. Nimic nu se trimite către un API extern.
Cât costă?
Depinde de model și de hardware. După evaluarea gratuită primești un preț fix, în scris, și o comparație cu ce plătești acum pe API-urile publice.
Inteligența ta, pe regulile tale.
Spune-ne ce aplicații ar apela modelul și cât trafic aveți. Evaluarea e gratuită și primești un preț fix, în scris.
