# API de inferență compatibil OpenAI, pe serverul firmei | e-data > Un API de inferență pe serverul firmei, compatibil OpenAI: schimbi o linie din cod, datele rămân în rețeaua ta și nu mai plătești pe token. Adresa: https://www.e-data.ro/servicii/api-inferenta # Același API. Rulează la tine. Îți punem modelele pe un server din firmă, în spatele unui endpoint compatibil OpenAI. Dezvoltatorii schimbă o linie din cod, datele nu mai pleacă din rețea, iar factura nu mai crește cu fiecare token. [Cere o evaluare gratuită](https://www.e-data.ro/contact?serviciu=api#formular) [Vezi linia pe care o schimbi](#o-linie) - Compatibil OpenAI - Fără cost pe token - Datele rămân în rețea 1. **Modelul ales** Open-source sau antrenat de noi. 2. **Pe GPU-ul tău** Optimizat pentru viteză. 3. **Un endpoint intern** Un URL în rețeaua ta. 4. **Codul, la fel** Compatibil OpenAI. 5. **Datele rămân** Nimic nu iese afară. ## Pe scurt e-data instalează modele AI pe un server din firmă, în spatele unui endpoint compatibil OpenAI, pentru echipele care apelează azi API-uri publice. Dezvoltatorii schimbă doar adresa și cheia, prompturile rămân în rețeaua firmei, iar după hardware și instalare nu mai plătești pe token. Prețul e fix după evaluarea gratuită. - **Pentru cine:** Echipe de dezvoltare care plătesc azi pe token la API-uri publice de AI - **Ce primești:** Endpoint pentru chat, completions, embeddings și flux, cu chei, limite și metrici - **Tehnologii:** Llama, Mistral, Qwen și alte modele open-source sau antrenate pe datele voastre - **Unde rulează:** Pe un server din rețeaua firmei; merge și fără internet - **Preț:** Fix, în scris, după evaluarea gratuită; fără cost pe token după instalare ## Factura crește odată cu succesul API-urile publice sunt ușor de pornit. Tocmai de aceea scapi din vedere ce plătești la fiecare cerere. Pune cifrele tale. Cereri pe zi Tokeni pe cerere, cu tot cu context Cât plătești pe 1 milion de tokeni Prețul tău mediu, intrare și ieșire la un loc. Îl găsești pe factura furnizorului. Pe an, la traficul de azi - Azi - De 3 ori mai mulți utilizatori - De 10 ori mai mulți Pe serverul tău, un token în plus costă zero. Plătești o dată hardware-ul și instalarea, iar la evaluare comparăm cifrele cu ce plătești acum. 1**Prompturile pleacă afară** Fiecare cerere trimite datele și contextul tău pe serverele altcuiva. Pentru date sensibile, e o scurgere cu abonament. 2**Plătești pe fiecare token** Factura crește odată cu utilizarea. Cu cât aplicația ta are mai mult succes, cu atât te costă mai mult să meargă. 3**Furnizorul decide pentru tine** Schimbă prețul, schimbă modelul sau îl retrage, iar aplicația ta se poartă altfel peste noapte. ## Schimbi o singură linie Endpoint-ul vorbește același protocol ca API-urile publice. Adaugi adresa serverului tău, pui cheia primită de la noi în aceeași variabilă de mediu, și atât. Codul, bibliotecile și obiceiurile echipei rămân la fel. - Chat, completions, embeddings și răspuns în flux - Aceleași SDK-uri, aceleași framework-uri - Un URL în rețeaua ta, cu cheile tale Python JavaScript curl ``` from openai import OpenAI client = OpenAI(+ base_url="https://ai.firma.local/v1",) raspuns = client.chat.completions.create( model="qwen2.5-32b-instruct", messages=[{"role": "user", "content": "Rezumă contractul Delta."}], stream=True,) ``` ``` import OpenAI from "openai"; const client = new OpenAI({+ baseURL: "https://ai.firma.local/v1",}); const raspuns = await client.chat.completions.create({ model: "qwen2.5-32b-instruct", messages: [{ role: "user", content: "Rezumă contractul Delta." }], stream: true,}); ``` ``` -curl https://api.openai.com/v1/chat/completions \+curl https://ai.firma.local/v1/chat/completions \ -H "Authorization: Bearer $OPENAI_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "qwen2.5-32b-instruct", "messages": [{"role": "user", "content": "Rezumă contractul Delta."}] }' ``` ## Tot ce aștepți de la un API de inferență Aceleași funcții ca la serviciile publice. Doar că rulează la tine și le controlezi tu. **Compatibil OpenAI** Chat, completions și embeddings pe standardul pe care îl știu deja dezvoltatorii. `/v1/chat/completions` **Răspuns în flux** Textul vine pe măsură ce e generat, exact ca la API-urile publice. `stream: true` **Embeddings locale** Pentru căutare semantică și RAG, calculate tot pe serverul tău. `/v1/embeddings` **Mai multe modele** Rulezi mai multe modele deodată sau comuți între ele după nevoie. `/v1/models` **Chei și limite** O cheie pentru fiecare aplicație sau echipă, cu limite și modele permise. `Authorization: Bearer` **Jurnal și metrici** Vezi utilizarea, latența și ce model a răspuns la fiecare cerere. `p50, p95, tokeni/s` ## Fiecare aplicație, cheia ei Știi cine apelează, ce model folosește și cât. O aplicație scăpată de sub control nu le încetinește pe celelalte. **Chei de API** exemplu de panou, luna curentă | Aplicație | Model | Limită | Cereri | | -------------------- | ---------------------- | --------- | --------- | | Portal clienți | qwen2.5-32b-instruct | 60 / min | 182.400 | | Asistent intern | llama-3.3-70b-instruct | 30 / min | 41.210 | | Procesare facturi | qwen2.5-7b-instruct | 120 / min | 512.880 | | Căutare în documente | bge-m3 (embeddings) | 300 / min | 2.104.330 | ## Merge cu uneltele pe care le folosiți deja Fiindcă e pe un standard deschis, orice știe să vorbească cu OpenAI știe să vorbească și cu serverul tău. - **OpenAI SDK** schimbi doar base URL - **LangChain** ca model OpenAI - **n8n** automatizări - **Dify** aplicații AI - **Python** orice script - **Node.js** orice backend - **curl** HTTP simplu - **Orice client HTTP** fără niciun SDK ## Aceeași interfață. Alt contract. Nu schimbi cum apelezi. Schimbi unde stau datele, cine plătește și cine deține modelul. **API public** **API-ul tău** Unde ajung datele Pe serverele furnizorului Rămân în rețeaua ta Cum plătești Pe fiecare token, la nesfârșit Hardware și instalare, apoi fără cost pe token Cine alege modelul Furnizorul, care îl poate schimba oricând Tu. Versiunea rămâne fixă cât vrei Fără internet Nu merge Merge, e în rețeaua ta Cum îl apelezi API compatibil OpenAI Același API ## De la model la endpoint Cinci pași până când aplicațiile tale apelează un model care rulează în biroul tău. 1. 1**Evaluare** Ne spui ce aplicații vor apela modelul, cât trafic aveți și ce latență vă trebuie. 2. 2**Alegem modelul** Testăm modelele potrivite pe cererile voastre reale, în română, înainte de orice decizie. 3. 3**Hardware** Dimensionăm serverul pe traficul estimat, cu loc de creștere, și îl configurăm pentru inferență. 4. 4**Endpoint** Instalăm, punem chei, limite și metrici, și dăm URL-ul echipei tale. 5. 5**Operare** Urmărim utilizarea și creștem capacitatea când traficul crește. ## Întrebări frecvente E chiar compatibil cu SDK-ul OpenAI? Da. Expunem un endpoint compatibil: în cele mai multe cazuri schimbi doar adresa (base URL) și cheia, iar codul existent merge mai departe. Ce modele pot rula? Modele open-source (Llama, Mistral, Qwen și altele) și modele antrenate de noi pe datele voastre. Le alegem împreună, după ce le testăm pe cererile voastre reale. Câte cereri simultane duce? Depinde de hardware și de model. Dimensionăm serverul pe traficul estimat, cu marjă de creștere, și îți spunem cifrele înainte să cumperi ceva. Pot rula mai multe modele deodată? Da. În funcție de hardware, servim mai multe modele simultan sau comutăm între ele la cerere. Datele din prompturi ajung undeva? Nu. Prompturile, contextul și răspunsurile rămân în rețeaua ta. Nimic nu se trimite către un API extern. Cât costă? Depinde de model și de hardware. După evaluarea gratuită primești un preț fix, în scris, și o comparație cu ce plătești acum pe API-urile publice. ## Inteligența ta, pe regulile tale. Spune-ne ce aplicații ar apela modelul și cât trafic aveți. Evaluarea e gratuită și primești un preț fix, în scris. [Cere o evaluare gratuită](https://www.e-data.ro/contact?serviciu=api#formular) [Sună-ne: 0750 214 446](tel:+40750214446) ## Servicii înrudite - [**Hardware pentru AI** Rig-uri, Mac Studio și DGX Spark, livrate și instalate la sediu.](https://www.e-data.ro/hardware) - [**Optimizare inferență** Răspunsuri mai rapide pe același hardware](https://www.e-data.ro/servicii/optimizare-inferenta) - [**Fine-tuning LLM** Un LLM care vorbește limba firmei](https://www.e-data.ro/servicii/fine-tuning-llm) - [**Aplicații RAG** Întrebări în limbaj natural peste documentele tale](https://www.e-data.ro/servicii/aplicatii-rag) --- Sursa: e-data (E-DATA S.R.L.), https://www.e-data.ro/servicii/api-inferenta. Contact: contact@e-data.ro, 0750 214 446.