Data science, cercetare, produse care servesc utilizatori reali.
Pentru cine e treapta High-End
Aplicații care au nevoie de viteză constantă, pentru mulți utilizatori.
Tabele de zeci de milioane de rânduri și documente foarte lungi.
Ce modele încap în 192 GB
Mărimea modelului decide treapta. Estimare pentru modele cuantizate la 4 biți, cu loc pentru context și pentru mai mulți utilizatori. „La limită” înseamnă că merge, dar pentru puțini utilizatori deodată.
- 8B~5 GBÎncape
- 14B~9 GBÎncape
- 32B~21 GBÎncape
- 70B~46 GBÎncape
- 120B~78 GBÎncape
- 235B~153 GBLa limită
Pentru modele și mai mari: un server dedicat sau rig-uri legate. Pentru memorie foarte mare pe un singur aparat, vezi și Mac Studio M5 Ultra.
Două configurații
Aceeași treaptă, două feluri de a o folosi. Diferența e în ce se întâmplă în jurul plăcii video.
Preț orientativ213.000 lei
- Placă video
- 2 × NVIDIA RTX 6000 Pro
- Memorie video
- 192 GB
- Procesor
- AMD Threadripper 9970X, 32 de nuclee
- Memorie RAM
- 256 GB DDR5 ECC
- Stocare
- 12 TB NVMe SSD
- Răcire
- Răcire lichidă 360 mm
- Sursă
- 2200 W
- Potrivit pentru
- Fine-tuning 34–70B, inferență la scară, pe 2 plăci
Prețla cerere
- Placă video
- 2 × NVIDIA RTX 6000 Pro
- Memorie video
- 192 GB
- Procesor
- AMD Threadripper 9980X, 64 de nuclee
- Memorie RAM
- 512 GB DDR5 ECC
- Stocare
- 24 TB NVMe SSD (RAID)
- Răcire
- Răcire lichidă 360 mm
- Sursă
- 2200 W
- Potrivit pentru
- Date mari, context lung, mulți utilizatori intensivi
Studio sau Studio Capacity?
Trei întrebări care decid de obicei.
StudioStudio Capacity
Limita e memoria plăcilor video?
Studio
Studio, la fel; Capacity nu adaugă memorie video
Aveți date foarte mari sau context lung?
Studio, 256 GB RAM
Studio Capacity, 512 GB RAM și 24 TB RAID
Mulți utilizatori plus procesări în fundal?
Studio, 32 de nuclee
Studio Capacity, 64 de nuclee
La ce îl folosesc firmele
Fine-tuning pe modele mari
Adaptarea unui model de 70B pe datele firmei, local. Ce ar cere ore scumpe în cloud rulează la tine.
- Ce rulează
- Fine-tuning 34–70B
- Evaluare și comparații
- Configurația potrivită
- Studio.
Mai multe modele deodată
Un model mare pentru asistent, unul de clasificare și unul de embeddings, pe plăci diferite, fără să se încurce.
- Ce rulează
- Mai multe modele simultan
- API intern
- Configurația potrivită
- Studio.
AI într-un produs
Un model de 32–70B servit către utilizatorii unui produs, cu timp de răspuns predictibil la vârf.
- Ce rulează
- Inferență în loturi
- API compatibil OpenAI
- Configurația potrivită
- Studio, sau Studio Capacity la trafic mare.
Tot fluxul de date pe o mașină
Colectare, curățare, antrenare și inferență pe același rig, cu date mari ținute în memorie.
- Ce rulează
- Date în memorie
- Stocare RAID
- Configurația potrivită
- Studio Capacity.
Direct de la Lenovo, prin partenerii noștri
Treptele de producție și de capacitate mare vin ca stații de lucru profesionale Lenovo, cu garanție și service de la producător. Noi le configurăm pentru AI, le instalăm și le legăm de aplicațiile voastre.
Întrebări frecvente
Ce aduce a doua placă video?
Dublează memoria video la 192 GB: modele mai mari, sau mai multe modele rulate în paralel pe plăci diferite.
Studio sau Studio Capacity?
Au aceleași plăci video. Capacity dublează procesorul, memoria RAM și stocarea, pentru date mari și mulți utilizatori. Dacă limita e memoria video, Studio e suficient.
Are nevoie de instalație specială?
Consumă mult la sarcină și face căldură. La evaluare verificăm circuitul electric și locul unde stă, și îți spunem dacă e nevoie de ceva în plus.
Și dacă îmi trebuie și mai mult?
Discutăm un server dedicat, cu mai multe plăci, sau mai multe rig-uri legate. Vezi și rig-urile custom.
Nu știi sigur ce treaptă îți trebuie?
Spune-ne ce modele vrei să rulezi și câți oameni le folosesc. Îți recomandăm configurația potrivită și prețul exact, în scris.
