GPU-resurser för AI och maskininlärning

GPU-instanser i Safespring Compute

GPU-resurserna finns som flavors, det vill säga fördefinierade resursprofiler. Varje GPU-flavor har en bestämd kombination av GPU, vCPU och RAM. Flavors i l2-serien har dessutom lokal disk. Aktuella konfigurationer och priser finns i prislistan.

A2 passar för inferens, lättare träning och videokodning. A2-flavors finns i STO2 och aktiveras för projektet via supporten. H100 NVL erbjuds i STO1 på förfrågan och är optimerad för inferens med stora språkmodeller. Kortet har 94 GB HBM3-minne, PCIe 5.0 x16 och passiv kylning.

Välj mellan lokal och central lagring

l2-flavors har lokal NVMe-lagring på compute-noden. Rotdisken följer instansens livscykel och raderas tillsammans med instansen. Safespring kan inte återställa informationen om den lokala disken går sönder. Använd därför l2 för tillståndslösa eller kortlivade arbetslaster, eller se till att informationen säkerhetskopieras.

b2-flavors har ingen lokal disk och startas från en beständig volym i den centrala blocklagringen. Volymen finns kvar oberoende av instansen och kan vara av typen fast eller large.

GPU-noder för Kubernetes

GPU-stöd i Safespring Kubernetes Engine är tillgängligt i STO2 för worker-noder med A2-flavors vars namn slutar på gA2. Det dokumenterade SKE-stödet omfattar inte H100 NVL. Det managerade kontrollplanet och Compute-instanserna som används som worker-noder debiteras separat.

Dokumentation och exempel om GPU och maskininlärning

Läs teknisk dokumentation om GPU-instanser, en praktisk guide till att köra en lokal språkmodell och exempel på maskininlärning i Safesprings infrastruktur.

Konfigurationer och priser

På prislistan för GPU-instanser finns aktuella konfigurationer med vCPU, RAM, lokal disk, GPU-modell samt pris per timme och för 30 dagar.

Om du är osäker på vilken flavor eller lagringslösning som passar din arbetslast kan du kontakta Safespring för att gå igenom kraven.