Inferenz-Server
Spezialisierter Server zum Betrieb von KI-Modellen in der Produktion mit hohem Durchsatz und niedriger Latenz.
Inferenz-Server wie Triton Inference Server, TorchServe oder vLLM stellen Modelle als skalierbare HTTP/gRPC-Dienste bereit. Sie verwalten Modell-Loading, Batching und GPU-Ressourcen automatisch.
Produktive Deployments erfordern Funktionen wie automatische Skalierung, A/B-Tests zwischen Modellversionen, Health-Checks und Monitoring. Dedizierte Inference-Server bieten diese Infrastruktur out-of-the-box.
Die Wahl des Inference-Servers beeinflusst Kosten und Leistung stark. Open-Source-Lösungen bieten Flexibilität; Cloud-Managed-Dienste reduzieren operationellen Aufwand auf Kosten höherer laufender Kosten.
Verwandte Begriffe
- vLLM
Hochperformantes Inferenz-Framework für LLMs mit Paged Attention und effizienter Batch-Verarbeitung.
- Batching
Zusammenfassen mehrerer Anfragen zu einem Batch, um GPU-Kapazität optimal auszunutzen.
- Serverless Inference
Betriebsmodell, bei dem KI-Modelle nur bei tatsächlichen Anfragen Ressourcen verbrauchen und auf null skalieren.
- GPU (Grafikprozessor)
Spezialprozessor mit Tausenden paralleler Recheneinheiten — die dominante Hardware für KI-Training und -Inferenz.