Inference Manager
Kommandozeilenwerkzeug von Canonical, das lokale KI-Modelle unter Ubuntu installiert und über einen OpenAI-kompatiblen Endpunkt bereitstellt.
Was es kann
Inference Manager ist ein Kommandozeilenwerkzeug von Canonical für Ubuntu und andere Linux-Systeme mit Snap. Damit suchst du lokale KI-Modelle, installierst sie als sogenannte Inference Snaps, entfernst sie wieder und prüfst ihren Zustand. Jedes Snap bringt Modell und Laufzeit mit und wählt passend zu deiner Hardware eine optimierte Variante für CPU, GPU oder NPU, etwa von Intel, NVIDIA, AMD oder Ampere. Im Katalog stehen unter anderem Gemma, Qwen, DeepSeek R1, Nemotron, Phi 4 und ein Embedding-Modell. Alle installierten Modelle erreichst du über einen gemeinsamen Endpunkt auf localhost:8400, den du wie die OpenAI-Schnittstelle ansprichst.
Für wen es passt
Für Entwickler- und IT-Teams, die Sprachmodelle auf eigenen Ubuntu-Rechnern oder -Servern betreiben und bestehende OpenAI-kompatible Anwendungen lokal anbinden wollen, ohne Laufzeiten und Treiberoptimierungen selbst einzurichten.
Datenschutz im Unternehmen
Die Modelle laufen auf deiner eigenen Hardware, ein Cloud-Dienst des Anbieters ist für die Anfragen nicht vorgesehen. Den Speicherort bestimmst du damit selbst. Einen Auftragsverarbeitungsvertrag nennt der Anbieter für das Tool nicht. Eine Nutzung deiner Eingaben zum Training beschreibt der Anbieter nicht. Geschäftstarife oder einen eigenen Support speziell für Inference Manager nennt Canonical nicht.
Grenzen
Das Tool setzt Linux mit Snap voraus; unter Windows ist laut Dokumentation nur ein Modell (Gemma3) über WSL 2 nutzbar. Bedient wird es fast vollständig über die Kommandozeile, und nach der Installation musst du die Schnittstelle snapd-control von Hand verbinden. Viele Modelle sind nur für NVIDIA-Grafikkarten speziell optimiert. Version 1.0 ist erst im November 2026 erschienen.