Zum Inhalt springen

Begriff eingeben, z. B. Schnittstelle, Shopware oder SEO.

    ← Alle KI-Tools
    Für EntwicklerOpen SourceZuletzt geprüft

    Inference Manager

    Kommandozeilenwerkzeug von Canonical, das lokale KI-Modelle unter Ubuntu installiert und über einen OpenAI-kompatiblen Endpunkt bereitstellt.

    Was es kann

    Inference Manager ist ein Kommandozeilenwerkzeug von Canonical für Ubuntu und andere Linux-Systeme mit Snap. Damit suchst du lokale KI-Modelle, installierst sie als sogenannte Inference Snaps, entfernst sie wieder und prüfst ihren Zustand. Jedes Snap bringt Modell und Laufzeit mit und wählt passend zu deiner Hardware eine optimierte Variante für CPU, GPU oder NPU, etwa von Intel, NVIDIA, AMD oder Ampere. Im Katalog stehen unter anderem Gemma, Qwen, DeepSeek R1, Nemotron, Phi 4 und ein Embedding-Modell. Alle installierten Modelle erreichst du über einen gemeinsamen Endpunkt auf localhost:8400, den du wie die OpenAI-Schnittstelle ansprichst.

    Für wen es passt

    Für Entwickler- und IT-Teams, die Sprachmodelle auf eigenen Ubuntu-Rechnern oder -Servern betreiben und bestehende OpenAI-kompatible Anwendungen lokal anbinden wollen, ohne Laufzeiten und Treiberoptimierungen selbst einzurichten.

    Datenschutz im Unternehmen

    Die Modelle laufen auf deiner eigenen Hardware, ein Cloud-Dienst des Anbieters ist für die Anfragen nicht vorgesehen. Den Speicherort bestimmst du damit selbst. Einen Auftragsverarbeitungsvertrag nennt der Anbieter für das Tool nicht. Eine Nutzung deiner Eingaben zum Training beschreibt der Anbieter nicht. Geschäftstarife oder einen eigenen Support speziell für Inference Manager nennt Canonical nicht.

    Grenzen

    Das Tool setzt Linux mit Snap voraus; unter Windows ist laut Dokumentation nur ein Modell (Gemma3) über WSL 2 nutzbar. Bedient wird es fast vollständig über die Kommandozeile, und nach der Installation musst du die Schnittstelle snapd-control von Hand verbinden. Viele Modelle sind nur für NVIDIA-Grafikkarten speziell optimiert. Version 1.0 ist erst im November 2026 erschienen.

    Für Unternehmen

    Du suchst Hilfe bei der Integration?

    Ein Tool auszuwählen ist der leichte Teil. Wir binden KI in deine bestehenden Abläufe ein – mit Schnittstellen zu CRM, ERP und Shop, sauberem Datenschutz und einer Einführung, damit dein Team es auch nutzt.

    Beratung anfragen →

    Dein KI-Tool fehlt hier? KI-Tool einreichen →

    Newsletter

    Neues aus der vona-Werkstatt.

    KI-Werkzeuge & Tools, die wir wirklich einsetzen, KI-Wochenrückblick & Einblicke aus unseren Projekten – kurz, praxisnah und ohne Spam.