PrivateGPT

Was es kann

PrivateGPT ist eine quelloffene API-Schicht für KI-Anwendungen auf lokal oder selbst betriebenen Sprachmodellen. Die Modelle führt es nicht selbst aus, sondern verbindet sich mit einem OpenAI-kompatiblen Inferenzserver wie Ollama, llama.cpp oder vLLM. Die Schnittstelle orientiert sich an der Claude-API: Dokumente einlesen, Antworten mit Quellenangaben, Werkzeugaufrufe, MCP-Anbindungen, Websuche, Codeausführung, Abfragen von Datenbanken und CSV-Dateien sowie Embeddings. Eine einfache Weboberfläche dient zum Testen.

Für wen es passt

Für Entwicklungsteams und IT-Abteilungen, die eigene Assistenten oder Dokumentensuchen bauen wollen, ohne Daten an Cloud-Dienste zu geben. Installation und Modellbetrieb setzen technisches Wissen voraus.

Datenschutz im Unternehmen

Du betreibst PrivateGPT auf eigener Hardware oder in deiner Cloud und bestimmst damit selbst, wo die Daten liegen. Mit einem lokalen Modell verlassen Eingaben dein Netz nicht, und Zylon erhält sie nicht zum Training. Bindest du einen externen Modellserver an, gelten dessen Bedingungen. Für die Open-Source-Version gibt es keinen Auftragsverarbeitungsvertrag, da Zylon dabei keine Daten verarbeitet. Für Unternehmen bietet Zylon eine kostenpflichtige Plattform mit Kubernetes-Betrieb, LDAP/AD, Rollenrechten, Audit-Logs und Support; Preise nennt der Anbieter nur auf Anfrage.

Grenzen

Qualität und Tempo hängen vom gewählten Modell und deiner Hardware ab. Prompt-Caching, OAuth und Organisationsverwaltung fehlen, Skills sind erst in Ansätzen da. Die Weboberfläche ist kein fertiges Chat-Werkzeug für Mitarbeitende.