LlamaIndex

Was es kann

LlamaIndex ist eine Bibliothek für Python und TypeScript, mit der du Sprachmodelle an eigene Daten anbindest. Konnektoren laden Inhalte aus Dateien, Datenbanken und anderen Quellen, Indizes und Vektorspeicher machen sie durchsuchbar, Query Engines liefern Antworten mit dem passenden Kontext (RAG). Dazu kommen Agenten, die Werkzeuge aufrufen, und Workflows für mehrstufige Abläufe mit Verzweigungen, Wiederholungen und menschlicher Prüfung. Das Framework arbeitet mit Cloud-Modellen wie denen von OpenAI ebenso wie mit lokalen Modellen. Der kostenpflichtige Cloud-Dienst LlamaParse wandelt PDFs, Tabellen und Scans in Markdown oder JSON um, zieht Felder nach einem Schema heraus und ordnet Dokumente Kategorien zu.

Für wen es passt

Für Entwicklerteams, die einen Chatbot über Handbücher, eine Suche in Verträgen oder eine Rechnungsauswertung selbst programmieren wollen. Ohne Programmierkenntnisse kommst du damit nicht weit.

Datenschutz im Unternehmen

Das Framework läuft auf deinen eigenen Servern; wohin Daten fließen, hängt vom gewählten Modellanbieter ab. Für LlamaParse gibt es neben der US-Region eine EU-Region. Hochgeladene Dateien werden 48 Stunden zwischengespeichert, das Zwischenspeichern lässt sich per Parameter abschalten. Eingaben werden standardmäßig nicht fürs Training genutzt; nur wenn ein Admin aktiv einem Programm zum Teilen von Daten zustimmt, ist das anders. Einen Auftragsverarbeitungsvertrag forderst du über ein Online-Formular an. Betrieb in der eigenen Cloud und HIPAA-Vereinbarungen gibt es nur im Enterprise-Tarif.

Grenzen

LlamaParse rechnet in US-Dollar über Credits ab. Anzahl und Größe der Indizes sind je Tarif begrenzt, im kostenlosen Tarif auf 5 Indizes mit je 50 Dateien. Wie gut die Antworten sind, hängt stark vom angebundenen Sprachmodell ab.