Scale Labs Leaderboards (ehemals SEAL)
Rangliste von Scale AI, die Sprachmodelle mit teils privaten Testdatensätzen in Bereichen wie Coding, Agenten, Reasoning und Sicherheit vergleicht.
Was es kann
Die Ranglisten von Scale AI zeigen, wie aktuelle Sprachmodelle in mehr als 20 Benchmarks abschneiden, darunter Humanity’s Last Exam, SWE-Bench Pro, MCP Atlas und Remote Labor Index. Sie entstanden im Safety, Evaluation, and Alignment Lab (SEAL) von Scale; seit März 2026 führt Scale sie unter dem Namen Scale Labs weiter. Die Tests sind nach Agenten, Frontier und Sicherheit gruppiert. Die meisten Ranglisten nennen Konfidenzintervalle, so siehst du, ob der Abstand zwischen zwei Modellen belastbar ist oder im Rauschen liegt. Menschen entwerfen Aufgaben und Bewertungskriterien, Sprachmodelle helfen beim Auswerten. Ein Teil der Datensätze bleibt unveröffentlicht, damit Modelle nicht gezielt darauf trainiert werden; daneben nutzt Scale öffentliche Datensätze.
Für wen es passt
Für Teams, die vor einer Modellwahl stehen, etwa für einen Coding-Agenten oder eine Anwendung mit Werkzeugaufrufen, und Vergleichswerte jenseits der Herstellerangaben suchen.
Datenschutz im Unternehmen
Die Ranglisten sind öffentlich lesbar; du gibst dort keine eigenen Inhalte ein, ein Training mit deinen Daten ist daher kein Thema. Ein Konto brauchst du zum Lesen nicht; Daten gibst du nur an, wenn du den Newsletter abonnierst oder Scale kontaktierst. Scale AI sitzt in San Francisco und stützt Übermittlungen aus der EU auf Standardvertragsklauseln und das EU-US Data Privacy Framework. Einen Auftragsverarbeitungsvertrag stellt Scale Kunden auf Anfrage bereit. Eine Datenhaltung in Europa oder Geschäftstarife für die Ranglisten nennt der Anbieter nicht.
Grenzen
Auf den Ranglisten testest du keine eigenen Prompts. Wer ein eigenes Modell aufnehmen lassen will, wendet sich per E-Mail an Scale; aufgenommen wird es laut Scale nur, wenn die Organisation die Prompts zum ersten Mal sieht. Benchmarks bilden deine konkreten Aufgaben nicht ab. Teile der Auswertung übernimmt ein Sprachmodell als Bewerter, das selbst Fehler machen kann.