LMSYS Chatbot Arena
Beschreibung: Community-getriebenes LLM-Ranking durch Pairwise-Vergleiche mit Elo-System
Website: https://lmarena.ai
Die LMSYS Chatbot Arena ist die bekannteste Plattform zum Vergleichen von Large Language Models durch Community-Voting. Mit über 800.000 Votes und 24 Millionen monatlichen Besuchern ist sie der Goldstandard für LLM-Evaluierung.
Features
- Elo-Ranking-System: Wie bei Schach, basierend auf direkten Vergleichen
- 90+ Modelle evaluiert: Kommerzielle (GPT, Claude, Gemini) und Open-Source (Llama, Mistral, DeepSeek)
- Community-driven: Echte Nutzer bewerten Antworten in Blind-Tests
- Transparenz: Code (FastChat) und Daten auf GitHub verfügbar
Nutzung
Auf lmarena.ai kannst du:
- Aktuelle Rankings sehen
- Selbst Modelle testen und bewerten
- Nach Kategorien filtern (Open-Source, Coding, etc.)
- Performance-Trends verfolgen
Besonderheit
Im Gegensatz zu automatischen Benchmarks basieren die Rankings auf echten Nutzerpräferenzen in realen Konversationen.