GPT4All

Beschreibung: Private und lokale AI Chatbot-Lösung ohne Cloud und GPU-Anforderungen

Website: https://gpt4all.io

GPT4All ist eine Open-Source-Plattform, die das Ausführen großer Sprachmodelle privat auf dem eigenen Computer ermöglicht - ohne Cloud-Services oder GPU-Anforderungen.

Features

• Läuft auf Windows, macOS und Linux
• Unterstützung für tausende Open-Source-Modelle
• LocalDocs für privaten Dokumenten-Chat
• DeepSeek R1 Distillations Support
• Desktop-Anwendung und Python SDK

System-Anforderungen

• Mindestens 8GB RAM (Modelle müssen komplett in RAM passen)
• CPU mit AVX/AVX2 Unterstützung
• Auflösung min. 1280x720
• macOS Monterey 12.6+, Windows 10+, oder Ubuntu 22.04 LTS+

Backend

Nutzt llama.cpp für effiziente Inferenz. Über 77.000 GitHub Stars.