Lokale KI ohne Grafikkarte: Reichen 8 oder 16 GB RAM?

Du möchtest eine KI auf deinem eigenen Rechner nutzen, aber keine teure Grafikkarte kaufen? Lokale KI ohne Grafikkarte ist möglich – auch mit 8 oder 16 GB RAM. Entscheidend ist, welches Modell du auswählst, wie viel Arbeitsspeicher tatsächlich frei ist und wie viel Wartezeit du akzeptierst.

Mein Rat: Starte mit einer überschaubaren Aufgabe und einem kleinen Modell. Eine KI, die deine Notizen brauchbar sortiert, bringt dir mehr als ein riesiges Modell, das den Rechner ausbremst. Hier zeige ich dir eine sinnvolle Auswahl, konkrete Startbefehle und einen Selbsttest für deinen PC. Stand: 9. November 2026. Dieser Ratgeber beruht auf offiziellen Dokumentationen und redaktioneller Einordnung; eigene Hardwaretests liegen dafür noch nicht vor.

Inhaltsverzeichnis

Lokale KI ohne Grafikkarte: Die schnelle Entscheidung
Was bedeutet „lokal“ – und geht das wirklich nur mit der CPU?
Lokale KI ohne Grafikkarte: Warum 8 oder 16 GB RAM einen Unterschied machen
Lokale KI ohne Grafikkarte: Welche Modelle passen zu 8 und 16 GB RAM?
Lokale KI ohne Grafikkarte einrichten: So startest du mit Ollama
LM Studio als Alternative: Lokale KI mit einer grafischen Oberfläche
Lokale KI ohne Grafikkarte sinnvoll nutzen: Drei Aufgaben für deinen Selbsttest
Wenn lokale KI zu langsam ist: Was du zuerst ändern solltest
Lokale KI ohne Grafikkarte: Vorteile, Datenschutz und ehrliche Grenzen
Häufige Fragen zu lokaler KI ohne Grafikkarte
Zusammenfassung: Klein anfangen und am eigenen Alltag messen

Lokale KI ohne Grafikkarte: Die schnelle Entscheidung

Dein Rechner	Mein empfohlener Einstieg	Wichtige Grenze
8 GB RAM insgesamt	Kleines quantisiertes Modell um 2 Milliarden Parameter; zunächst kurze Texte	Browser und Betriebssystem benötigen ebenfalls RAM. Ein 4B-Modell ist eher ein zusätzlicher Versuch.
16 GB RAM insgesamt	Quantisiertes 4B-Modell für den ersten Alltagstest	Ein 9B-Modell kann bei ausreichend freiem RAM passen, antwortet aber je nach CPU deutlich langsamer.
Sehr alte CPU oder kaum freier RAM	Zuerst Kompatibilität und Speicher prüfen	Mehr RAM behebt keine fehlende Prozessorunterstützung und macht die Textausgabe nicht automatisch schnell.

Das sind Startempfehlungen, keine gemessenen Leistungszusagen. Für kurze Entwürfe und klar begrenzte Aufgaben ist ein Versuch sinnvoll. Wenn du umfangreiche Recherche, lange Dokumente und schnelle Antworten gleichzeitig erwartest, stößt ein kleiner Rechner wesentlich früher an Grenzen.

Was bedeutet „lokal“ – und geht das wirklich nur mit der CPU?

Ein lokales Sprachmodell wird auf deinem Gerät ausgeführt. Die CPU kann dabei die Berechnungen übernehmen; eine kompatible GPU ist eine mögliche Beschleunigung. Projekte wie llama.cpp unterstützen unterschiedliche Prozessoren und komprimierte Modellvarianten. Du musst das Modell dafür nicht selbst trainieren: Du lädst bereits vorhandene Modellgewichte und nutzt sie zur Antworterzeugung, der sogenannten Inferenz.

„Ohne Grafikkarte“ meint hier vor allem ohne separate Grafikkarte. Viele Notebooks und Mini-PCs haben eine integrierte GPU. Nutzt die Software diese, ist das kein reiner CPU-Test. Auch ein Mac mit Apple Silicon kann ohne separate Grafikkarte rechnen und trotzdem seine integrierte GPU verwenden. Für einen fairen Vergleich musst du den tatsächlichen Rechenweg beachten.

Ein weiterer Unterschied: Eine lokal installierte Oberfläche kann auch Cloud-Modelle oder externe Werkzeuge ansprechen. Erst die Kombination aus lokalem Modell und passenden Einstellungen entscheidet, wo deine Anfrage verarbeitet wird.

Lokale KI ohne Grafikkarte: Warum 8 oder 16 GB RAM einen Unterschied machen

Verwechsle Downloadgröße und Arbeitsspeicherbedarf nicht. Neben den Modellgewichten benötigen das Programm, Zwischenberechnungen und der Gesprächskontext Speicher. Dazu kommen Betriebssystem und andere Anwendungen. Der Kontext umfasst die Informationen, die das Modell für die aktuelle Antwort berücksichtigen kann; größere Einstellungen erhöhen den Speicherbedarf.

Lokale KI mit 8 oder 16 GB RAM: Freien Arbeitsspeicher und Modellgröße prüfen

Eine einfache Planungsrechnung: Hat ein Rechner 8 GB RAM und sind vor dem Modellstart bereits 4 GB belegt, bleiben nominell ungefähr 4 GB übrig. Ein Modelldownload von 3,3 GB ist dann keineswegs automatisch ein guter Kandidat: Laufzeitbedarf und Reserven fehlen in dieser Rechnung noch. Das ist ein Rechenbeispiel, kein gemessener Verbrauch eines bestimmten PCs.

Unter Windows: Öffne den Task-Manager und schau unter „Leistung → Arbeitsspeicher“ auf die verfügbare Kapazität. Beobachte sie auch während der Anfrage.
Auf dem Mac: Achte in der Aktivitätsanzeige zusätzlich auf den Speicherdruck.
Bei beiden: Schließe unnötige Programme. Wird stark auf den Datenträger ausgelagert, kann das System zäh reagieren. Eine SSD ersetzt fehlenden RAM nicht.

Was bedeutet Q4_K_M bei einem Modell?

Quantisierung speichert Modellgewichte mit geringerer Genauigkeit und reduziert dadurch den Speicherbedarf. Eine Bezeichnung wie Q4_K_M kennzeichnet eine bestimmte Quantisierungsvariante; sie bedeutet nicht, dass die komplette Anwendung genau vier Bit pro Parameter oder einen fest zugesagten RAM-Verbrauch hat. Weniger Speicher kann mit Qualitätseinbußen einhergehen. Deshalb würde ich zunächst eine verbreitete Variante testen, statt sofort die kleinstmögliche Datei zu wählen.

Lokale KI ohne Grafikkarte: Welche Modelle passen zu 8 und 16 GB RAM?

Für einen nachvollziehbaren Einstieg nutze ich hier drei konkrete Qwen3.5-Varianten aus der Ollama-Bibliothek. So kannst du dieselbe Modellfamilie in verschiedenen Größen vergleichen. Die Auswahl ist kein allgemeiner Testsieg gegenüber Gemma, anderen Qwen-Versionen oder weiteren lokalen Modellen.

Modell-Tag	Angezeigte Downloadgröße	Redaktionelle Einordnung
`qwen3.5:2b-q4_K_M`	ca. 1,9 GB	Mein erster Versuch bei 8 GB RAM: kurze Umformulierungen, Stichpunkte und begrenzte Extraktionsaufgaben.
`qwen3.5:4b-q4_K_M`	ca. 3,3 GB	Mein Ausgangspunkt bei 16 GB RAM; bei 8 GB nur mit ausreichend Reserve ausprobieren.
`qwen3.5:9b-q4_K_M`	ca. 6,6 GB	Optionaler Vergleich bei 16 GB: nur weiterverwenden, wenn Qualität und Wartezeit auf deinem PC überzeugen.

Die Größen wurden am 9. November 2026 auf den jeweiligen Modellseiten abgelesen. Sie sind Downloadangaben, keine RAM-Mindestanforderungen, und können sich mit Aktualisierungen ändern. Bleib für den ersten Vergleich bei Texteingaben: Bildverarbeitung erzeugt zusätzliche Anforderungen. Die große beworbene maximale Kontextlänge eines Modells ist ebenfalls keine Empfehlung für einen kleinen Rechner.

Die expliziten Tags sind absichtlich gewählt. Ein Befehl ohne Größenangabe oder mit latest kann eine größere Standardvariante laden, als du eigentlich testen möchtest. Prüfe vor dem Download außerdem, ob deine aktuelle Programmversion das Modell unterstützt.

Lokale KI ohne Grafikkarte einrichten: So startest du mit Ollama

Lokale KI ohne Grafikkarte mit Ollama einrichten

1. Programm installieren und ein kleines Modell auswählen

Lade Ollama über die offizielle Downloadseite für dein Betriebssystem. Für lokale Modelle brauchst du keinen Cloud-API-Schlüssel. Öffne nach der Installation ein Terminal beziehungsweise unter Windows PowerShell. Für den 8-GB-Einstieg:

ollama run qwen3.5:2b-q4_K_M

Der erste Start lädt das Modell herunter. Für einen 16-GB-Rechner kannst du alternativ mit der 4B-Variante beginnen:

ollama run qwen3.5:4b-q4_K_M

2. Den Gesprächskontext klein halten

Gib im laufenden Ollama-Chat zunächst diese Einstellung ein:

/set parameter num_ctx 2048

2048 Tokens sind hier ein vorsichtiger Startwert für kurze Aufgaben, keine allgemeine optimale Einstellung. Tokens sind Textbausteine, keine feste Anzahl deutscher Wörter. Wenn die Aufgabe mehr Platz braucht und ausreichend Speicher frei bleibt, kannst du später 4096 ausprobieren. Gib längere Texte abschnittsweise ein, statt sofort das maximale Kontextfenster einzustellen.

3. Eine konkrete Aufgabe stellen und die Ausführung prüfen

Formuliere diese Notiz als freundliche E-Mail mit höchstens 80 Wörtern.
Erfinde keine Angaben. Nenne fehlende Informationen unter dem Entwurf.
Notiz: Lieferung verzögert sich. Neuer Termin noch offen. Kunde soll informiert werden.

Öffne während einer laufenden Antwort ein zweites Terminal und prüfe:

ollama ps

Unter PROCESSOR zeigt 100% CPU den Betrieb vollständig im Systemspeicher an; eine GPU- oder Mischangabe weist auf einen anderen Rechenweg hin. Für diesen Ratgeber ist das wichtig: Ein Rechner ohne separate Grafikkarte kann trotzdem eine integrierte GPU nutzen.

4. Das Modell nach dem Versuch entladen

Nach Ende deiner Anfrage kannst du die geladene Variante aus dem Speicher entfernen. Gib dafür im normalen Terminal ein:

ollama stop qwen3.5:2b-q4_K_M

Wenn du die 4B-Variante verwendest, ersetze den Modellnamen entsprechend. Entladen entfernt das Modell aus dem Arbeitsspeicher; der Download bleibt für den nächsten Start erhalten.

LM Studio als Alternative: Lokale KI mit einer grafischen Oberfläche

Wenn dir eine Chat-Oberfläche mit Modellsuche lieber ist, ist LM Studio eine Alternative. Du lädst eine passende lokale Variante, öffnest sie im Chat und kannst anschließend mit ihr arbeiten. Achte bei einem reinen CPU-Versuch auf deaktiviertes GPU-Offloading. Die Oberfläche und ihre Beschriftungen können sich je nach Version unterscheiden.

Beachte die offiziellen Voraussetzungen: Für Windows empfiehlt LM Studio mindestens 16 GB RAM; auf x64-Prozessoren wird AVX2 vorausgesetzt. Außerdem empfiehlt der Anbieter GPU-Speicher. Eine GPU-Empfehlung bedeutet nicht, dass jeder CPU-Betrieb ausgeschlossen wäre: Die offizielle CLI unterstützt ausdrücklich ausgeschaltetes GPU-Offloading. Auf älteren Rechnern solltest du die Systemanforderungen vor der Installation prüfen.

Praktisch für Fortgeschrittene: Mit der eingerichteten LM-Studio-CLI kannst du den Speicherbedarf eines bereits heruntergeladenen Modells schätzen lassen. Ersetze MODELLSCHLUESSEL durch den lokalen Modellschlüssel aus lms ls:

lms load MODELLSCHLUESSEL --gpu off --context-length 2048 --estimate-only

Das ist eine Vorschau, kein Leistungsbenchmark. Für den Einstieg würde ich mich für ein Programm entscheiden. Zwei gleichzeitig laufende Modellumgebungen machen die Fehlersuche bei wenig RAM unnötig schwierig.

Lokale KI ohne Grafikkarte sinnvoll nutzen: Drei Aufgaben für deinen Selbsttest

Ob dir lokale KI hilft, entscheidet sich an deiner Arbeit. Ich würde drei kurze Aufgaben vergleichen und jeweils dieselbe Vorlage verwenden. Prüfe die Antwort inhaltlich, bevor du die Geschwindigkeit bewertest.

Lokale KI im Selbsttest: Antwortqualität und Wartezeit vergleichen

Aufgabe	So testest du	Woran du Qualität erkennst
E-Mail überarbeiten	Nutze die Lieferverzögerung aus der Anleitung.	Die KI bleibt bei den Fakten und erfindet keinen Liefertermin.
Notizen zusammenfassen	Füge einen kurzen selbst geschriebenen Text mit drei Terminen und zwei Namen ein. Verlange fünf Stichpunkte.	Termine und Namen bleiben unverändert; wichtige Punkte fehlen nicht.
Informationen herausziehen	Gib die Notiz „Artikel A: 3 Stück; Abholung Freitag; Preis offen“ ein. Verlange Artikel, Menge, Abholung und Preis als Tabelle.	Fehlende Werte werden als unbekannt markiert, statt ergänzt.

Notiere Modell-Tag, Kontextgröße, CPU-/GPU-Anzeige, freien RAM, Zeit bis zum sichtbaren Antwortbeginn und die Zeit bis zum vollständigen Ergebnis. Wiederhole den Versuch nach dem ersten Modellstart: Laden, Verarbeitung der Eingabe und Textausgabe sind verschiedene Phasen. Vergleiche kurze und lange Antworten nicht nur anhand der Gesamtzeit.

Für einen technischen Vergleich stellt die Ollama-API eigene Messfelder bereit. Die reine Ausgaberate lässt sich als eval_count ÷ (eval_duration / 1.000.000.000) berechnen; die Dauer wird in Nanosekunden angegeben. Diese Rate umfasst nicht die komplette Wartezeit. Hier werden bewusst keine angeblich auf jedem Rechner erreichbaren Tokens-pro-Sekunde-Werte versprochen.

Meine Entscheidungsregel: Behalte die kleinere Variante, wenn sie die Aufgabe zuverlässig genug erledigt und weniger Nacharbeit verursacht. Ein größeres Modell lohnt sich für dich erst, wenn seine besseren Ergebnisse die zusätzliche Wartezeit tatsächlich ausgleichen.

Wenn lokale KI zu langsam ist: Was du zuerst ändern solltest

Beobachtung	Möglicher Grund	Sinnvoller nächster Schritt
Der ganze PC wird zäh	Zu wenig freier RAM, starke Auslagerung oder konkurrierende Programme	Andere Modelle und unnötige Anwendungen schließen; kleinere Variante wählen.
Antworten starten erst nach langer Pause	Modellladen, lange Eingabe oder zusätzlicher Denkmodus	Eine zweite kurze Anfrage testen; unterstützte Thinking-Einstellungen prüfen.
Kurzer Chat geht, langer Text scheitert	Der Kontext oder der zusätzliche Speicherbedarf wächst	Text in sinnvolle Abschnitte teilen; Kontext nicht vorsorglich maximieren.
Das Programm startet auf dem alten PC nicht	Nicht unterstützte CPU oder Betriebssystemversion	Systemanforderungen und passende Programmausgabe prüfen; nicht wahllos weitere Modelle laden.
Die Antwort klingt gut, enthält aber neue Fakten	Das Modell ergänzt Inhalte ohne verlässliche Grundlage	Originaltext danebenlegen und prüfen; klare Aufgaben und „unbekannt“-Werte verlangen.

Bei Modellen mit Denkmodus kann zusätzlich Zeit vergehen, bevor eine fertige Antwort erscheint. Prüfe, ob dein Modell eine abschaltbare Thinking-Funktion unterstützt. Eine kürzere sichtbare Denkphase beweist weder bessere noch schlechtere Qualität; entscheide wieder anhand deiner Aufgabe.

Lokale KI ohne Grafikkarte: Vorteile, Datenschutz und ehrliche Grenzen

Vorteile: Du kannst heruntergeladene Modelle ohne laufende Cloud-Anfrage nutzen und eigene Arbeitsabläufe auf deinem Gerät ausprobieren. Das ist besonders interessant für klar begrenzte Textaufgaben.
Nachteile: Einrichtung, Speicherplatz und Rechenzeit liegen bei dir. Stromverbrauch und Hardware bleiben Kostenfaktoren; „lokal“ bedeutet nicht automatisch kostenlos.
Grenzen: Ein kleines Modell besitzt ohne zusätzliche Werkzeuge keinen verlässlichen Zugriff auf aktuelle Nachrichten und ersetzt weder eine geprüfte Recherche noch eine fachliche Kontrolle.

Ollama bietet einen Modus mit deaktivierten Cloud-Funktionen an. Dafür kannst du OLLAMA_NO_CLOUD=1 als dauerhafte Umgebungsvariable für den Ollama-Prozess setzen und Ollama neu starten. Bei LM Studio können heruntergeladene Modelle und die dokumentierten lokalen Dokumentfunktionen offline arbeiten. Externe Erweiterungen und zusätzliche Dienste musst du getrennt prüfen.

Denk außerdem an lokale Spuren: Gespeicherte Chats, exportierte Dateien oder synchronisierte Ordner können weiterhin sensible Daten enthalten. Ein kurzer Test mit einer unverfänglichen Eingabe bei ausgeschalteter Internetverbindung zeigt dir, ob der gewählte Arbeitsablauf offline funktioniert. Er ersetzt keine vollständige Datenschutzprüfung. Für einen Einzelplatz-Test musst du auch keinen KI-Server ins Internet freigeben.

Falls du vor allem einen komfortablen Assistenten mit Recherche und zusätzlichen Werkzeugen suchst, hilft dir auch unser Vergleich von ChatGPT und Claude. Die sinnvolle Entscheidung hängt davon ab, welche Aufgabe du lokal erledigen möchtest und welche Funktionen du darüber hinaus brauchst.

Häufige Fragen zu lokaler KI ohne Grafikkarte

Kann ich lokale KI ohne Grafikkarte nutzen?

Ja. Geeignete Programme können Sprachmodelle mit der CPU im Arbeitsspeicher ausführen. Ein kleines passendes Modell, freie RAM-Reserve und eine kompatible CPU sind entscheidend. Eine integrierte GPU kann je nach Programm zusätzlich genutzt werden.

Reichen 8 GB RAM für lokale KI?

Für einen Einstieg mit kleinen quantisierten Modellen und kurzen Aufgaben kann das reichen. Als ersten Versuch empfiehlt dieser Ratgeber Qwen3.5 2B in der genannten Q4_K_M-Variante. Die Downloadgröße ist keine Zusage für den gesamten Speicherbedarf.

Welche lokale KI passt zu 16 GB RAM?

Ein quantisiertes 4B-Modell ist ein vernünftiger Ausgangspunkt. Ein 9B-Modell kannst du bei ausreichend freiem RAM zusätzlich vergleichen. Ob seine Antwortgeschwindigkeit für dich passt, musst du auf deinem Rechner prüfen.

Ist eine lokale KI genauso gut wie ChatGPT oder Claude?

Das lässt sich nicht pauschal sagen. Ein kleines lokales Modell kann bei begrenzten Aufgaben helfen, bietet aber nicht automatisch dieselben Fähigkeiten, Werkzeuge oder Antwortqualität wie ein umfangreicher Cloud-Dienst. Vergleiche dieselbe echte Aufgabe und die nötige Nacharbeit.

Funktioniert lokale KI ohne Internet?

Nach Installation und Modelldownload können passende lokale Arbeitsabläufe offline funktionieren. Cloud-Modelle, Websuche und externe Erweiterungen benötigen gegebenenfalls weiterhin eine Verbindung. Prüfe deshalb den konkret verwendeten Ablauf.

Macht mehr RAM meine lokale KI schneller?

Mehr RAM hilft vor allem, wenn bislang Speicher fehlt und stark ausgelagert wird. Passt das Modell bereits gut in den Speicher, führt eine größere RAM-Kapazität allein nicht automatisch zu schnellerer Textausgabe. CPU, Speicherbandbreite, Modell und Einstellungen bleiben relevant.

Zusammenfassung: Klein anfangen und am eigenen Alltag messen

Lokale KI ohne Grafikkarte ist ein sinnvoller Versuch, wenn du kurze Textaufgaben auf deinem eigenen Gerät erledigen möchtest. Mit 8 GB RAM würde ich klein starten; mit 16 GB bietet sich ein quantisiertes 4B-Modell als Ausgangspunkt an. Prüfe freie Speicherreserve, Kontext und Antwortqualität, bevor du ein größeres Modell lädst. Der beste Maßstab ist am Ende die Zeit, die dir ein brauchbares Ergebnis tatsächlich spart.