Open-Source KI-Modelle auf dem eigenen Rechner betreiben

Hinweise (z.B. bei Prüfungen) und Kurzanleitung

Grundsätzlich ist es möglich, dass KI-Modelle direkt auf dem eigenen Computer, also ganz ohne Internetzugang (zu beachten bei Prüfungen) und vollständig privat (wichtig bzgl. Datenschutz) ausgeführt werden können. Dabei ist jedoch zu beachten: Selbst auf leistungsstarken Privat-Rechnern lassen sich nur kleinere, weniger leistungsstarke Modelle sinnvoll betreiben (z. B. GPT-OSS 20B mit rund 21 Milliarden Parametern). Für grössere, leistungsstärkere Modelle wie GPT-OSS 120B sind die Hardware-Anforderungen so hoch, dass ein Betrieb auf herkömmlichen Endgeräten praktisch ausgeschlossen ist.

Kurzanleitung:

• LM-Studio (oa.) herunterladen https://lmstudio.ai/

• Lade dein bevorzugtes Modell herunter (hier z.B. GPT-OSS 20B)

• Sobald das Modell heruntergeladen ist, klicke auf “Start a New Chat”

• Beginne mit dem Chat

  • Hinweis: die Antwortgenerierung wird auf den meisten privaten Rechnern sehr langsam sein.

Bilder

KI-Modell herunterladen

Chat starten

Chatten