Dein eigener Offline-KI-Agent – Videokurs zum lokalen KI-Server

Du willst KI im eigenen Netzwerk betreiben, ohne dass eine einzige Anfrage nach draußen geht? Mit Kurs 1 – Dein eigener Offline-KI-Agent von NeiFlex baust du genau dafür deinen eigenen Server: mit Ubuntu 22.04 LTS, NVIDIA-GPU, Ollama und einer Anwendung, die du im Browser bedienst. In einem Intro und 31 deutschsprachigen Video-Clips in 3 Modulen gehst du von den Einzelkomponenten bis zum dauerhaft laufenden KI-Agenten mit Chat und Datei-Upload. Deine Anfragen und Dokumente verarbeitet der fertige Agent lokal – ohne Cloud und ohne externe Dienste.

Deine KI arbeitet dort, wo deine Daten bleiben sollen

Ein PDF hochladen, eine Frage stellen und eine Zusammenfassung erhalten: Dafür sollen deine Dateien nicht erst einen Cloud-Dienst durchlaufen müssen. Im Kurs entsteht ein Offline-KI-Agent, dessen Verarbeitung vollständig auf deinem eigenen Server stattfindet. Du erreichst ihn über dein LAN und nutzt ein Web-Frontend mit Chat, Dateiauswahl und Drag & Drop. Jede Anfrage und jede hochgeladene Datei bleibt in deinem Netzwerk.

Der Agent verarbeitet PDF, TXT und CSV. Für seine Antworten wird er darauf ausgerichtet, ausschließlich Informationen aus dem Gesprächsverlauf und dem extrahierten Dateiinhalt zu verwenden. Das reduziert erfundene Aussagen und macht den Bezug zur hochgeladenen Datei zum Mittelpunkt deiner Arbeit. Du testest das konkret an Texten über HTTP und HTTPS sowie an PDFs zu Photosynthese und Differentialrechnung – jeweils mit einer Zusammenfassung in fünf Stichpunkten, ohne Internet.

Das Ziel ist dabei mehr als ein Modell, das einmal im Terminal antwortet. Du baust eine zusammenhängende Anwendung: Ollama stellt das Modell bereit, ein Python/FastAPI-Backend verarbeitet Chat und Uploads, und das Web-Frontend macht beides im Browser zugänglich. Zum Abschluss sorgt systemd dafür, dass dein Agent nach dem Boot automatisch startet und dauerhaft im LAN läuft.

So führt dich Kurs 1 – Dein eigener Offline-KI-Agent vom Server zum Browser-Chat

Die NeiFlex Academy führt dich durch den kompletten Weg vom leeren Server bis zum eigenen KI-Agenten. Jeder Video-Clip bildet einen abgeschlossenen Arbeitsschritt ab. Du wechselst nicht unvermittelt vom Hardware-Aufbau zu einer fertigen Anwendung, sondern gehst die Verbindung dazwischen mit: Installation, Treiber, Netzwerkzugriff, Modellbetrieb, Python-Code, Funktionstest und Autostart.

Das Intro – Kurs-Intro & Zielbild zeigt dir, was du bauen wirst, wie die drei Module zusammenhängen und welche Voraussetzungen du mitbringen solltest: passende Hardware, Ubuntu als Arbeitsgrundlage und Grundkenntnisse. Das Kursniveau ist als Einsteiger ausgewiesen; der Kurs richtet sich an Einsteiger und Fortgeschrittene mit technischem Interesse. Laut Anbieterübersicht gehören auch Admins, Home-Lab-Nutzer und Entwickler zur Zielgruppe.

Die Kursseite weist für jeden der 31 Clips ein konkretes Lernziel aus. Das reicht vom Ausbau der alten M.2-SSD in Clip 2 bis zum systemd-Dienst in Clip 31. So bleibt der Aufbau in überschaubare Schritte gegliedert, statt Hardware, Linux und Anwendungscode auf einmal lösen zu müssen.

Modul 1: Du baust die Hardware auf und installierst Ubuntu

Die ersten zehn Clips schaffen die Grundlage für deinen lokalen KI-Betrieb. Du siehst, welche Komponenten zusammenkommen, wie du sie einbaust und wie daraus ein erreichbarer Ubuntu-Server wird. Der Aufbau setzt bewusst auf eine günstige Hardware-Basis mit einer gebrauchten GTX 1080 für CUDA-beschleunigte KI. Dazu kommen im gezeigten Aufbau 4×8 GB RAM und beispielsweise eine M.2-SSD mit 256 GB.

1. Clip 1 – Hardware-Überblick und Komponentenwahl: Du gehst CPU, RAM, SSD, GTX 1080, Netzteil und Gehäuse durch und erfährst, warum sich die Auswahl für Offline-KI eignet.
2. Clip 2 – SSD und M.2 vorbereiten: Du baust die alte M.2-SSD aus und bereitest den Austausch vor.
3. Clip 3 – Neue M.2-SSD einbauen: Du setzt die neue SSD ein, beispielsweise mit 256 GB, und siehst ihren Platz im System.
4. Clip 4 – RAM-Bestückung und Kontrolle: Du bestückst beziehungsweise kontrollierst die 4×8 GB RAM und lernst den Bezug zum Dual-Channel-Betrieb kennen.
5. Clip 5 – GPU-Einbau: Du setzt die GTX 1080 ein und ordnest ihre Rolle bei der KI-Beschleunigung mit CUDA ein.
6. Clip 6 – GPU-Stromanschluss: Du schließt den PCIe-Stromstecker an, damit die Grafikkarte versorgt ist.
7. Clip 7 – Gehäuse schließen: Du kontrollierst den Aufbau und schließt das Gehäuse.
8. Clip 8 – Erster Power-On: Du verbindest die Frontpanel-Kabel für Power, Reset, HDD-LED und Speaker und nimmst den Server erstmals in Betrieb.
9. Clip 9 – Ubuntu 22.04 LTS installieren: Du bootest vom USB-Stick und gehst Schritt für Schritt durch Sprache, Partitionierung und Benutzeranlage im Installer.
10. Clip 10 – Erster Login und Grundeinstellungen: Nach dem Reboot meldest du dich an und prüfst das Netzwerk.

Damit lernst du nicht nur eine Komponentenliste kennen. Du vollziehst den Aufbau bis zum ersten Login nach und hast die Grundlage, um deinen Server anschließend über das Netzwerk zu administrieren.

Modul 2: Du machst GPU, Netzwerk und Ollama einsatzbereit

In den Clips 11–20 wird aus dem installierten Server die technische Basis für deinen Agenten. Du richtest die GPU-Beschleunigung ein, bereitest Arbeitsordner vor und bringst Ollama mit mehreren Modellen zum Laufen. Dein Windows-PC kann dabei dein Arbeitsplatz bleiben: PuTTY übernimmt den SSH-Zugriff, Samba den Dateiaustausch.

1. Clip 11 – SSH, IP und System-Update: Du installierst den OpenSSH-Server, ermittelst die IP-Adresse und verbindest dich von Windows mit PuTTY. Anschließend führst du Update und Upgrade von Ubuntu aus.
2. Clip 12 – NVIDIA-Treiber und CUDA: Du richtest den NVIDIA-Treiber, beispielsweise über ubuntu-drivers, sowie CUDA ein. Nach dem Reboot prüfst du die Version.
3. Clip 13 – GPU-Test: Mit nvidia-smi kontrollierst du in der SSH-Sitzung, ob die GTX 1080 korrekt erkannt wird. Damit prüfst du die GPU-Basis, bevor du mit den Modellen weiterarbeitest.
4. Clip 14 – Ordnerstruktur: Mit sudo mkdir -p /opt/ki-agent/app /opt/ki-agent/uploads legst du die Bereiche für Anwendung und Uploads unter /opt/ki-agent an. Über chown setzt du die Rechte für deinen Arbeitsbenutzer.
5. Clip 15 – Samba-Freigabe: Du installierst Samba mit sudo apt install samba, legst die Freigabe in smb.conf an und richtest Benutzer und Rechte ein.
6. Clip 16 – Windows-Zugriff: Du testest die Freigabe \SERVERki-agent und kopierst Dateien in beide Richtungen. So kannst du die Projektdateien bequem von Windows aus bearbeiten und übertragen.
7. Clip 17 – Ollama einrichten: Du installierst Ollama, startest den Dienst und rufst mit ollama list die Modellübersicht auf.
8. Clip 18 – Modelle laden: Du lernst mistral, llama3, granite3-dense:2b und das im Kurs als etwas größer vorgestellte ibm/granite4:tiny-h kennen. Damit siehst du mehrere Modelloptionen für deinen lokalen Betrieb.
9. Clip 19 – Modelle testen: Du startest ibm/granite4:tiny-h und führst einen curl-Testaufruf durch. So prüfst du die Modellanfrage, bevor dein eigener Python-Agent darauf zugreift.
10. Clip 20 – Ollama-Troubleshooting: Du kontrollierst den Dienststatus und siehst Log-Einträge ein, um bei Startproblemen gezielt nach der Ursache zu suchen.

Modul 3: Du verbindest Python, Web-Chat und Datei-Upload

Jetzt entsteht die Anwendung, die du später im Alltag über den Browser bedienst. Modul 3 gliedert sich in Teil A für Code und Backend, Teil B für Start und Funktionstests sowie Teil C für den Dauerbetrieb. Du baust Gesprächsspeicher, Modellanbindung, Dateiverarbeitung und Oberfläche nachvollziehbar zusammen.

Teil A, Clips 21–27: Vom Modell zum Agenten im Browser

Clip 21 setzt das Zielbild für die Anwendung: FastAPI-Backend, Web-Frontend, Gesprächsspeicher und Datei-Upload, vollständig lokal im LAN. Ein Rückblick auf Ubuntu, GPU, Ollama, Samba und die virtuelle Umgebung verbindet die bisherigen Schritte mit dem kommenden Code.

Clip 22 behandelt memory.py. Du legst ConversationMemory mit den Methoden add, get und clear an. Damit bekommt dein Agent einen Gesprächsspeicher: Nachrichten lassen sich hinzufügen, für die nächste Anfrage abrufen und für einen neuen Chat löschen.

Clip 23 verbindet den Agenten über agent.py mit Ollama. Du setzt MODEL_NAME = “ibm/granite4:tiny-h”. Die Funktion ask_model baut den HTTP-Aufruf ohne Streaming und mit Temperatur 0.2 auf. build_prompt kombiniert Systemprompt, Gesprächsverlauf und Datei-Kontext aus _file_context. Die Vorgabe an den Agenten lautet, nur Informationen aus Verlauf und Datei zu verwenden – für Antworten mit klarem Bezug zu deinem bereitgestellten Material.

Clip 24 macht deine Dateien nutzbar. In extractor.py liest du PDF-Text mit pdfminer.six aus und setzt PyPDF2 als Fallback ein. TXT und CSV werden mit Python eingelesen. Die zentrale Funktion extract_any(path) bündelt die Verarbeitung, damit der übrige Agent mit einer gemeinsamen Schnittstelle arbeiten kann.

Clip 25 führt die Teile in main.py zusammen. Dein FastAPI-Backend erhält vier klar getrennte Aufgaben:

• / rendert index.html und stellt die Oberfläche bereit.
• /chat baut den Prompt, fragt Ollama ab und aktualisiert den Gesprächsspeicher.
• /upload speichert die hochgeladene Datei, ruft extract_any auf und setzt den Datei-Kontext.
• /reset löscht Gesprächsspeicher und Datei-Kontext für einen neuen Start.

Clip 26 gestaltet mit index.html den Zugang im Browser: Chat-Container, Eingabefeld und Senden-Button sowie eine Dropzone für Drag & Drop, ein Datei-Button und ein Upload-Button. Über /static/app.js bindest du die zugehörige JavaScript-Logik ein.

Clip 27 setzt diese Logik in app.js um. DOMContentLoaded ruft /reset auf, damit jeder Reload mit einem frischen Chat beginnt. sendMsgInner sendet Nachrichten an /chat; uploadFileInner überträgt Dateien an /upload und zeigt eine Meldung wie „Du kannst jetzt Fragen stellen“. Die Drag-&-Drop-Events verhindern, dass dein Browser ein hineingezogenes PDF direkt öffnet, statt es für den Upload zu verwenden.

Teil B, Clips 28–30: Du prüfst Chat und Zusammenfassungen

Clip 28 bringt deinen Agenten erstmals in den Browser. Du aktivierst die virtuelle Umgebung mit source venv/bin/activate und startest Uvicorn mit uvicorn app.main:app –host 0.0.0.0 –port 8000. Anschließend öffnest du den Agenten über die Server-IP an Port 8000 und testest eine erste Begrüßungsnachricht ohne Datei.

Clip 29 prüft den Weg vom Upload zur Antwort. Du lädst http_https_testtext.txt über die Dropzone beziehungsweise den Upload hoch und lässt den Inhalt in fünf Stichpunkten zusammenfassen. Am Thema HTTP versus HTTPS siehst du, wie sich die Antwort am bereitgestellten Text orientiert.

Clip 30 wiederholt den Ablauf mit photosynthese_testtext.pdf und differentialrechnung_testtext.pdf. Du lädst die beiden PDFs nacheinander hoch und forderst jeweils fünf Stichpunkte an. Der Agent arbeitet dabei ausschließlich mit den extrahierten Texten, ohne Internet. So testest du nicht nur den Chat, sondern die gesamte Verarbeitungskette deiner lokalen Anwendung.

Dein Offline-KI-Agent startet automatisch und läuft dauerhaft im LAN

Ein manueller Test ist der Zwischenschritt. Teil C mit Clip 31 macht daraus einen Dienst, den du nach einem Serverstart nicht erst wieder im Terminal aufrufen musst. Dafür legst du ki-agent.service unter /etc/systemd/system/ an und trägst User, WorkingDirectory, PATH und ExecStart ein.

Mit sudo systemctl daemon-reload lädst du die Dienstkonfiguration neu. sudo systemctl enable ki-agent.service aktiviert den Autostart, und sudo systemctl start ki-agent.service startet den Agenten. Du prüfst den Status und testest anschließend im Browser, dass die Anwendung ohne manuelles Starten erreichbar ist. Optional verfolgst du die laufenden Meldungen mit journalctl -u ki-agent.service -f.

Damit schließt sich der Weg aus den drei Modulen: Du hast einen KI-Server aufgebaut, Ubuntu installiert und per SSH administriert, NVIDIA-Treiber und CUDA eingerichtet, Modelle über Ollama geladen und eine eigene Anwendung programmiert. Dein Ergebnis ist ein dauerhaft laufender Offline-KI-Agent mit Chat, Upload und Reset, der nach dem Boot automatisch im eigenen LAN bereitsteht.

Du erhältst digitalen Zugang und kannst direkt anfangen

Kurs 1 – Dein eigener Offline-KI-Agent wird ausschließlich digital im Mitgliederbereich bereitgestellt. Laut Anbieter erhältst du nach dem Kauf direkt Zugang zu den Videoinhalten und kannst ohne Versandwartezeit starten. Du kannst heute noch mit dem Intro und Clip 1 beginnen und deinen Hardware-Aufbau vorbereiten.

Hinter der Kursmarke NeiFlex Academy steht NeiFlex IT, ein österreichischer IT-Anbieter mit eigenem Hardware- und Zubehör-Shop. Dieser praktische Hardware-Hintergrund passt zum Kursweg, der nicht erst bei einem fertig eingerichteten Server beginnt, sondern bereits bei Komponentenwahl, Einbau und erster Inbetriebnahme. Der Anbieter stellt außerdem den Schutz personenbezogener Daten im Rahmen der gesetzlichen Vorschriften ausdrücklich in den Vordergrund.

Wenn du deine KI nicht nur lokal ausprobieren, sondern vom Server bis zur eigenen Browser-Anwendung aufbauen möchtest, bietet dir der Kurs dafür einen durchgehenden Arbeitsweg. Du folgst konkreten Schritten, prüfst die einzelnen Bausteine und bringst sie schließlich als automatisch startenden Dienst zusammen.

Inhalt und Aufbau im Überblick

Häufige Fragen zu Kurs 1 – Dein eigener Offline-KI-Agent