ChatPDF — KI-gestützter PDF-Assistent
Backend-Entwickler · Abschlussprojekt
Das Problem
Wer ein 140-seitiges PDF vor sich hat, kann ihm keine Frage stellen — Lesen ist die einzige Schnittstelle. Das Projekt sollte ein Dokument beantwortbar machen: im Chat, als Zusammenfassung, als Quiz — und das auch für gescannte und handschriftliche Seiten, nicht nur für sauberen digitalen Text.
Rahmenbedingungen
- Kein Budget für gehostete Inferenz — jedes Modell musste auf der Hardware des Teams laufen.
- Antworten mussten auf das Quelldokument zurückführbar sein statt erfunden — ein reines Sprachmodell scheidet damit aus.
- Sechs Personen, ein Semester, und am Ende eine akademische Verteidigung.
Zentrale Entscheidungen
Retrieval-Augmented Generation anstelle von reines Fine-Tuning
Ein feinabgestimmtes Modell kennt nur seine Trainingsdaten und kann nichts über ein PDF sagen, das vor fünf Minuten hochgeladen wurde. Retrieval legt dem Modell das Dokument zum Fragezeitpunkt vor — und macht die Antwort damit am Original überprüfbar.
QLoRA auf einem 7B-Modell anstelle von vollständiges Fine-Tuning
Vier-Bit-Quantisierung und Low-Rank-Adapter brachten das Training in Reichweite der tatsächlich verfügbaren GPUs. Acht Konfigurationen wurden verglichen; Mistral-7B schnitt am besten ab.
Ein kleines, von Grund auf trainiertes CNN anstelle von VGG19, ResNet50, Xception und EfficientNetV2
Für die Handschrifterkennung wurden siebzehn Architekturen trainiert und gemessen. Die großen vortrainierten Netze schnitten durchweg schlechter ab als ein zweckgebautes dreischichtiges CNN — Xception erreichte 0,34 Trainingsgenauigkeit, das kleine Modell 0,88 im Test.
Eine KI-gestützte PDF-Anwendung, die den Umgang mit Dokumenten neu denkt, entstanden als unser Abschlussprojekt an der Arab International University (Team von sechs).
Funktionen: mit dem PDF chatten über LLMs und Retrieval-Augmented Generation; Zusammenfassung umfangreicher Dokumente; OCR für handschriftliche Bilder; interaktive Quiz-Erzeugung aus PDF-Inhalten (MQAG-Framework); Audio-zu-Text-Transkription von Vorlesungen mit Whisper; PDFs bearbeiten, zusammenführen, teilen und konvertieren; Nutzerprofile und ein Admin-Dashboard.
Ich habe die Backend-Infrastruktur sowohl für die mobile Anwendung als auch für das Admin-Dashboard gebaut.
Ergebnis
- Retrieval fand die richtige Quellstelle für 96 von 100 Testfragen unter den ersten drei Treffern
- Das beste Fine-Tuning (Mistral-7B) erreichte 0,95 BERTScore F1 und 0,64 BLEU über acht verglichene Konfigurationen
- Die Handschrifterkennung erreichte 0,88 Testgenauigkeit, ausgewählt nach dem Training von siebzehn Architekturen
- Verteidigt an der Arab International University im Februar 2024
Technologien
Universitätsprojekt, entstanden während meines B.Sc. an der Arab International University.
Möchten Sie so etwas für Ihr Unternehmen?
Kontakt aufnehmen