Inferenz auf der Spark

1. Was Inferenz bedeutet

Ein Sprachmodell ist vorher trainiert worden. Beim Training hat es aus sehr vielen Textbeispielen gelernt, welche sprachlichen Muster, Begriffe, Schreibweisen und Zusammenhänge häufig zusammenpassen. Im Schulbetrieb wird dieses Modell nicht bei jeder Frage neu trainiert. Es wird verwendet, um aus einer konkreten Anfrage eine konkrete Antwort zu berechnen.

Diese Verwendung heißt Inferenz. Man kann sich das so vorstellen: Ephraim legt der Spark einen sorgfältig zusammengestellten Arbeitszettel hin. Auf diesem Arbeitszettel stehen die aktuelle Frage, erlaubter Kontext, Projektauftrag oder Rollenhinweise und technische Ausgabevorgaben. Die Spark liest diesen Arbeitszettel und berechnet dann Schritt für Schritt die wahrscheinlich passende Fortsetzung.

2. Welche Rolle die Spark spielt

Die Spark ist die schuleigene KI-Hardware. Auf ihr läuft der Inferenzdienst, der sich gegenüber Ephraim wie eine OpenAI-kompatible lokale API verhält. Der Browser spricht aber nicht direkt mit der Spark. Der Browser spricht mit dem Ephraim-Webserver; erst der Webserver prüft Sitzung, Rolle, Rechte, Vault, Projektstatus, Dateien und freigegebenes Basiswissen.

Danach sendet der Webserver nur den für diese Anfrage benötigten Kontext an die Spark. Die Spark berechnet die Antwort und gibt sie als Stream zurück. Sie ist also der lokale Rechenort für das Modell, nicht die Stelle, an der Konten, Rollen, Projekte oder Dateiberechtigungen verwaltet werden.

3. Der Datenweg zur Spark

Der Browser spricht mit dem Ephraim-Webserver. Der Webserver prüft Sitzung, Rolle, CSRF-Schutz, Vault-Verfügbarkeit und Kontext. Erst danach sendet er die für diese Anfrage benötigten Inhalte verschlüsselt an die Spark. Die Spark bekommt also nicht „alles“, was Ephraim gespeichert hat, sondern den zusammengestellten Request-Kontext.

4. Was im Arbeitszettel steht

Für das Modell ist eine Anfrage kein einzelner Satz, sondern ein Paket. Dieses Paket kann mehrere Teile enthalten:

Dieses Paket ist begrenzt. Ein Sprachmodell hat ein Kontextfenster: Es kann nur eine bestimmte Menge Text gleichzeitig berücksichtigen. Darum muss Ephraim auswählen, was für die konkrete Frage relevant ist.

5. Was Tokens sind

Computer rechnen nicht direkt mit Wörtern. Bevor die Spark eine Antwort berechnen kann, wird Text in kleinere Einheiten zerlegt. Diese Einheiten heißen Tokens. Ein Token ist je nach Text ein ganzes kurzes Wort, ein Wortteil, ein Satzzeichen, ein Leerzeichen mit Wortanfang oder ein Stück eines unbekannten Begriffs.

Das Wort „Schülerinnen“ ist für ein Modell nicht zwingend ein einzelnes Token. Der Tokenizer zerlegt es je nach Modell in mehrere Stücke. Auch „KI-Antwort“ besteht nicht einfach aus zwei Schulwörtern, sondern aus den Tokenstücken, die der Tokenizer des Modells kennt. Für Menschen wirkt das ungewohnt, für das Modell ist es praktisch: So verarbeitet es auch seltene Wörter, Namen, Fachbegriffe und zusammengesetzte Wörter.

Wenn Ephraim eine Antwort streamt, erzeugt die Spark intern solche Tokens nacheinander. Der Browser zeigt sie nicht als Tokenliste, sondern wieder als lesbaren Text.

6. Warum Vektoren eine Rolle spielen

Ein Token ist zunächst nur eine Nummer in einem großen Wörterbuch des Modells. Damit das Modell damit rechnen kann, wird diese Nummer in einen Vektor übersetzt. Ein Vektor ist eine Liste von Zahlen. Für Menschen ist diese Liste nicht lesbar wie ein Satz. Für das Modell ist sie eine Rechenform, in der Bedeutungsnähe, grammatische Rollen, Stil und Zusammenhang verarbeitet werden können.

Stark vereinfacht: Wörter oder Wortteile, die in ähnlichen Zusammenhängen vorkommen, bekommen im Rechenraum des Modells verwandte Zahlmuster. „Lehrkraft“, „Unterricht“ und „Klasse“ liegen dort nicht als Karteikarten nebeneinander, aber ihre Vektoren können Beziehungen ausdrücken, mit denen das Modell weiterrechnet.

7. Was im Modell passiert

Ein modernes Sprachmodell besteht aus vielen Rechenschichten. Jede Schicht nimmt die Vektoren auf, verändert sie und gibt sie an die nächste Schicht weiter. Dabei wird nicht nur jedes Token einzeln betrachtet. Das Modell berechnet auch, welche anderen Tokens im Kontext für den nächsten Rechenschritt Gewicht erhalten. Dieses Prinzip wird oft Attention genannt: Das Modell verteilt Aufmerksamkeit auf Teile des Kontextes.

Beispiel: In der Frage „Erkläre das Gedicht und achte auf die letzte Strophe“ muss das Modell den Begriff „das Gedicht“, die Aufgabe „Erkläre“ und den Hinweis „letzte Strophe“ gemeinsam auswerten. Es zählt nicht nur Wörter. Es berechnet, welche Teile des Kontextes für das nächste Stück Antwort wahrscheinlich wichtig sind.

Am Ende entsteht eine Wahrscheinlichkeitsverteilung: Für sehr viele mögliche nächste Tokens schätzt das Modell, wie gut sie als Fortsetzung passen. Dann wird ein Token ausgewählt. Danach wird neu gerechnet: Das gerade erzeugte Token gehört nun zum Kontext, und die Spark berechnet das nächste Token.

8. Warum Antworten flüssig wirken

Die Spark schreibt nicht erst innerlich einen vollständigen Aufsatz und schickt ihn dann ab. Sie erzeugt Text in kleinen Schritten. Jeder Schritt hängt vom bisherigen Kontext und von den bereits erzeugten Tokens ab. Dadurch kann eine Antwort flüssig erscheinen, obwohl sie intern aus sehr vielen Einzelentscheidungen besteht.

Diese Arbeitsweise erklärt auch Grenzen. Wenn der Kontext unklar ist, wenn wichtige Informationen fehlen oder wenn die Aufgabe widersprüchlich ist, kann das Modell trotzdem eine sprachlich glatte Antwort erzeugen. Eine glatte Form ist aber nicht automatisch ein Beweis für sachliche Richtigkeit. Darum weist Ephraim darauf hin, wichtige Informationen zu prüfen.

9. Embeddings: Vektoren für Suche und Kontext

Vektoren spielen in Ephraim nicht nur innerhalb des Sprachmodells eine Rolle. Es gibt auch Embeddings. Ein Embedding ist ein Vektor, der einen Textabschnitt so beschreibt, dass ähnliche Inhalte rechnerisch nahe beieinander liegen. Das hilft bei der Suche nach relevantem Kontext.

Beispiel: In einem Projektmaterial steht „Photosynthese wandelt Lichtenergie in chemische Energie um“. Eine Schülerin fragt später: „Wie machen Pflanzen aus Licht Zucker?“ Diese Frage verwendet andere Wörter, meint aber ein ähnliches Thema. Ein reiner Wortvergleich findet die Stelle schlechter. Ein Embedding erkennt die inhaltliche Nähe zuverlässiger.

Bei freigegebenem Basiswissen, Projektmaterialien oder bestimmten Dateikontexten kann Ephraim solche Vektoren nutzen, um passende Ausschnitte zu finden. Diese Ausschnitte werden dann als Textkontext an die Spark gegeben. Das Embedding beantwortet also nicht selbst die Frage. Es hilft, den richtigen Kontext zu finden.

Technisch ruft Ephraim dafür den lokalen SGLang-Embedding-Dienst school-ui-embedding auf der Spark auf. Der Dienst sieht den freigegebenen Klartextabschnitt oder die konkrete Suchfrage nur für diesen Request, rechnet daraus eine Zahlenliste und speichert sie nicht. Dauerhaft liegen die Textabschnitte und Embedding-Vektoren verschlüsselt auf dem Webserver.

10. Retrieval: Wie Zusatzwissen in die Antwort kommt

Wenn Ephraim Zusatzwissen verwenden darf, läuft der Ablauf vereinfacht so:

1. Eine Quelle wird vorher freigegeben, geprüft und in kleinere Abschnitte zerlegt.
2. Für diese Abschnitte werden Embeddings berechnet und gespeichert.
3. Bei einer Anfrage wird auch die Frage in einen Suchvektor übersetzt.
4. Ephraim sucht nach inhaltlich passenden Abschnitten.
5. Nur ausgewählte Ausschnitte werden in den Request-Kontext übernommen.
6. Die Spark erzeugt daraus zusammen mit Frage und Regeln die Antwort.

Dieses Verfahren wird oft Retrieval-Augmented Generation genannt: Die Antworterzeugung wird durch gefundenen Kontext ergänzt. Wichtig ist die Richtung: Nicht die Spark geht selbst auf die Suche, sondern Ephraim stellt ihr den geprüften Kontext bereit.

11. Die Inferenz nutzt kein Internet

Das Sprachmodell auf der Spark surft nicht im Internet und ruft keine Webseiten ab. Es berechnet Antworten aus dem Prompt und dem Kontext, den Ephraim bewusst mitschickt. Wenn Ephraim Wetter, Kalender, Wikipedia oder freigegebene Quellen verwendet, ruft der Webserver diese Quellen kontrolliert ab, prüft sie und gibt nur den daraus abgeleiteten Kontext weiter.

Dadurch unterscheidet sich Ephraim von öffentlichen Chatbots, bei denen Nutzerinnen und Nutzer oft nicht sehen, welche Infrastruktur oder externen Dienste beteiligt sind. In Ephraim ist die Spark der lokale Rechenort für die Inferenz. Freigegebene Webquellen sind ein Webserver-Thema, kein freier Internetzugang des Modells.

12. Warum es einen kurzen Klartextmoment gibt

Eine KI kann eine Frage nur beantworten, wenn sie die Frage während der Berechnung lesen kann. Deshalb liegen Prompt und freigegebener Kontext während des Requests im Arbeitsspeicher der Spark im Klartext vor. Entscheidend ist, dass dieser Klartextmoment begrenzt ist: nur für die Antwort, auf der Spark, über eine verschlüsselte Verbindung und ohne dauerhafte Prompt-Protokollierung als Modelllog.

Das ist ein wichtiger Unterschied zwischen Speicherung und Verarbeitung. Ruhende private Inhalte werden in Ephraim verschlüsselt gespeichert. Für eine konkrete Antwort müssen die dafür freigegebenen Inhalte kurz verarbeitet werden. Danach wird der Chatverlauf wieder in der dafür vorgesehenen verschlüsselten Form abgelegt.

13. Warum Antworten gestreamt werden

Die Spark erzeugt eine Antwort schrittweise. Ephraim zeigt diese Schritte als Stream, damit du nicht warten musst, bis die ganze Antwort fertig ist. Gleichzeitig speichert Ephraim Stream-Daten nur verschlüsselt im Puffer, damit ein Neuladen oder Wiederverbinden möglich ist, ohne Klartextpuffer in der Datenbank abzulegen.

Streaming passt zur inneren Arbeitsweise des Modells: Weil die Spark Token für Token arbeitet, kann Ephraim die Antwort früh anzeigen. Wenn du eine Antwort abbrichst, stoppt Ephraim die weitere Erzeugung. Der bereits sichtbare Teil ist dann nur der Anfang einer Antwort, nicht notwendigerweise ein vollständig geprüfter Abschluss.

14. Instant und Thinking

Ephraim bietet unterschiedliche Antwortmodi. Der Instant-Modus ist für schnelle, direkte Antworten gedacht. Der Thinking-Modus gibt dem System mehr Raum für strukturierte Bearbeitung komplexerer Aufgaben. Beide Modi ändern nicht das Grundprinzip: Die Spark erhält einen Kontext, zerlegt ihn in Tokens, rechnet mit Vektoren und erzeugt neue Tokens.

Der Unterschied liegt eher in den Vorgaben und Laufzeitentscheidungen: Wie ausführlich soll die Antwort werden? Wie stark soll sie strukturieren? Wie sorgfältig soll sie Zwischenschritte berücksichtigen? Für einfache Fragen ist das oft nicht nötig; für komplexe Aufgaben kann es hilfreich sein.

Die Oberfläche kann im Thinking-Modus zusätzlich einen Denkprozess anzeigen. Gemeint ist eine aufbereitete Aktivitätsansicht: Ephraim zeigt verständliche Arbeitsschritte, Werkzeugaufrufe und Ergebnisse wie eine Wikipedia-Trefferzahl. Das macht sichtbar, wie eine Antwort vorbereitet wurde, ersetzt aber nicht die Modellberechnung selbst und öffnet kein vollständiges internes Modellprotokoll.

15. Aktives Modell und Fähigkeitsgrenzen

In Version 1 nutzt Ephraim für Chatantworten GPT-OSS-120B als lokales Sprachmodell auf der Spark. Die Webanwendung spricht dafür einen lokalen, OpenAI-kompatiblen Inferenzdienst an. Externe Modellanbieter und externe Modellproxys sind nicht Teil dieses produktiven Modellpfads.

Für Version 1 ist das produktive Chatmodell auf Textantworten ausgelegt. Bilder können in Ephraim als Dateien gespeichert, geprüft, angezeigt und über Metadaten in den Kontext eingeordnet werden. Der aktuelle produktive Modellpfad analysiert aber nicht den visuellen Inhalt eines Bildes. Vision-Fähigkeiten sind aktuell nicht freigegeben.

16. Was daraus folgt

Die Spark ist kein Mensch, kein Lexikon und kein Browser. Sie ist ein sehr großes lokales Rechensystem, das aus Tokens, Vektoren, Kontext und gelernten Modellgewichten sprachliche Fortsetzungen berechnet. Das kann erstaunlich hilfreich sein, weil viele Muster der Sprache und des Wissens in den Modellgewichten angelegt sind. Es bleibt aber eine Wahrscheinlichkeitsberechnung.

• Gute Prompts helfen, weil sie den Kontext klarer machen.
• Freigegebene Materialien helfen, weil sie relevante Informationen in den Arbeitszettel bringen.
• Embeddings helfen, weil sie passende Ausschnitte auch bei anderen Formulierungen finden können.
• Die Spark nutzt kein Internet, sondern den von Ephraim gelieferten Kontext.
• Antworten müssen geprüft werden, besonders bei Fakten, Rechnen, Quellen und wichtigen Entscheidungen.