Lokales LLM: Daten bleiben im Haus
Viele Firmen haben Cloud-KI per Richtlinie gestoppt, weil niemand sagen kann, wo die Eingaben landen. Ein Sprachmodell auf eigener Hardware beantwortet diese Frage mit dem Aufbau selbst. Die Richtlinie bleibt, wie sie ist.
- Lokales LLM
- Ein lokales LLM ist ein großes Sprachmodell, das auf eigener Hardware oder in einer fest zugeordneten Umgebung läuft, ohne dass Eingaben an einen externen Dienst gehen. Betriebsdaten verlassen das eigene Netz nicht, was sich mit Richtlinien verträgt, die das Weitergeben von Daten untersagen. Im Englischen heißt derselbe Aufbau LLM on premise.
Verboten ist selten die KI. Verboten ist der Datenabfluss.
Wer die eigene IT-Richtlinie nachliest, findet meist einen Satz wie: Betriebsdaten dürfen das Unternehmen nicht verlassen. Generative KI wird darin selten genannt.
Es hakt an einer offenen Frage: Wohin geht eine Eingabe, wie lange bleibt sie dort, und trainiert jemand damit? Solange das niemand beantworten kann, bleibt der Antrag liegen.
Läuft das Modell im eigenen Netz, beantwortet der Aufbau die Frage von selbst. Das ist ein kürzerer Weg als eine Verhandlung über die Richtlinie.
Cloud oder lokal ist die falsche erste Frage.
Vier Punkte entscheiden, ob ein Aufbau Ihre Richtlinie erfüllt. Stimmen alle vier, tut es manchmal auch ein Cloud-Dienst.
Wo wird verarbeitet
Physisch: welches Land, welcher Server. Mit Standardeinstellungen landen Anfragen öfter in einer anderen Region, als man denkt.
Was bleibt liegen
Eingabeverlauf, Protokolle, Zwischenspeicher. Gelöscht heißt oft nur: an dieser einen Stelle gelöscht.
Wird damit trainiert
Das steht im Vertrag und in den Einstellungen der Verwaltungsoberfläche. Eines von beiden reicht nicht.
Wer kann es belegen
Fragt die Revision nach: Müssen Sie beim Anbieter anfragen, oder zeigen Sie das eigene Protokoll und sind fertig?
Drei Aufbauarten für ein lokales LLM
Keine davon ist immer richtig. Es entscheidet, wie heikel die Daten sind und welche Qualität Sie brauchen.
Vollständig lokal
Eigene Hardware, eigenes Netz: ein offenes Modell auf einem GPU-Server bei Ihnen, betrieben mit vLLM oder Ollama. Betriebsdaten verlassen das Netz nicht. Die Wahl für Personalakten, Rechtsabteilung und Konstruktionsdaten.
Dedizierte Umgebung
Eine fest zugeordnete Umgebung in einer EU-Region, vertraglich ohne Training auf Ihren Daten. Aktuelle kommerzielle Modelle bei festem Verarbeitungsort.
Gemischt
Heikle Daten lokal, allgemeine Texte extern. Eine Regel entscheidet, was wohin geht, und protokolliert die Entscheidung. In der Praxis der häufigste Fall.
Was sich gegenüber dem üblichen Aufbau ändert
Dieselbe Funktion, eine andere Antwort bei der nächsten Prüfung.
| Punkt | Üblicher Aufbau | Ohne Datenabfluss |
|---|---|---|
| Ablage der Dokumente | Zusammengezogen in einem externen Speicher | Bleiben auf dem eigenen Dateiserver, nur der Index wird gebaut |
| Transkription von Gesprächen | Aufnahmen gehen an einen externen Dienst | Läuft auf der eigenen GPU, die Aufnahme bleibt im Netz |
| Modell | API eines Anbieters | Offenes Modell auf eigener Hardware |
| Suchindex | Externe Vektordatenbank | Im eigenen Netz, Löschungen erledigen Sie selbst |
| Frage der Revision | Antwort nach Rückfrage beim Anbieter | Eigenes Protokoll zeigen, sofort |
| Modellwechsel | Wenn der Anbieter es entscheidet | Wenn Sie es entscheiden, mit etwas mehr Aufwand |
Seitlich scrollen für alle Spalten →
Wann ein lokales LLM die falsche Wahl ist
Wir wollen keinen Aufbau verkaufen, sondern ein System, das läuft. Passt lokal nicht, sagen wir das im Erstgespräch.
Ein Grund bleibt trotzdem oft bestehen: Der Antrag geht durch, und bei der nächsten Prüfung antworten Sie selbst.
Sprache bleibt im Haus, seit Monaten im Betrieb
Im Meeting-Projekt läuft die Spracherkennung auf eigener Hardware. Besprechungen enthalten Personalfragen, Preise und Pläne, die noch niemand kennen soll. Sie außerhalb des Netzes zu verarbeiten war keine Option.
Der Abgleich der Namen läuft gegen die interne Mitarbeiterliste. Wer welche Aufgabe übernommen hat, muss niemand außerhalb wissen.
Details stehen in der Fallstudie Meeting-Dashboard. Wie ein mehrsprachiges Wissenssystem aussieht, bei dem Index und Suche im Haus bleiben, zeigt die Fallstudie Wissensagent.
Lokales LLM: häufige Fragen
Verwandte Themen
Sagen Sie uns, an welchem Satz Ihrer Richtlinie es hängt.
In dreißig Minuten sagen wir Ihnen, welcher Aufbau durchgeht. Reicht die Cloud, sagen wir auch das.