On-Premise-KI DSGVO-konform umsetzen: Leitfaden für KMUs

Wer heute KI-Tools produktiv einsetzt, verarbeitet damit häufig mehr als nur abstrakte Texte. Verträge, Kundenkommunikation, interne Prozessdokumente, mitunter Gesundheitsdaten: Bei Nutzung bestimmter Cloud-Dienste können solche Eingaben an Server außerhalb der EU gelangen, was nach Art. 44 ff. DSGVO Drittstaaten-Übermittlungen und damit erhebliche Datenschutzrisiken auslösen kann. Für österreichische Unternehmen ist das kein theoretisches Problem, sondern ein handfestes Compliance-Risiko. Eine DSGVO-konforme On-Premise-KI-Lösung schafft hier strukturelle Abhilfe.

Die gute Nachricht: Seit leistungsfähige Open-Source-Modelle, darunter Llama 3, Mistral und Qwen, zuverlässig lokal betrieben werden können, gibt es einen rechtlich sauberen Weg. Wir bei SERVIT setzen genau solche On-Premise-KI-Lösungen für KMUs in Österreich um und wissen, wo die Fallstricke liegen. Dieser Artikel erklärt, wann eine DSGVO-konforme On-Premise-KI-Lösung die richtige Wahl ist, welche Rechtsschritte konkret nötig sind und welche Modelle sich für den praktischen Einsatz eignen.

Was eine lokal betriebene KI von Cloud-Diensten unterscheidet

Bei Cloud-KI-Diensten wie ChatGPT oder Gemini verlassen die Eingaben das Unternehmen. Sie werden auf fremden Servern verarbeitet, oft in Rechtsräumen außerhalb der EU. Bei einer Inhouse-KI läuft das Modell auf der eigenen Hardware oder einem selbst kontrollierten Server: Die Daten bleiben intern und verlassen das Netzwerk nicht, vorausgesetzt, das System wird vollständig eigenständig betrieben und alle externen Verbindungen werden unterbunden.

Das macht einen entscheidenden Unterschied für bestimmte Anwendungsfälle. Eine Anwaltskanzlei, die Verträge automatisiert analysiert, oder ein Produktionsbetrieb, der interne Qualitätsberichte auswertet: Beide befinden sich mit einem Cloud-Dienst in einer rechtlich heiklen Lage, weil Drittstaaten-Transferrisiken und fehlende Zweckbindung schwer zu belegen sind. Eine lokal betriebene KI-Lösung reduziert diese Risiken strukturell, auch wenn sie nicht automatisch alle DSGVO-Anforderungen erfüllt, etwa zur Zweckbindung oder zur Datenschutz-Folgenabschätzung.

Inhouse-KI ist kein Luxus für Konzerne mehr. Für kleinere und mittlere Modellklassen, etwa 7B- bis 13B-Parameter-Modelle, die mit 16 bis 32 GB RAM lauffähig sind, ist der Einstieg für ein typisches KMU mit vorhandener Server-Infrastruktur heute realistisch. Besonders relevant ist das für Unternehmen mit sensiblen Kundendaten aus Gesundheit, Finanzen oder Recht, für Branchen mit Berufsgeheimnispflichten und für KMUs, die KI einsetzen wollen, ohne eine eigene Compliance-Abteilung zu unterhalten.

Warum die DSGVO On-Premise-KI-Lösungen zur sinnvollen Wahl macht

Die österreichische Datenschutzbehörde stellt klar: KI ändert an den DSGVO-Grundsätzen nichts. Sobald personenbezogene Daten verarbeitet werden, gelten Art. 5 und 6 DSGVO vollumfänglich. Zweckbindung, Datenminimierung, Vertraulichkeit, diese Anforderungen bestehen unabhängig davon, ob ein Mensch oder ein Sprachmodell die Daten verarbeitet.

Kritisch wird es an drei Punkten. Art. 9 DSGVO verlangt eine zusätzliche Rechtsgrundlage, sobald besondere Datenkategorien wie Gesundheitsdaten verarbeitet werden. Art. 22 DSGVO regelt automatisierte Einzelentscheidungen, etwa wenn ein KI-System über den Zugang zu Leistungen entscheidet. Art. 35 DSGVO schreibt eine Datenschutz-Folgenabschätzung vor, wenn das Risiko hoch ist, beim KI-Einsatz ist diese Schwelle schneller erreicht als bei klassischen Systemen.

Das Drittstaaten-Problem ist ein eigenes Kapitel. Daten an US-Anbieter zu schicken, bedeutet nach Art. 44 ff. DSGVO potenziell eine Datenübermittlung in Drittstaaten. Standardvertragsklauseln bieten einen gewissen Schutz, lösen das Problem aber nicht vollständig. Eine DSGVO-konforme On-Premise-KI-Lösung eliminiert dieses Risiko strukturell: Es gibt schlicht keine Übermittlung, keinen Auftragsverarbeiter in den USA, keinen Erklärungsbedarf gegenüber der Aufsichtsbehörde. Diesen Vorteil kauft man sich allerdings nur ein, wenn die technische Umsetzung stimmt.

Open-Source-Modelle für den lokalen Betrieb: Ollama als Einstiegspunkt

Ollama ist ein Werkzeug für den lokalen Betrieb von Sprachmodellen, das diese mit minimalem Aufwand auf eigenen Servern oder in Docker-Containern lauffähig macht. Es unterstützt unter anderem Llama 3, Mistral, Phi-4 und Gemma 3, alles ohne Cloud-Verbindung. Installation und Schnittstellenanbindung sind auch für Entwickler ohne KI-Hintergrund zugänglich; in Laravel-basierte Systeme lässt sich Ollama sauber integrieren.

Für die Modellauswahl gilt: Die richtige Wahl hängt vom Einsatzszenario und der verfügbaren Hardware ab. Hier ein knapper Überblick:

• Llama 3 (8B oder 70B): Universell einsetzbar; die 70B-Variante benötigt mindestens 64 GB RAM oder 40+ GB GPU-Speicher.
• Mistral Small: Effizient und ressourcenschonend, gut für Chat-Anwendungen und interne Suchsysteme; läuft bereits mit 16 GB GPU-Speicher.
• Phi-4 Mini: Kompakt und für schwächere Hardware geeignet, ideal für erste Einsätze auf bestehenden Servern.
• Qwen 2.5 / Qwen 3: Stark bei Code-Aufgaben und strukturiertem Reasoning.

Typische Einsatzszenarien für KMUs sind Dokumentenanalyse, interne Suchsysteme auf Basis von RAG-Architekturen, automatisierte Textzusammenfassungen und Chatbots auf Grundlage interner Wissensdatenbanken. Für kleinere Modelle reicht ein aktueller Server mit 16 bis 32 GB RAM; größere Modelle profitieren erheblich von einer dedizierten GPU.

Technische Schutzmaßnahmen für DSGVO-konforme On-Premise-KI

Art. 32 DSGVO schreibt angemessene technische und organisatorische Maßnahmen vor. Was „angemessen" bedeutet, hängt vom Risikoprofil der jeweiligen Verarbeitung ab. Für den lokalen KI-Betrieb mit personenbezogenen Daten sind drei Bereiche zentral.

Verschlüsselung

Alle internen Verbindungen zum KI-Server laufen über TLS/HTTPS. Daten im Ruhezustand, also Modell-Artefakte, Protokolldateien und etwaige Trainingsdaten, werden mit Verschlüsselung auf Dateiebene gesichert. Das Schlüsselmanagement sollte getrennt organisiert und dokumentiert sein.

Zugriffskontrolle

Ein rollenbasiertes Berechtigungsmodell stellt sicher, dass nur befugte Personen auf definierte Funktionen zugreifen können. Für administrative Zugänge ist Mehrfaktor-Authentifizierung Pflicht. Schnittstellen und Dienste erhalten ausschließlich die minimal nötigen Berechtigungen; das Prinzip der geringsten Privilegien gilt konsequent.

Protokollierung

Ein revisionssicherer Protokollpfad dokumentiert alle Zugriffe und Verarbeitungsvorgänge. Wo technisch sinnvoll, etwa bei Metadaten und Sitzungs-IDs, werden Protokolle pseudonymisiert geführt; Aufbewahrungsfristen und Löschkonzepte sind vorab festzulegen. Ergänzend empfiehlt sich ein Monitoring mit Anomalieerkennung, um ungewöhnliche Zugriffe frühzeitig zu erkennen.

Zur Frage des Hostings: Reines On-Premise auf eigener Hardware bietet die maximale Kontrolle, verlangt aber auch vollen Eigenbetrieb. Ein verwalteter Server in einem österreichischen oder deutschen Rechenzentrum ist für KMUs ohne eigene IT-Abteilung der pragmatische Mittelweg: weniger Eigenaufwand, klarer EU-Rechtsrahmen, klar vereinbarter Auftragsverarbeitungsvertrag mit dem Rechenzentrumsbetreiber. Für Unternehmen im Microsoft-Ökosystem bietet Azure Sovereign Cloud eine weitere Möglichkeit, lokale Datenhaltung sicherzustellen. Entscheidend ist nicht, welche Option technisch maximal ist, sondern welche zum Risikoprofil des Unternehmens passt.

Rechtliche Absicherung: DSFA, AVV und automatisierte Entscheidungen

Die Datenschutz-Folgenabschätzung nach Art. 35 DSGVO ist beim KI-Einsatz fast immer empfehlenswert; bei automatisierten Entscheidungen mit erheblicher Wirkung ist sie sogar verpflichtend. In Österreich gilt zusätzlich die DSFA-Verordnung, die bestimmte Verarbeitungsvorgänge konkretisiert. Eine DSFA durchzuführen ist kein bürokratischer Akt, sondern ein strukturierter Prozess, der hilft, Risiken vor dem Einsatz zu erkennen.

Eine DSFA für KI-Systeme umfasst fünf Schritte: die genaue Beschreibung der Verarbeitung, die Prüfung von Notwendigkeit und Verhältnismäßigkeit, eine systematische Risikoanalyse, die Festlegung von Schutzmaßnahmen und die Bewertung des verbleibenden Restrisikos. Besonders kritisch sind Profiling, automatisierte Klassifizierungen und Entscheidungen über den Zugang zu Leistungen oder Ressourcen, für diese Szenarien ist die Schwelle für erhöhte Risiken schnell erreicht.

Auch bei On-Premise-KI-Lösungen kann ein Auftragsverarbeitungsvertrag erforderlich werden, etwa wenn ein externer Rechenzentrumsbetreiber, ein Wartungsservice oder ein Schnittstellendienst eines Drittanbieters beteiligt ist. Die Pflichtinhalte nach Art. 28 DSGVO sind klar: Weisungsbindung, Vertraulichkeit, technische und organisatorische Maßnahmen, Regelung zu Unterauftragsverarbeitern, Datenlöschung nach Vertragsende und Prüfrechte. Für KI-spezifische Setups kommen drei weitere Punkte hinzu: der ausdrückliche Ausschluss des Modelltrainings mit Kundendaten, eine Regelung zur Speicherung von Eingaben und Ausgaben sowie klare Angaben zur Datenresidenz.

Wie SERVIT solche Lösungen für österreichische KMUs umsetzt

Wir entwickeln lokal gehostete KI-Systeme auf Basis von Ollama und Open-Source-Modellen, eingebettet in bestehende Laravel-Backends oder als eigenständige Anwendungen. Das typische Vorgehen: Zuerst analysieren wir den Datenfluss und identifizieren, welche personenbezogenen Daten wo entstehen und wohin sie fließen. Dann unterstützen wir bei der DSFA, dokumentieren die technischen und organisatorischen Maßnahmen und wählen gemeinsam das passende Modell aus. Abschließend bauen wir die Schnittstellen zu bestehenden Systemen auf, ob ERP, CRM oder internes Dokumentenmanagement.

Der Datenschutzaspekt wird dabei nicht nachträglich eingepflegt, sondern von Beginn an mitgedacht. Das spiegelt sich in einer Arbeitsweise wider, die SERVIT seit vielen Jahren in der Entwicklung datenschutzkonformer Systeme für den österreichischen und deutschsprachigen Markt verfolgt. Christof Servit ist persönlicher Ansprechpartner für jedes Projekt und begleitet es von der ersten Analyse bis zur Inbetriebnahme. Für KMUs in Niederösterreich und Wien bedeutet das auch praktisch: ein erreichbarer Ansprechpartner in der eigenen Zeitzone, vertraut mit den österreichischen Datenschutzanforderungen.

Wer KI einsetzen will, ohne dabei Compliance-Risiken einzugehen, trifft damit keine Selbstverständlichkeit. Es ist eine bewusste Arbeitsweise, die sich in jedem Projekt zeigt.

Fazit: DSGVO-konforme On-Premise-KI-Lösungen für KMUs

On-Premise-KI-Lösungen sind unter der DSGVO nicht nur möglich, sondern oft die rechtlich klarste Option. Für gängige KMU-Szenarien, Dokumentenanalyse, interne Suche, Textzusammenfassung, sind die technischen Voraussetzungen mit verfügbarer Open-Source-Software und überschaubarer Server-Hardware heute realistisch erfüllbar. Wer die rechtlichen Grundlagen von Anfang an mitdenkt, konkret DSFA, AVV und die richtigen technischen Schutzmaßnahmen, baut eine DSGVO-konforme On-Premise-KI-Lösung, die skaliert, ohne später Compliance-Probleme zu verursachen.

Sie möchten wissen, wie eine solche Lösung konkret für Ihr Unternehmen aussehen könnte? Sprechen Sie direkt mit uns, für eine kostenfreie Ersteinschätzung Ihrer Anforderungen.