Sprachmodelle im Mittelstand sinnvoll nutzen

Ein Einkaufsleiter möchte Bestellvorschläge prüfen. Die Buchhaltung will Eingangsrechnungen aus PDFs erfassen. Die Geschäftsführung braucht eine schnelle Antwort auf eine Frage zu offenen Forderungen. Genau bei solchen Aufgaben zeigen lokale Sprachmodelle im Mittelstand ihren Wert: KI arbeitet mit den Daten, die ohnehin im Unternehmen entstehen, ohne dass Lohnlisten, Preise oder Finanzdaten zwingend ein externes Rechenzentrum verlassen.

Das klingt zunächst nach einer reinen Datenschutzentscheidung. In der Praxis geht es um mehr. Es geht darum, ob KI im Tagesgeschäft wirklich eingesetzt wird oder nach einem ersten Test wieder verschwindet. Wer Mitarbeitenden keine klare Antwort auf die Frage geben kann, wo Daten verarbeitet werden, schafft keine Akzeptanz. Wer dagegen eine passende Architektur auswählt, kann KI produktiv in Prozesse bringen - nachvollziehbar, kontrollierbar und ohne Overengineering.

Was lokale Sprachmodelle im Mittelstand leisten

Ein lokales Sprachmodell läuft im eigenen Netzwerk oder auf einer dafür vorgesehenen Infrastruktur, die dein Unternehmen kontrolliert. Es verarbeitet Texte, Dokumente und Anfragen dort, wo auch deine Geschäftsdaten liegen. Das Modell kann beispielsweise Belege vorstrukturieren, Informationen aus Dokumenten erkennen, interne Fragen beantworten oder natürliche Sprache in vorbereitete Abfragen für dein ERP übersetzen.

Wichtig ist die Abgrenzung: Ein Sprachmodell ersetzt weder SAP Business One noch klare Prozesse. Es ist kein magischer Knopf für bessere Daten. Wenn Artikelstammdaten ungepflegt sind, Freigaben per Zuruf laufen und Rechnungen in verschiedenen Postfächern landen, übernimmt die KI zunächst nur dieses Chaos in neuer Form.

Ihr Nutzen entsteht dort, wo der Prozess bereits eine erkennbare Struktur hat. Ein gutes Beispiel ist die Eingangsrechnung. Das Modell liest Lieferant, Rechnungsnummer, Betrag, Steuer und mögliche Kontierung aus. SAP Business One prüft anschließend Regeln, Berechtigungen und Freigaben. Der Mensch entscheidet bei Ausnahmen. So sinkt der Erfassungsaufwand, ohne dass Kontrolle verloren geht.

Datenschutz ist eine Architekturentscheidung

Viele Unternehmen behandeln Datenschutz bei KI wie einen Hinweis im Kleingedruckten. Das reicht nicht. Bei Finanzdaten, personenbezogenen Informationen, Kalkulationen oder Kundendaten muss vor dem ersten Anwendungsfall feststehen, welche Informationen das Modell sehen darf, wo sie verarbeitet werden und wer Ergebnisse freigibt.

Für den Mittelstand gibt es dabei drei sinnvolle Betriebsmodelle. Ein in Deutschland gehostetes Modell ist oft der pragmatische Weg, wenn du KI zügig nutzen willst, aber Verarbeitung in einer klar kontrollierten Umgebung erwartest. Ein eigener Zugangsschlüssel zu einem externen Modell kann passen, wenn dein Unternehmen bereits entsprechende Verträge, Vorgaben und eine Datenstrategie hat. Die konsequenteste Variante ist ein vollständig lokales Modell im eigenen Netzwerk. Dann bleiben Daten und Verarbeitung in deiner Infrastruktur.

Die letzte Option schafft maximale Kontrolle, bringt aber auch Verantwortung mit sich. Rechenleistung, Updates, Überwachung und Berechtigungen müssen sauber betrieben werden. Für ein Unternehmen mit wenigen, klaren Anwendungsfällen kann das sinnvoll sein. Wer viele Mitarbeitende schnell anbinden will, fährt mit einer professionell gehosteten Lösung unter deutschen Datenschutzvorgaben möglicherweise wirtschaftlicher. Es kommt nicht auf das technisch spektakulärste Modell an, sondern auf die Lösung, die im Alltag verlässlich läuft.

Datenzugriff strikt begrenzen

Ein lokales Modell sollte nicht einfach Vollzugriff auf das ERP erhalten. Gute Lösungen arbeiten mit klaren Rollen, erlaubten Funktionen und protokollierten Zugriffen. Ein Vertriebsmitarbeiter braucht keine Einsicht in Gehaltsdaten. Die Buchhaltung darf eine Rechnung vorbereiten, aber keine Zahlung ohne Freigabe auslösen. Und eine KI darf Informationen vorschlagen, ohne selbstständig Buchungen zu erzeugen, wenn der Prozess das nicht zulässt.

Diese Regeln sind keine Bremse. Sie machen KI erst betriebsfähig. Denn ein Chatfenster allein ist kein Geschäftsprozess. Erst die Verbindung aus Berechtigung, Prüfung, Protokoll und definierter Aktion sorgt dafür, dass aus einer Antwort eine nutzbare Arbeitserleichterung wird.

Der entscheidende Schritt: KI mit SAP Business One verbinden

Die interessantesten Anwendungsfälle entstehen nicht beim allgemeinen Schreiben von Texten. Sie entstehen, wenn das Modell kontrolliert auf aktuelle Geschäftsdaten zugreifen kann. Dann kannst du etwa fragen, welche Kunden seit 30 Tagen über ihrem Kreditlimit liegen, welche Artikel unter den Meldebestand fallen oder welche Rechnungen auf eine Freigabe warten.

Die Antwort muss dabei aus SAP Business One kommen, nicht aus einer unsicheren Kopie in einer Tabellenkalkulation. Das schafft eine bessere Datenbasis und verhindert, dass Mitarbeitende wieder zwischen ERP, E-Mail, Excel und einzelnen Ablagen springen.

Für diese Verbindung braucht es eine technische Schicht, die Anfragen sicher in erlaubte ERP-Aktionen übersetzt. Ein KI-Agent sollte nicht frei in Datenbanktabellen suchen oder Buchungen nach eigener Interpretation ausführen. Er sollte nur die Funktionen verwenden dürfen, die für seinen Auftrag vorgesehen sind. Genau hier entscheidet sich, ob KI ein kontrollierbares Werkzeug bleibt oder ein neues Risiko schafft.

RConsult setzt dafür mit RC.AI auf einen Assistenten, der SAP Business One per Chat im WebClient, im klassischen SAP Client und über Telegram bedienbar macht. Ergänzend öffnet RC.MCP definierte SAP-Funktionen für KI-Agenten. Entscheidend ist nicht der Kanal, sondern die Kontrolle dahinter: Rechte aus SAP, klare Prozessgrenzen und eine Betriebsform, die zu deinen Datenschutzanforderungen passt.

Mit kleinen Prozessen starten, nicht mit großen Versprechen

Der häufigste Fehler ist der Start mit einem zu großen Ziel. „KI soll unsere Verwaltung automatisieren“ klingt gut, ist aber kein umsetzbarer Auftrag. Besser ist ein Prozess, der häufig vorkommt, klar abgegrenzt ist und heute spürbar Zeit kostet.

Geeignete Einstiege sind die Vorbereitung von Eingangsrechnungen, das Zusammenfassen von Kundenkommunikation, Auskünfte zu Beständen und offenen Vorgängen oder die Unterstützung bei wiederkehrenden ERP-Fragen. Besonders gut funktionieren Aufgaben, bei denen Mitarbeitende bisher Informationen suchen, prüfen und in eine feste Struktur übertragen.

Vor dem Start solltest du vier Fragen beantworten:

• Welche konkrete Aufgabe soll schneller, fehlerärmer oder transparenter werden?
• Welche Daten braucht die KI dafür tatsächlich?
• Welche Entscheidung darf sie nur vorbereiten und welche darf sie auslösen?
• Woran misst du nach vier Wochen, ob sich der Einsatz lohnt?

Diese Fragen halten das Projekt klein genug für schnelle Ergebnisse. Gleichzeitig verhindern sie, dass eine technisch beeindruckende Lösung am echten Arbeitsalltag vorbeigeht. Ein Pilot muss nicht perfekt sein. Er muss zeigen, ob Mitarbeitende Zeit sparen, ob die Ergebnisse ausreichend zuverlässig sind und wo der Prozess nachgeschärft werden muss.

Qualität schlägt Modellgröße

Viele Diskussionen drehen sich um die Größe oder Bekanntheit eines Sprachmodells. Für mittelständische Prozesse ist das selten der wichtigste Punkt. Ein kleineres Modell mit sauberem Zugriff auf aktuelle, geprüfte Daten kann hilfreicher sein als ein großes Modell, das keine Berechtigung kennt und alte Dokumente falsch einordnet.

Qualität entsteht durch gute Eingaben, klare Anweisungen, passende Datenquellen und definierte Prüfungen. Bei einer Rechnungserfassung kann das bedeuten: Das Modell erkennt Felder, gleicht Lieferanten mit Stammdaten ab und markiert Unsicherheiten. Die finale Buchungslogik bleibt im ERP. Das ist weniger spektakulär als vollautomatische Versprechen, aber deutlich näher an einem Prozess, dem deine Buchhaltung vertrauen kann.

Kosten und Betrieb ehrlich betrachten

Ein lokales Sprachmodell ist nicht automatisch günstiger als ein externer Dienst. Eigene Hardware, Wartung und technischer Betrieb kosten Zeit und Geld. Umgekehrt können laufende nutzungsabhängige Gebühren externer Modelle bei wachsender Nutzung relevant werden. Die richtige Rechnung umfasst deshalb nicht nur Infrastrukturkosten, sondern auch eingesparte Bearbeitungszeit, weniger Rückfragen, kürzere Durchlaufzeiten und geringere Fehlerquoten.

Auch die Anforderungen an Verfügbarkeit unterscheiden sich. Ein Modell für interne Wissensfragen darf bei Wartung kurz pausieren. Eine KI, die täglich Rechnungen vorbereitet oder Prozesse im Vertrieb unterstützt, braucht einen klaren Betrieb, Überwachung und einen Ansprechpartner, wenn etwas nicht funktioniert. Wer hier von Anfang an sauber plant, erlebt später keine Überraschungen.

Lokale KI wird dann sinnvoll, wenn sie nicht als Prestigeprojekt behandelt wird, sondern als Teil deiner Prozesslandschaft. Beginne mit einer Aufgabe, deren Ergebnis du messen kannst. Gib dem Modell nur die Daten und Rechte, die es wirklich braucht. Und entscheide erst dann über den Ausbau, wenn dein Team im Alltag spürt: Das spart Arbeit, schafft Transparenz und lässt uns trotzdem die Kontrolle behalten.