KI im Mittelstand: was sich lohnt, was nicht und wie Sie einsteigen
Im Mittelstand lohnt sich KI vor allem dort, wo Texte entstehen oder gelesen werden: Entwürfe für Angebote und E-Mails, Zusammenfassungen, Übersetzungen und interne Anleitungen. Wenig bringt sie, wenn die Daten unsauber oder die Abläufe ungeklärt sind. Der Einstieg beginnt deshalb bei den Abläufen, dann folgen Regeln und Schulung, erst danach die Werkzeuge. Eine Pflicht gilt für jeden Betrieb, der KI beruflich nutzt: Er muss die KI-Kompetenz seiner Mitarbeitenden fördern.
Aktualisiert am
Wofür nutzen Mittelständler KI heute?
KI ist im Mittelstand angekommen, aber noch nicht in der Breite. Laut Statistischem Bundesamt nutzten 2025 26 % der Unternehmen in Deutschland KI. Bei Unternehmen mit 10 bis 49 Beschäftigten waren es 23 %, bei 50 bis 249 Beschäftigten 36 %.
Aus unserer Erfahrung bewährt sich KI im Betrieb vor allem bei diesen Aufgaben:
Entwürfe schreiben: Angebote, E-Mails und Berichte. Die KI liefert den Entwurf, ein Mensch prüft und gibt frei.
Zusammenfassen: Lange Dokumente und Mail-Verläufe auf das Wesentliche bringen.
Übersetzen: Korrespondenz, Anleitungen und Produkttexte in andere Sprachen und zurück.
Wissen sichern: Interne Anleitungen und FAQs aufbauen, damit Wissen nicht nur in einzelnen Köpfen steckt.
Belege auslesen: Rechnungen und andere Belege erfassen, wenn die Daten sauber sind.
Gemeinsam ist diesen Aufgaben: Die KI macht einen Vorschlag, die Verantwortung bleibt beim Menschen. KI-Antworten können falsch sein. Was an Kunden geht, prüft deshalb vorher jemand, der sich in der Sache auskennt.
Wo lohnt sich KI nicht?
Nicht jede Idee mit KI spart Zeit. Von vier Vorhaben raten wir in der Regel ab:
Automatisierung ohne saubere Daten: Sind Stammdaten, Artikelnummern oder Belege uneinheitlich, automatisiert die KI die Fehler gleich mit. Erst die Daten bereinigen, dann automatisieren.
Ein eigenes KI-Modell trainieren: Das lohnt sich für fast keinen Mittelständler. Es braucht große Datenmengen, technisches Fachwissen und laufende Pflege. Sinnvoller ist es, bestehende Modelle zu nutzen.
KI als Ersatz für fehlende Abläufe: Läuft die Auftragsbearbeitung heute ungeordnet, läuft sie mit KI ungeordnet und schneller. Erst den Ablauf klären, dann KI einsetzen.
Chatbots für komplexe Kundenanfragen: Einfache, wiederkehrende Fragen kann ein Chatbot beantworten. Sobald eine Anfrage Abwägung verlangt, braucht es einen Menschen. Ein schlecht eingerichteter Chatbot schadet dem Verhältnis zum Kunden eher, als dass er hilft.
Wie gelingt der Einstieg?
Ein großer KI-Plan ist für den Anfang nicht nötig. Wichtiger ist die Reihenfolge: erst die Abläufe, dann Regeln und Schulung, erst danach die Werkzeuge.
Am Anfang steht die Frage, wo im Betrieb täglich Zeit verloren geht. Welche Aufgaben wiederholen sich, wo wird abgetippt, gesucht oder nachgefragt? Das sind die Kandidaten für KI.
In unserer KI-Beratung für den Mittelstand geschieht das in einem halbtägigen Assessment. Ergebnis ist eine priorisierte Liste der drei bis fünf Stellen, an denen KI in Ihrem Betrieb wirklich Zeit spart, jeweils mit Aufwandsschätzung.
Ihr KI-Einstieg in fünf Schritten
✓1. Abläufe ansehen: Wo geht täglich Zeit verloren? Welche Aufgaben wiederholen sich?
✓2. Stellen auswählen: Die drei bis fünf Stellen mit dem größten Nutzen festlegen, jeweils mit Aufwandsschätzung. Daten prüfen: Sind sie sauber genug?
✓3. Regeln festlegen: Welche Dienste sind erlaubt, wofür, und welche Daten dürfen nie hinein?
✓4. Mitarbeitende schulen: Passend zur Rolle, mit dokumentierter Teilnahme. Das ist auch der naheliegende Weg für die Pflicht nach Art. 4 KI-Verordnung.
✓5. Werkzeuge einführen: Erst jetzt Dienste auswählen und einrichten, mit Firmenkonten statt privater Konten. Nach einer Testphase behalten, was Zeit spart, und verwerfen, was nicht passt.
Was bremst – und wie lösen Sie es?
Die Gründe für Zurückhaltung sind bekannt. Unternehmen, die KI in Betracht gezogen, aber bisher nicht genutzt haben, nannten dem Statistischen Bundesamt 2025 am häufigsten fehlendes Wissen (72 %), Unklarheit über rechtliche Folgen (62 %) und Bedenken beim Datenschutz (60 %).
Unsicherheit beim Datenschutz: Legen Sie fest, was in ein KI-Werkzeug eingegeben werden darf, und nutzen Sie Dienste mit Firmenkonto und passendem Vertrag. Was dabei gilt, steht im nächsten Abschnitt.
Fehlende Zeit: Klein anfangen, mit ein oder zwei Stellen aus der priorisierten Liste statt mit allem auf einmal.
Private Nutzung ohne Regeln: Ein Verbot greift kaum, wenn jeder einen KI-Assistenten auf dem Handy hat. Auch die Datenschutzkonferenz von Bund und Ländern sieht das Risiko, dass Beschäftigte KI ohne klare Regeln eigenmächtig nutzen. Besser ist es, geeignete Werkzeuge bereitzustellen und die Nutzung zu regeln.
Sorge, das Falsche zu kaufen: Die Modelle ändern sich ständig. Binden Sie sich deshalb nicht früh an einen Anbieter. Wir arbeiten anbieteroffen und wählen mit Ihnen, was zu Ihren Daten und Abläufen passt.
Welche Pflichten gelten?
KI-Kompetenz für alle, die KI beruflich nutzen. Nach Art. 4 der KI-Verordnung ergreifen Anbieter und Betreiber von KI-Systemen Maßnahmen, um die KI-Kompetenz ihres Personals zu unterstützen. Betreiber ist, wer ein KI-System in eigener Verantwortung verwendet, außer im rein privaten Rahmen. Die EU-Kommission bejaht die Pflicht ausdrücklich, wenn Mitarbeitende etwa ChatGPT für Werbetexte oder Übersetzungen nutzen. Seit dem 27. Juli 2026 gilt Art. 4 in der durch die Verordnung (EU) 2026/1744 geänderten Fassung. Was das konkret heißt, erklärt unser Artikel zur KI-Schulungspflicht nach Art. 4.
Datenschutz bei Eingaben. Sobald personenbezogene Daten in ein KI-Werkzeug gelangen, gilt die DSGVO. Die Datenschutzkonferenz nennt in ihrer Orientierungshilfe unter anderem: betriebliche statt private Konten, bei Cloud-Diensten häufig einen Vertrag zur Auftragsverarbeitung, vorzugsweise Dienste, die Eingaben nicht zum Training verwenden, und dokumentierte interne Regeln, ob und wofür welche KI-Anwendungen genutzt werden dürfen.
Transparenz bei Chatbots und Deepfakes. Seit dem 2. August 2026 gelten die Transparenzpflichten nach Art. 50 der KI-Verordnung. Wer mit einem KI-System direkt kommuniziert, etwa mit einem Chatbot, muss darüber informiert werden, es sei denn, das ist offensichtlich. Deepfakes sind offenzulegen. KI-erzeugte Texte müssen offengelegt werden, wenn sie veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, und nicht von einem Menschen geprüft und redaktionell verantwortet wurden. Den Geltungsbeginn von Art. 50 hat die Digital-Omnibus-Verordnung nicht verschoben. Verschoben hat sie die Pflichten für Hochrisiko-KI, etwa bei der Auswahl von Bewerbern: Sie gelten erst ab dem 2. Dezember 2027.
Ob und in welchem Umfang die KI-Verordnung Ihren Einsatz betrifft, zeigt der KI-Compliance-Kompass der Bundesnetzagentur als erste, unverbindliche Orientierung.
Cloud-Dienst oder eigene KI?
Für die meisten Einsätze reicht ein Cloud-Dienst mit Firmenkonto. Der Einstieg geht schnell, Betrieb und Wartung übernimmt der Anbieter. Liegen die Daten außerhalb der EU, gelten zusätzliche Regeln der DSGVO für Übermittlungen in Drittstaaten.
Für sensible Daten kann eine eigene KI sinnvoll sein, auf einem eigenen Server oder auf einem Server in Deutschland, der nur für Ihren Betrieb läuft. Technisch geschlossene Systeme hält die Datenschutzkonferenz aus Datenschutzsicht für vorzugswürdig. Dafür ist der Aufwand zu Beginn höher, und Updates und Sicherheit müssen organisiert werden. Ob die Leistung offener Modelle für Ihre Aufgaben reicht, sollte vorher getestet werden. Welcher Weg passt, klären wir in der KI-Beratung anbieteroffen und mit Blick auf Ihre Daten.
Häufige Fragen zu KI im Mittelstand
Was kostet der Einstieg in KI?
Das hängt davon ab, wie viele Stellen Sie angehen und ob ein Cloud-Dienst reicht oder eine eigene KI nötig ist. Das halbtägige Assessment hat einen Festpreis. Den nennen wir Ihnen im Erstgespräch.
Brauchen wir Programmierkenntnisse, um KI zu nutzen?
Nein. Für die meisten Einsätze im Mittelstand reicht ein Webbrowser. Wichtiger als Technik sind klare Regeln und das Wissen, wie man KI-Ergebnisse prüft.
Ist ChatGPT im Betrieb erlaubt?
Die KI-Verordnung verbietet das nicht. Ob die Nutzung datenschutzkonform ist, hängt von Konto, Vertrag, Einstellungen und den eingegebenen Daten ab. Die Datenschutzkonferenz nennt dafür betriebliche statt privater Konten, bei Cloud-Diensten häufig einen Vertrag zur Auftragsverarbeitung und Dienste, die Eingaben nicht zum Training verwenden. Zusätzlich gilt die Pflicht zur KI-Kompetenz nach Art. 4 KI-Verordnung.
Welche Pflichten gelten für KMU beim Einsatz von KI?
Wer KI beruflich nutzt, muss nach Art. 4 KI-Verordnung Maßnahmen für die KI-Kompetenz seiner Mitarbeitenden ergreifen, unabhängig von der Betriebsgröße. Bei personenbezogenen Daten gilt die DSGVO. Seit dem 2. August 2026 müssen Menschen erfahren, dass sie mit einer KI kommunizieren, etwa mit einem Chatbot, sofern das nicht offensichtlich ist.
Wie lange dauert der Einstieg?
Das Assessment dauert einen halben Tag. Wie lange die Umsetzung danach dauert, hängt von den ausgewählten Stellen ab und steht in der Aufwandsschätzung.
