Ein robots.txt-Eintrag soll KI-Training bei vier Anbietern sperren
2 Meldungenca. 5 Min. LesezeitQuellen geprüft
In einer Minute im Bild
Google, Microsoft, OpenAI und Anthropic wollen einen gemeinsamen robots.txt-Eintrag gegen KI-Training beachten; Google und Microsoft nennen 2027 als Start.
Microsoft berichtet, dass nordkoreanische Gruppen mit KI falsche Bewerberprofile für Remote-Jobs aufbauen, und nennt konkrete Prüfschritte für Arbeitgeber.
Ein robots.txt-Eintrag soll KI-Training bei vier Anbietern sperren
Google, Microsoft, OpenAI und Anthropic haben am 30. Oktober angekündigt, einen gemeinsamen Eintrag in der robots.txt zu unterstützen, mit dem Website-Betreiber der Nutzung ihrer Inhalte für das Training generativer KI widersprechen können. Grundlage ist ein IETF-Entwurf eines Anthropic-Mitarbeiters mit dem Kennzeichen __usage_ai-training. Google will das Signal Anfang 2027 beachten, Microsoft ab 1. Februar 2027; Anthropic und OpenAI haben noch keinen Termin genannt.
Florians EinordnungBelegt ist eine gemeinsame Absichtserklärung, kein fertiger Standard: Der Entwurf hat bei der IETF ausdrücklich keinen formalen Status, und vor 2027 ändert der Eintrag bei Google und Microsoft nichts. Wichtiger als das Datum finde ich die Nebenwirkung bei Google: Wer das gemeinsame Signal setzt, ohne Google-Extended eigens zu erlauben, verzichtet damit auch auf die Verwendung seiner Inhalte als Quelle in Gemini-Antworten.
Für Ihren Alltag Sofort umstellen müssen Sie nichts; klären Sie bis zum Start mit Ihrer Agentur oder IT, ob Ihre Website-Inhalte vor KI-Training geschützt oder in KI-Antworten sichtbar sein sollen, denn bei Google hängt beides zusammen.
Ganzen Artikel lesen
Bisher musste jeder KI-Anbieter einzeln ausgesperrt werden: Google über Google-Extended, OpenAI über GPTBot, Anthropic über eigene Crawler-Namen. Am 30. Oktober haben vier große Anbieter angekündigt, zusätzlich ein gemeinsames Signal zu beachten. Es steht wie ein normaler Abschnitt in der robots.txt: Die Zeile User-Agent: __usage_ai-training mit Disallow: / drückt aus, dass die gesamte Website nicht für das Training generativer KI verwendet werden soll; einzelne Pfade lassen sich ausnehmen.
Der zugrunde liegende IETF-Entwurf stammt von Kevin Kelley, Anthropic, und hat nach eigener Angabe keinen formalen Status. Er regelt Nutzungswünsche, nicht das Crawling selbst. Allgemeine Regeln für alle Crawler (User-Agent: *) zählen ausdrücklich nicht; wer den neuen Eintrag nicht setzt, äußert keinen Wunsch. Was mit bereits gesammelten Inhalten geschieht, regelt der Entwurf nicht, und private Vereinbarungen gehen ihm vor.
Die Umsetzung unterscheidet sich. Google will das Signal Anfang 2027 beachten und es wie ein Verbot für Google-Extended behandeln, sofern Google-Extended nicht ausdrücklich geregelt ist. Google-Extended betrifft das Training von Gemini und die Verwendung als Quelle in Gemini Apps, nach Google-Angaben aber nicht Aufnahme oder Ranking in der Google-Suche. Microsoft beachtet neue Trainings- und Quelleneinstellungen ab 1. Februar 2027 und trennt beides: Wer das Training sperrt, kann in Copilot-Antworten weiter als Quelle erscheinen. Ab 1. März 2027 wertet Microsoft die älteren Angaben NoArchive und NoCache nicht mehr als KI-Einstellung. Anthropic hat laut Kelley mit der Umsetzung begonnen, OpenAI will das Signal laut Fachberichten in den kommenden Monaten unterstützen; die OpenAI-Mitteilung selbst konnte ich nicht abrufen.
Für Betriebe in DACH: Das deutsche Urheberrecht erlaubt Text und Data Mining an frei zugänglichen Online-Inhalten, außer der Rechteinhaber widerspricht in maschinenlesbarer Form (§ 44b UrhG). Ob dieser Eintrag dafür genügt, ist eine Rechtsfrage, die ich nicht beantworten kann. Google verweist darauf, dass der Verhaltenskodex zur KI-Verordnung robots.txt als vorrangigen Weg für maschinenlesbare Vorbehalte anerkennt.
Microsoft: Nordkoreas Schein-IT-Kräfte bauen Bewerbungen mit KI
Microsoft Threat Intelligence hat am 29. Oktober einen Bericht veröffentlicht, wonach nordkoreanische Gruppen KI breit in ihre Arbeit eingebaut haben. Die Gruppe Jasper Sleet nutzt demnach generative KI, um gefälschte Personen für Remote-Stellen aufzubauen, Lebensläufe zu erstellen und mehrere Scheinidentitäten einheitlich zu führen. Microsoft nennt außerdem veränderte Profilbilder, Videos und Stimmen sowie Hilfe bei Programmiertests und Bewerbungsgesprächen.
Florians EinordnungNeu ist nicht die Masche, vor der der Verfassungsschutz deutsche Firmen schon 2024 gewarnt hat, sondern dass KI die Täuschung schneller und glaubwürdiger macht; laut Microsoft steuern weiterhin Menschen die Abläufe. Der Bericht nennt Europa nicht ausdrücklich, und Microsoft gibt keine Fallzahlen an. Ein einzelnes Videogespräch reicht nach meiner Einschätzung als Echtheitsprüfung nicht mehr, wenn Bild und Stimme verändert werden können.
Für Ihren Alltag Wenn Sie Entwickler oder andere IT-Kräfte remote beauftragen, besonders über Plattformen oder Personaldienstleister, prüfen Sie Identität, Referenzen und Lieferadresse der Arbeitsgeräte, bevor Zugang zu Systemen oder Kundendaten entsteht.
Ganzen Artikel lesen
Microsoft beschreibt in seinem Bericht vom 29. Oktober mehrere nordkoreanische Gruppen, die KI inzwischen im großen Stil einsetzen. Für Arbeitgeber relevant ist vor allem Jasper Sleet: Die Gruppe verschafft sich mit falschen Identitäten echte Remote-Anstellungen. Nach Microsofts Einschätzung haben KI-gestützte Abläufe für Lebensläufe die Vorbereitung solcher Scheinpersonen im vergangenen Jahr schneller und passgenauer gemacht, und KI-Werkzeuge helfen, mehrere Identitäten gleichzeitig glaubwürdig zu führen.
Als Taktiken mehrerer Gruppen nennt Microsoft: Lebensläufe, Biografien und realistisch klingende Antworten für Bewerbungsgespräche erstellen, Hilfe bei Programmiertests und Arbeitsaufgaben sowie veränderte Profilbilder, Videos, Stimmen und Hintergründe. Zugleich betont Microsoft, dass die Operationen von Menschen gesteuert werden und nicht autonom ablaufen.
Die Masche ist in Deutschland bekannt. Das Bundesamt für Verfassungsschutz warnte laut heise im Oktober 2024 vor nordkoreanischen IT-Kräften, die sich über Plattformen wie Upwork, Fiverr und freelancer.com als Freelancer ausgeben, oft als Südkoreaner, Japaner oder Osteuropäer. Eine Berliner Softwarefirma beschäftigte demnach zwei solche Entwickler rund 18 Monate lang. Im Juli 2026 warnte das Auswärtige Amt gemeinsam mit weiteren EU-Staaten, den USA, Kanada, Japan und Südkorea erneut; Beauftragungen können gegen nationales Recht verstoßen.
Microsofts Empfehlungen für die Prüfung von Bewerbern: Beschäftigte von Personaldienstleistern genauer prüfen, Profile in sozialen Netzwerken auf auffällige Ähnlichkeit mit anderen Konten untersuchen, Namen, Adressen und Daten in Lebenslauf und Hintergrundprüfung abgleichen, Referenzen per Telefon oder Video statt nur per E-Mail einholen, die Person in mehreren Videogesprächen sehen und eine echte Telefonnummer, Wohnadresse und digitale Spuren bestätigen.
Für KMU in DACH betrifft das vor allem Agenturen, Softwarehäuser und Betriebe, die Entwicklung oder IT-Betreuung an Freelancer vergeben. Der Bericht nennt keine Zahlen zu Fällen in Europa; das Risiko lässt sich daraus nicht beziffern.
Sie sind Berater für Website-Betrieb und Online-Sichtbarkeit eines mittelständischen Unternehmens. Ich gebe Ihnen unsere aktuelle robots.txt und eine Liste der wichtigsten Bereiche unserer Website. robots.txt: [Inhalt einfügen]. Bereiche: [z. B. Produktseiten, Fachartikel, Preislisten, Referenzen, Pressebereich]. Aufgabe: 1. Erklären Sie in einfachen Worten, welche Crawler und KI-Anbieter unsere robots.txt heute einschränkt und welche nicht. 2. Ordnen Sie jeden Bereich in einer Tabelle ein: Soll er in Suchmaschinen erscheinen, als Quelle in KI-Antworten genutzt werden dürfen, für KI-Training genutzt werden dürfen? Begründen Sie jede Einschätzung mit dem geschäftlichen Zweck des Bereichs. 3. Entwerfen Sie einen Vorschlag für eine angepasste robots.txt mit dem gemeinsamen Eintrag User-Agent: __usage_ai-training und kennzeichnen Sie, dass dieser Eintrag ein IETF-Entwurf ist, den Google und Microsoft erst 2027 beachten wollen. 4. Weisen Sie darauf hin, dass Google den gemeinsamen Eintrag wie ein Verbot für Google-Extended behandeln will, sofern Google-Extended nicht ausdrücklich erlaubt ist. 5. Listen Sie offene Fragen für unsere Rechtsberatung auf. Erfinden Sie keine Crawler-Namen oder Regeln; markieren Sie Unsicherheiten ausdrücklich.
Nutzen Sie ihn, um vor einem Gespräch mit Ihrer Agentur oder IT zu klären, welche Inhalte Sie für KI-Training sperren und wo Sie in KI-Antworten sichtbar bleiben wollen.
Deep Dive
KI-Training sperren, in KI-Antworten sichtbar bleiben: Was Sie entscheiden müssen
Mit dem gemeinsamen robots.txt-Eintrag wird eine Entscheidung einfacher, die viele Betriebe bisher aufgeschoben haben: Dürfen KI-Anbieter mit den eigenen Website-Inhalten ihre Modelle trainieren? Technisch ist das künftig eine Zeile. Die eigentliche Arbeit liegt davor, denn Training, Quellenangabe in KI-Antworten und klassische Suche sind drei verschiedene Dinge, die die Anbieter unterschiedlich behandeln. Die folgenden Schritte sind meine Einordnung, keine Rechtsberatung und kein von mir getestetes Verfahren.
Erstens: den Zweck jedes Website-Bereichs klären. Produktseiten, Leistungsbeschreibungen und Pressetexte sollen meist gefunden und zitiert werden. Ausführliche Fachartikel, Anleitungen oder eigene Datensammlungen sind dagegen oft der Kern dessen, was Ihr Haus von anderen unterscheidet. Für diese Inhalte stellt sich die Trainingsfrage am deutlichsten.
Zweitens: die Kopplung bei Google beachten. Google will den gemeinsamen Eintrag wie ein Verbot für Google-Extended behandeln. Damit entfiele auch die Verwendung Ihrer Seiten als Quelle in Gemini Apps, nicht aber die Google-Suche. Wer Training sperren, aber in Gemini als Quelle erscheinen will, muss Google-Extended ausdrücklich erlauben. Microsoft trennt Training und Quellennutzung dagegen von vornherein.
Drittens: die Grenzen kennen. Der Eintrag wirkt nur bei Anbietern, die ihn beachten, und erst ab deren Starttermin. Bereits gesammelte Inhalte regelt er nicht. Allgemeine Sperren für alle Crawler zählen nicht als Trainingswunsch. Die bisherigen anbieterspezifischen Regeln bleiben gültig und sollten bestehen bleiben.
Viertens: rechtlich einordnen lassen. In Deutschland ist Text und Data Mining an Online-Inhalten erlaubt, solange der Rechteinhaber nicht maschinenlesbar widerspricht. Ob und wie weit ein robots.txt-Eintrag diesen Widerspruch erfüllt, sollte bei wertvollen Inhalten Ihre Rechtsberatung beurteilen, ebenso Vereinbarungen mit Kunden oder Lizenzgebern über deren Material auf Ihrer Website.
Fünftens: Zuständigkeit und Termin festlegen. Oft pflegt eine Agentur die Website, und niemand im Betrieb kennt den Inhalt der robots.txt. Halten Sie fest, wer die Datei verantwortet, und planen Sie eine Prüfung vor Februar 2027, wenn Microsoft startet. Wer bisher NoArchive oder NoCache genutzt hat, sollte bis 1. März 2027 die neuen Microsoft-Einstellungen setzen.
Für den Einstieg reicht eine Liste Ihrer Website-Bereiche mit je einer Zeile zum gewünschten Umgang. Der Prompt dieser Ausgabe hilft, daraus einen Entwurf für das Gespräch mit Agentur oder IT zu machen.
Ein Eintrag in der robots.txt ist schnell gesetzt; vorher sollten Sie wissen, welche Sichtbarkeit Sie damit aufgeben.
Für Ihren Betrieb
Welcher Ablauf lohnt sich bei Ihnen zuerst?
Mit dem kostenlosen KI-Prozess-Check sehen Sie in 15 Minuten, wo in Ihrem Betrieb die meiste Zeit liegen bleibt. Oder wir sehen es uns in 30 Minuten gemeinsam an, kostenlos und ohne Verkaufsgespräch.
.jpg){kind=link}
.jpg){kind=link}