Wenn Ihre Website hinter Cloudflare läuft, lohnt sich ein Blick in den Kalender: Am 15. September 2026 ändert Cloudflare die Standardeinstellungen dafür, welche KI-Crawler auf Websites zugreifen dürfen. Das klingt technisch, hat aber einen sehr konkreten Effekt. Im ungünstigsten Fall sperren Sie mit einer gut gemeinten Einstellung aus Versehen Google aus.
Wir erklären kurz und verständlich, was sich ändert, wen es betrifft und was Sie vorher einmal prüfen sollten!
Stichtag 15. September 2026: Das ändert sich bei Cloudflare!
Cloudflare hat eine Änderung am 1. Juli 2026 angekündigt mit ihrem “Content Independence Day”-Jubiläum angekündigt. Statt eines einzelnen Schalters nach dem Muster "KI-Bots blockieren, ja oder nein" gibt es künftig drei Kategorien. Ab dem 15. September gilt: Crawler der Typen Training und Agent werden auf Seiten mit Werbung standardmäßig blockiert, Search bleibt erlaubt.
Zwei Dinge sind dabei wichtig, damit keine Panik entsteht. Der automatische Block betrifft erstens nur Seiten, die tatsächlich Werbung anzeigen, nicht Ihre komplette Website. Und er gilt zweitens vor allem für neue Domains, neu angelegte Websites bestehender Kunden und bestehende Gratis-Konten ohne eigene Einstellungen. Wer als zahlender Kunde bereits eine eigene Konfiguration gesetzt hat, wird nicht automatisch umgestellt.
Search, Agent und Training: die drei Cloudflare-Crawler-Modelle kurz erklärt
Search: sammelt Ihre Inhalte, um später Suchanfragen zu beantworten. Das ist der klassische Crawler, der Ihnen Besucher zurückbringt, und bleibt deshalb standardmäßig erlaubt.
Agent: handelt in Echtzeit für eine einzelne Person, etwa wenn ein KI-Assistent gerade Ihre Preisseite abruft, während jemand vor einer Kaufentscheidung steht.
Training: zieht Ihre Inhalte ab, um damit ein KI-Modell zu trainieren. Genau das möchten viele Seitenbetreiber nicht.
Dahinter steht derselbe Wandel, den wir schon bei den AI Overviews und ihren Folgen für SEO und Traffic beschrieben haben: Die Suche wird zunehmend zur Antwortmaschine, und automatisierter Zugriff auf Inhalte ist längst nicht mehr nur der klassische Suchmaschinen-Crawler.
Der wichtigste Punkt: Ein Training-Block kann Google mit treffen
Hier liegt das eigentliche Risiko. Manche Crawler erledigen Suche und Training in einem Rutsch. Cloudflare bewertet einen Crawler nach allem, was er tut, und die strengste Regel gewinnt. Wer also Training blockiert, blockiert damit auch Crawler, die Suche und Training zugleich erledigen.
Googlebot ist genau so ein Fall, ebenso Applebot und BingBot. Sperren Sie Training (auch über die alte Sammelfunktion "Block AI bots"), riskieren Sie, denselben Googlebot auszusperren, der Ihre Seite für die normale Google-Suche indexiert. Das kann Ihre Sichtbarkeit spürbar kosten, worauf auch Search Engine Journal hinweist. Cloudflare benennt diesen Zielkonflikt offen, kann ihn aber nicht allein lösen, solange Google Suche und Training in einem einzigen Bot bündelt.
So prüfen Sie Ihre Cloudflare Einstellungen vor dem Stichtag
So gehen Sie laut Cloudflares Dokumentation vor:
Im Cloudflare-Dashboard anmelden und die betreffende Domain auswählen.
In den Sicherheitseinstellungen den Bereich Configure AI bot policies öffnen.
Für Search, Agent und Training festlegen, was gelten soll. Je Kategorie gibt es drei Stufen: überall blockieren, nur auf Werbeseiten blockieren oder erlauben.
Wer an den neuen Voreinstellungen nichts geändert haben möchte, kann bis zum 15. September in den Sicherheitseinstellungen widersprechen.
Speichern.
Ein Hinweis: Die alte Option "Block AI bots" wird zum 15. September abgelöst. Wenn Sie sie aktiv haben, prüfen Sie, ob dadurch künftig auch Suchcrawler mit blockiert werden.
Cloudflare bietet darüber hinaus noch feinere Werkzeuge an, etwa Abstufungen dafür, was ein Bot mit Ihren Inhalten tun darf, sowie eine Bot-Übersicht für Enterprise-Kunden.
Unsere Empfehlung zur neuen Cloudflare KI-Crawler-Regelung
Also: Prüfen ist besser als aussitzen. Wer auf Google-Sichtbarkeit angewiesen ist, sollte Search bewusst erlauben und beim Blockieren von Training an die Nebenwirkung für kombinierte Crawler denken. Die Grundlagen dazu, von der Crawlbarkeit bis zur Indexierung, fassen wir auf unserer Seite zur technischen Suchmaschinenoptimierung zusammen. Wer zusätzlich in KI-Suchsystemen auftauchen möchte, sollte Agent-Crawler getrennt betrachten.
Besonders heikel ist, dass viele den Effekt gar nicht bemerken. Nach einer McKinsey-Untersuchung (Basis: eine kleine CMO-Befragung, Stichprobe rund 30) vom Oktober 2025 verfolgen nur rund 16 Prozent der Marken ihre Sichtbarkeit in der KI-Suche systematisch. Wer nicht misst, sieht einen Traffic-Verlust oft erst, wenn er schon eingetreten ist. Ein kurzer Blick in die Einstellungen vor dem 15. September erspart genau das.
Nicht verzagen, projx fragen!
Die neue Cloudflare-Regel gibt Ihnen mehr Kontrolle über KI-Crawler, verlangt dafür aber eine bewusste Entscheidung. Das größte Risiko ist nicht das Blockieren von KI-Training an sich, sondern die stille Nebenwirkung, damit auch Google auszusperren. Ein Blick in die Einstellungen vor dem 15. September genügt in den meisten Fällen schon.
Sie sind unsicher, wie Sie Ihre Crawler-Steuerung mit Ihren Zielen in Suche und KI-Sichtbarkeit vereinbaren? Wir schauen gemeinsam mit Ihnen auf Ihre Konfiguration und entwickeln eine KI-gestützte SEO- und GEO-Strategie, die klassische und generative Suche zusammendenkt. Sprechen Sie uns für eine unverbindliche Beratung an.
Häufige Fragen zum Cloudflare Update
Wird meine ganze Website blockiert?
Nein. Der automatische Block betrifft nur Seiten mit Werbung und vor allem neue oder Gratis-Konten ohne eigene Einstellungen. Search bleibt erlaubt.
Kann ein Training-Block wirklich Google aussperren?
Ja. Weil Googlebot für Suche und Training zugleich crawlt und die strengste Regel greift, kann eine Training-Sperre den Googlebot mit blockieren. Das gilt auch für Applebot und BingBot.
Wie widerspreche ich den neuen Voreinstellungen?
In den Sicherheitseinstellungen Ihrer Domain, jederzeit bis zum 15. September.
Was passiert mit "Block AI bots"?
Diese Option wird am 15. September abgelöst. Prüfen Sie, ob sie künftig auch Suchcrawler mit erfasst.
Quellen
Cloudflare Blog, "Your site, your rules: new AI traffic options for all customers", 1. Juli 2026 (aktualisiert 15. Juli 2026), Jin-Hee Lee und Bryan Becker. https://blog.cloudflare.com/content-independence-day-ai-options/
Cloudflare Docs, "Block AI Bots" (Bots, Additional configurations), zuletzt aktualisiert 1. Juli 2026. https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/
Search Engine Journal, "Cloudflare's AI Crawler Rules Can Block Googlebot", Matt G. Southern, 2. Juli 2026. https://www.searchenginejournal.com/cloudflares-ai-crawler-rules-can-block-googlebot/581385/
TechCrunch, "Cloudflare's new policy pushes AI companies to pay for publishers' content", 1. Juli 2026. https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/
Technology.org, "Cloudflare Sets Deadline for Mixed AI Crawlers", 3. Juli 2026. https://www.technology.org/2026/07/03/cloudflare-blocks-mixed-use-ai-crawlers/
McKinsey & Company, "New front door to the internet: Winning in the age of AI search", 16. Oktober 2025 (Angabe zu rund 16 Prozent messender Marken, CMO-Befragung n rund 30). https://www.mckinsey.com/capabilities/growth-marketing-and-sales/our-insights/new-front-door-to-the-internet-winning-in-the-age-of-ai-search
