Dit is een samenvatting door Gemini van het [Cloudflare-artikel over de storing van 18 november 2025](https://blog.cloudflare.com/18-november-2025-outage/): *** ## Samenvatting Cloudflare Storing 18 November 2025 Op **18 november 2025 om 11:20 UTC** begon het Cloudflare-netwerk aanzienlijke storingen te ondervinden, waardoor internetgebruikers die toegang probeerden te krijgen tot sites van klanten een foutpagina met een **HTTP 5xx-foutcode** te zien kregen. De storing was niet het gevolg van een cyberaanval of kwaadaardige activiteit, maar van een interne softwarefout. ### 1. Oorzaak van de Storing De hoofdoorzaak was een cascade van fouten veroorzaakt door een wijziging in de **machtigingen van een ClickHouse-databasesysteem**. 1. **Wijziging in Database:** Een wijziging om de beveiliging en betrouwbaarheid van gedistribueerde queries te verbeteren, zorgde ervoor dat een query die werd gebruikt voor het genereren van een configuratiebestand, onverwacht dubbele rijen begon terug te geven. 2. **Onaanvaardbaar Groot Configuratiebestand:** Deze query genereerde een **"feature file"** dat wordt gebruikt door het **Bot Management-systeem**. Door de dubbele rijen verdubbelde de omvang van dit bestand. 3. **Systeem Paniek:** De software op de Cloudflare-machines die dit bestand inleest voor verkeersroutering, had een vooraf ingestelde limiet voor de bestandsgrootte. Toen het te grote bestand werd geladen, werd deze limiet overschreden, wat leidde tot een **paniek** in de **core proxy (FL2 Rust code)** en resulteerde in de HTTP 5xx-fouten. 4. **Verwarring:** De storing vertoonde ongebruikelijk fluctuerend gedrag (om de vijf minuten herstelde en faalde het systeem), wat het team aanvankelijk deed vermoeden dat het om een grootschalige DDoS-aanval ging, alvorens de ware oorzaak werd geïdentificeerd. ### 2. Impact De storing trof verschillende kernservices van Cloudflare: * **Kern-CDN en Beveiligingsservices:** Leverden wijdverspreide HTTP 5xx-statuscodes op. * **Workers KV en Cloudflare Access:** Ondervonden ook aanzienlijke storingen, aangezien ze afhankelijk zijn van de core proxy. * **Dashboard:** Was deels niet operationeel, voornamelijk omdat **Turnstile** (gebruikt bij het inloggen) niet beschikbaar was. ### 3. Herstel en Oplossing Het incident werd opgelost door de bron van de fout te isoleren en terug te draaien: * Om **13:05 UTC** werd een tijdelijke oplossing geïmplementeerd voor Workers KV en Cloudflare Access door hen de core proxy te laten omzeilen, waardoor de impact verminderde. * Om **14:24 UTC** werd de aanmaak en verspreiding van het defecte Bot Management-configuratiebestand stopgezet. * Om **14:30 UTC** was het grootste deel van de impact opgelost nadat een correcte, bekende versie van het configuratiebestand globaal was geïmplementeerd. * Om **17:06 UTC** waren alle services hersteld en functioneerden alle systemen weer normaal. ### 4. Vervolgstappen Cloudflare verontschuldigde zich voor de impact en beschouwt deze storing als de ergste sinds 2019. Als vervolgstappen om een dergelijke storing in de toekomst te voorkomen, zijn ze onder andere van plan: * Het **verharden** van de inname van door Cloudflare gegenereerde configuratiebestanden. * Het inschakelen van meer **globale kill switches** voor functies. * Het elimineren van de mogelijkheid dat foutrapporten systeembronnen overbelasten. * Het herzien van alle foutmodi over alle core proxy-modules.