Coinbase onthult hoe één configuratiefout een storing van 50 minuten veroorzaakte

Coinbase legt uit wat er misging

Cryptobeurs Coinbase (Nasdaq: COIN) heeft de softwarefout geïdentificeerd die ten grondslag lag aan de storing van vorige week, waardoor klanten gedurende ongeveer 50 minuten geen overschrijvingen konden voltooien, geen aankopen konden doen met de Coinbase Card en geen toegang hadden tot verschillende on-chain-diensten.

Volgens een op 21 juli gepubliceerd rapport waren technici bezig met het implementeren van wat een routinematige, laagrisico-update leek te zijn, toen een onopgemerkte naamconflict bij Kubernetes-resources ervoor zorgde dat de update de verkeerde netwerkcomponent wijzigde.

Coinbase verklaarde:

"Dit werd veroorzaakt door een onbedoelde verkeerde configuratie van een belangrijk netwerkonderdeel als gevolg van een routinematige configuratie-update. Op geen enkel moment liepen de gelden van klanten gevaar."

Kubernetes is software die Coinbase gebruikt om applicaties binnen zijn cloudinfrastructuur te organiseren en uit te voeren. Door de naamconflicten bij de resources zorgde de update ervoor dat een deel van de Istio-ingress-gateway van het bedrijf werd gewijzigd, in plaats van alleen de beoogde component. De gateway fungeert als een verkeersregelaar en stuurt verzoeken tussen de interne diensten van Coinbase door.

Toen de gateway offline ging, konden de systemen die verantwoordelijk zijn voor het verwerken van transacties, overschrijvingen, afwikkelingen en betalingsautorisaties niet langer met elkaar communiceren.

Kaarten geweigerd en overschrijvingen vertraagd

De storing had vanaf ongeveer 12:37 uur ET tot 13:25 uur ET gevolgen voor de retail-, institutionele en ontwikkelaarsplatforms van Coinbase.

Sommige retailklanten konden geen stortingen, opnames of transacties buiten het platform voltooien. Overboekingen die al in behandeling waren, leken vast te zitten, maar werden verwerkt nadat de dienst weer beschikbaar was. Aankopen met de Coinbase Card via debet werden geweigerd, terwijl aankopen met creditcards gewoon doorgingen.

De storing onderbrak ook on-chain-swaps via Coinbase DEX op Base en Solana. Klanten van Coinbase Exchange en Prime ondervonden vertragingen of mislukkingen bij overschrijvingen en afwikkelingen, terwijl klanten van het ontwikkelaarsplatform geen gebruikers konden aanmelden, geen geld konden overmaken of geen onramp-diensten konden gebruiken.

Deze gevolgen onderstrepen het toenemende belang van betrouwbaarheid nu Coinbase zich verder uitbreidt dan de spot-handel in cryptovaluta. De geplande „everything exchange“-producten, waaronder tokenized aandelen en perpetual futures, verbreden het scala aan financiële activiteiten dat afhankelijk is van de infrastructuur van het bedrijf.

Coinbase heeft afzonderlijk plannen beschreven om van het platform een breder financieel knooppunt te maken, met nieuwe handels-, betalings- en geldbeheerdiensten die zich uitstrekken over aandelen, derivaten, stablecoin-betalingen en ontwikkelaarstools. Die uitbreiding verhoogt de inzet wanneer de gedeelde infrastructuur uitvalt.

Waarom het herstel langer duurde dan verwacht

De gateway werd om 13:20 uur ET hersteld en Coinbase verklaarde drie minuten later dat het incident onder controle was. De resterende transactieachterstanden werden in de daaropvolgende uren weggewerkt.

Het herstel duurde langer omdat de implementatietools van Coinbase afhankelijk waren van de defecte gateway. Technici konden het standaard rollback-proces niet gebruiken en voerden in plaats daarvan handmatig een noodimplementatie uit via de cloudprovider van het bedrijf, waarbij ze gebruik maakten van tijdelijke bevoorrechte toegang.

Coinbase voegt nu controles toe om naamconflicten te voorkomen, scheidt hersteltools van de infrastructuur die ze beheren en test noodtoegangsprocedures vaker.

Coinbase benadrukte:

"Ons doel is altijd nul downtime. We zijn actief bezig met het herontwerpen van onze infrastructuur om ervoor te zorgen dat we, in het hoogst onwaarschijnlijke geval van een nieuwe storing zoals deze, snel kunnen terugkeren naar de vorige staat en herstellen."