Coinbase avslører hvordan én konfigurasjonsfeil utløste et 50-minutters driftsavbrudd

Coinbase forklarer hva som gikk galt

Kryptobørsen Coinbase (Nasdaq: COIN) har identifisert programvarefeilen bak forrige ukes avbrudd som gjorde at kunder ikke kunne fullføre overføringer, foreta kjøp med Coinbase Card og få tilgang til flere onchain-tjenester i omtrent 50 minutter.

Ifølge en postmortem publisert 21. juli rullet ingeniører ut det som fremsto som en rutinemessig oppdatering med lav risiko, da en uoppdaget navnekollisjon for Kubernetes-ressurser gjorde at oppdateringen endret feil nettverkskomponent.

Coinbase sa:

“Dette skyldtes en utilsiktet feilkonfigurasjon av en viktig nettverkskomponent som følge av en rutinemessig konfigurasjonsoppdatering. På intet tidspunkt var kundemidler i fare.”

Kubernetes er programvare Coinbase bruker for å organisere og kjøre applikasjoner på tvers av skyinfrastrukturen sin. Navnekollisjonen gjorde at oppdateringen endret deler av selskapets Istio ingress-gateway i stedet for bare den tiltenkte komponenten. Gatewayen fungerer som en trafikkdirigent og dirigerer forespørsler mellom Coinbases interne tjenester.

Da gatewayen gikk ned, kunne systemene som er ansvarlige for å behandle handler, overføringer, oppgjør og betalingsautorisasjoner ikke lenger kommunisere.

Kort avvist og overføringer stoppet opp

Forstyrrelsen påvirket Coinbases plattformer for privatkunder, institusjonelle kunder og utviklere fra omtrent 12:37 ET til 13:25 ET.

Noen privatkunder kunne ikke fullføre innskudd, uttak eller transaksjoner utenfor plattformen. Overføringer som allerede var i gang, så ut til å stå fast, men ble behandlet etter at tjenesten var tilbake. Debetkjøp med Coinbase Card ble avvist, mens kredittkortkjøp fortsatte.

Avbruddet avbrøt også onchain-swaps via Coinbase DEX på Base og Solana. Kunder av Coinbase Exchange og Prime opplevde forsinkede eller mislykkede overføringer og oppgjør, mens kunder på utviklerplattformen ikke kunne onboarde brukere, flytte midler eller bruke onramp-tjenester.

Konsekvensene understreker den økende betydningen av pålitelighet når Coinbase utvider seg utover spot-handel med krypto. De planlagte «everything exchange»-produktene, inkludert tokeniserte aksjer og evigvarende futures, utvider bredden av finansiell aktivitet som er avhengig av selskapets infrastruktur.

Coinbase har også beskrevet planer om å gjøre plattformen til et bredere finansielt knutepunkt, med nye tjenester for trading, betalinger og pengehåndtering som spenner over aksjer, derivater, stablecoin-betalinger og utviklerverktøy. Den utvidelsen øker innsatsen når delt infrastruktur svikter.

Hvorfor gjenopprettingen tok lengre tid enn forventet

Gatewayen ble gjenopprettet kl. 13:20 ET, og Coinbase erklærte hendelsen mitigert tre minutter senere. Gjenværende transaksjonskøer ble ryddet i løpet av de påfølgende timene.

Gjenopprettingen tok lengre tid fordi Coinbases utrullingsverktøy var avhengige av den feilede gatewayen. Ingeniørene kunne ikke bruke den standard tilbakeføringsprosessen og lanserte i stedet en nødutrulling manuelt via selskapets skyleverandør ved hjelp av midlertidig privilegert tilgang.

Coinbase legger nå til kontroller for å blokkere navnekonflikter, skiller gjenopprettingsverktøy fra infrastrukturen de administrerer, og tester nødtilgangsprosedyrer oftere.

Coinbase understreket:

“Målet vårt er alltid null nedetid. Vi redesigner aktivt infrastrukturen vår for å sikre at vi, i det svært usannsynlige tilfellet av en ny feil som denne, raskt kan tilbakeføre og gjenopprette.”