Coinbase afslører, hvordan en konfigurationsfejl udløste et 50 minutters nedbrud

Coinbase forklarer, hvad der gik galt

Kryptovalutabørsen Coinbase (Nasdaq: COIN) har identificeret den softwarefejl, der lå bag sidste uges nedbrud, som gjorde det umuligt for kunderne at gennemføre overførsler, foretage køb med Coinbase Card og få adgang til flere on-chain-tjenester i cirka 50 minutter.

Ifølge en efteranalyse, der blev offentliggjort den 21. juli, var ingeniørerne i gang med at implementere en tilsyneladende rutinemæssig opdatering med lav risiko, da en uopdaget navnekollision i Kubernetes-ressourcerne medførte, at opdateringen ændrede den forkerte netværkskomponent.

Coinbase udtalte:

»Dette skyldtes en utilsigtet fejlkonfiguration af en vigtig netværkskomponent som følge af en rutinemæssig konfigurationsopdatering. Kundernes midler var på intet tidspunkt i fare.«

Kubernetes er software, som Coinbase bruger til at organisere og køre applikationer på tværs af sin cloud-infrastruktur. Navnekonflikten mellem ressourcerne medførte, at opdateringen ændrede en del af virksomhedens Istio-ingress-gateway i stedet for kun den tilsigtede komponent. Gatewayen fungerer som en trafikleder, der dirigerer anmodninger mellem Coinbases interne tjenester.

Da gatewayen gik offline, kunne de systemer, der er ansvarlige for at behandle handler, overførsler, afregninger og betalingsgodkendelser, ikke længere kommunikere med hinanden.

Kort blev afvist, og overførsler gik i stå

Afbrydelsen påvirkede Coinbases platforme for detailkunder, institutionelle kunder og udviklere fra ca. kl. 12:37 ET til kl. 13:25 ET.

Nogle detailkunder kunne ikke gennemføre indskud, udbetalinger eller transaktioner uden for platformen. Overførsler, der allerede var i gang, så ud til at være gået i stå, men blev behandlet, efter at tjenesten var genoprettet. Debitkortkøb med Coinbase Card blev afvist, mens kreditkortkøb fortsatte.

Nedbruddet afbrød også on-chain-swaps via Coinbase DEX på Base og Solana. Kunder hos Coinbase Exchange og Prime oplevede forsinkede eller mislykkede overførsler og afregninger, mens kunder på udviklerplatformen ikke kunne tilmelde brugere, overføre midler eller benytte onramp-tjenester.

Denne hændelse understreger den stigende betydning af pålidelighed, i takt med at Coinbase udvider sine aktiviteter ud over spot-handel med kryptovaluta. Selskabets planlagte »everything exchange«-produkter, herunder tokeniserede aktier og evige futures, udvider omfanget af de finansielle aktiviteter, der er afhængige af selskabets infrastruktur.

Coinbase har separat beskrevet planer om at gøre platformen til et bredere finansielt knudepunkt med nye handels-, betalings- og pengestyringstjenester, der dækker aktier, derivater, stablecoin-betalinger og udviklerværktøjer. Denne udvidelse øger risikoen, når den fælles infrastruktur svigter.

Hvorfor genoprettelsen tog længere tid end forventet

Gatewayen blev genoprettet kl. 13:20 ET, og Coinbase erklærede tre minutter senere, at hændelsen var afhjulpet. De resterende transaktionsophobninger blev afviklet i løbet af de følgende timer.

Genoprettelsen tog længere tid, fordi Coinbases implementeringsværktøjer var afhængige af den nedbrudte gateway. Ingeniørerne kunne ikke anvende den standardiserede rollback-proces og iværksatte i stedet manuelt en nødimplementering via virksomhedens cloududbyder ved hjælp af midlertidig privilegeret adgang.

Coinbase indfører nu kontroller for at forhindre navnekonflikter, adskiller genopretningsværktøjerne fra den infrastruktur, de administrerer, og tester procedurerne for nødadgang mere regelmæssigt.

Coinbase understregede:

"Vores mål er altid nul nedetid. Vi er i fuld gang med at omlægge vores infrastruktur for at sikre, at vi i det højst usandsynlige tilfælde af endnu en fejl som denne hurtigt kan tilbageføre og genoprette systemet."