Coinbase avslöjar hur ett konfigurationsfel orsakade ett driftavbrott på 50 minuter

Coinbase förklarar vad som gick fel

Kryptovalutabörsen Coinbase (Nasdaq: COIN) har identifierat det programvarufel som låg bakom förra veckans driftstopp, vilket gjorde att kunderna under cirka 50 minuter inte kunde genomföra överföringar, göra köp med Coinbase Card eller få tillgång till flera on-chain-tjänster.

Enligt en analys som publicerades den 21 juli höll ingenjörerna på att genomföra vad som verkade vara en rutinmässig uppdatering med låg risk när en oupptäckt kollision mellan Kubernetes-resursnamn ledde till att uppdateringen modifierade fel nätverkskomponent.

Coinbase uppgav:

”Detta orsakades av en oavsiktlig felkonfiguration av en viktig nätverkskomponent till följd av en rutinmässig konfigurationsuppdatering. Kundernas medel var aldrig i fara.”

Kubernetes är en programvara som Coinbase använder för att organisera och köra applikationer i sin molninfrastruktur. Namnkonflikten mellan resurserna ledde till att uppdateringen ändrade en del av företagets Istio-ingångsgateway istället för endast den avsedda komponenten. Gatewayen fungerar som en trafikledare som dirigerar förfrågningar mellan Coinbases interna tjänster.

När gatewayen gick offline kunde de system som ansvarar för att hantera transaktioner, överföringar, avräkningar och betalningsgodkännanden inte längre kommunicera med varandra.

Kort avvisades och överföringar avbröts

Störningen påverkade Coinbases plattformar för privatkunder, institutionella kunder och utvecklare från cirka kl. 12:37 till kl. 13:25 (ET).

Vissa privatkunder kunde inte genomföra insättningar, uttag eller transaktioner utanför plattformen. Överföringar som redan påbörjats verkade ha fastnat men behandlades efter att tjänsten återupptagits. Debitköp med Coinbase Card avvisades, medan kreditkortsköp fortsatte.

Avbrottet störde även on-chain-swappar via Coinbase DEX på Base och Solana. Kunder hos Coinbase Exchange och Prime upplevde försenade eller misslyckade överföringar och avvecklingar, medan kunder på utvecklarplattformen inte kunde registrera användare, flytta medel eller använda onramp-tjänster.

Konsekvenserna understryker den växande betydelsen av tillförlitlighet i takt med att Coinbase expanderar bortom spot-handel med kryptovalutor. De planerade produkterna inom ramen för ”everything exchange”, inklusive tokeniserade aktier och eviga terminer, breddar utbudet av finansiella aktiviteter som är beroende av företagets infrastruktur.

Coinbase har separat beskrivit planer på att göra plattformen till en bredare finansiell knutpunkt, med nya tjänster för handel, betalningar och penninghantering som spänner över aktier, derivat, betalningar med stablecoins och utvecklingsverktyg. Denna expansion höjer insatserna när den delade infrastrukturen fallerar.

Varför återställningen tog längre tid än väntat

Gatewayen återställdes kl. 13:20 ET, och Coinbase meddelade tre minuter senare att incidenten var under kontroll. Återstående transaktionsköer hanterades under de följande timmarna.

Återställningen tog längre tid eftersom Coinbases driftsättningsverktyg var beroende av den felaktiga gatewayen. Teknikerna kunde inte använda den vanliga återställningsprocessen utan startade istället manuellt en nöddriftsättning via företagets molnleverantör med hjälp av tillfällig privilegierad åtkomst.

Coinbase inför nu kontroller för att förhindra namnkonflikter, separerar återställningsverktygen från den infrastruktur de hanterar och testar rutinerna för nödåtkomst mer regelbundet.

Coinbase betonade:

”Vårt mål är alltid noll driftstopp. Vi omformar aktivt vår infrastruktur för att säkerställa att vi, i det högst osannolika fallet att ett liknande fel skulle inträffa igen, snabbt kan återställa systemet och återhämta oss.”