Coinbase ujawnia, jak jeden błąd konfiguracyjny spowodował 50-minutową awarię

Coinbase wyjaśnia, co poszło nie tak

Giełda kryptowalut Coinbase (Nasdaq: COIN) zidentyfikowała błąd oprogramowania, który spowodował awarię w zeszłym tygodniu, uniemożliwiając klientom realizację przelewów, dokonywanie zakupów za pomocą karty Coinbase Card oraz dostęp do kilku usług w łańcuchu bloków przez około 50 minut.

Zgodnie z analizą opublikowaną 21 lipca inżynierowie wdrażali rzekomo rutynową aktualizację o niskim ryzyku, gdy niewykryta kolizja nazw zasobów Kubernetes spowodowała, że aktualizacja zmodyfikowała niewłaściwy komponent sieciowy.

Coinbase stwierdziło:

„Było to spowodowane niezamierzoną błędną konfiguracją ważnego komponentu sieciowego w wyniku rutynowej aktualizacji konfiguracji. W żadnym momencie środki klientów nie były narażone na ryzyko”.

Kubernetes to oprogramowanie wykorzystywane przez Coinbase do organizowania i uruchamiania aplikacji w ramach infrastruktury chmurowej firmy. Kolizja nazw zasobów spowodowała, że aktualizacja zmodyfikowała część bramy wejściowej Istio firmy zamiast tylko zamierzonego komponentu. Brama ta pełni rolę kontrolera ruchu, kierując żądania między wewnętrznymi usługami Coinbase.

Gdy brama przestała działać, systemy odpowiedzialne za przetwarzanie transakcji, przelewów, rozliczeń i autoryzacji płatności nie mogły już się ze sobą komunikować.

Odrzucone transakcje kartowe i wstrzymane przelewy

Zakłócenie miało wpływ na platformy detaliczne, instytucjonalne i dla programistów Coinbase od około godziny 12:37 p.m. ET do 1:25 p.m. ET.

Niektórzy klienci detaliczni nie mogli zrealizować wpłat, wypłat ani transakcji poza platformą. Przelewy, które były już w toku, wydawały się zablokowane, ale zostały przetworzone po przywróceniu usług. Zakupy debetowe kartą Coinbase Card były odrzucane, natomiast zakupy kartą kredytową przebiegały normalnie.

Awaria zakłóciła również wymianę w łańcuchu bloków za pośrednictwem Coinbase DEX na sieciach Base i Solana. Klienci Coinbase Exchange i Prime doświadczyli opóźnień lub niepowodzeń w przelewach i rozliczeniach, natomiast klienci platformy dla programistów nie mogli rejestrować użytkowników, przenosić środków ani korzystać z usług onramp.

Skutki tej awarii podkreślają rosnące znaczenie niezawodności w miarę jak Coinbase rozszerza swoją działalność poza spotowy handel kryptowalutami. Planowane przez firmę produkty w ramach koncepcji „giełdy wszystkiego”, w tym tokenizowane akcje i kontrakty terminowe typu perpetual, poszerzają zakres działalności finansowej zależnej od infrastruktury firmy.

Coinbase osobno opisało plany przekształcenia platformy w szersze centrum finansowe, oferujące nowe usługi w zakresie handlu, płatności i zarządzania pieniędzmi, obejmujące akcje, instrumenty pochodne, płatności w stablecoinach oraz narzędzia dla deweloperów. Ta ekspansja zwiększa stawkę w przypadku awarii wspólnej infrastruktury.

Dlaczego przywrócenie działania trwało dłużej niż oczekiwano

Brama została przywrócona o godz. 13:20 czasu wschodnioamerykańskiego (ET), a trzy minuty później Coinbase ogłosiło, że incydent został opanowany. Pozostałe zaległości transakcyjne zostały usunięte w ciągu kolejnych godzin.

Przywrócenie działania trwało dłużej, ponieważ narzędzia wdrożeniowe Coinbase opierały się na awaryjnej bramie. Inżynierowie nie mogli skorzystać ze standardowego procesu przywracania poprzedniego stanu i zamiast tego ręcznie uruchomili awaryjne wdrożenie za pośrednictwem dostawcy usług chmurowych firmy, korzystając z tymczasowego dostępu uprzywilejowanego.

Coinbase wprowadza obecnie mechanizmy sprawdzające, które mają zapobiegać konfliktom nazw, oddziela narzędzia do przywracania sprawności od zarządzanej przez siebie infrastruktury oraz częściej testuje procedury dostępu awaryjnego.

Coinbase podkreśliło:

„Naszym celem jest zawsze zerowy czas przestoju. Aktywnie przeprojektowujemy naszą infrastrukturę, aby zapewnić, że w przypadku kolejnej awarii, choć jest to bardzo mało prawdopodobne, będziemy w stanie szybko przywrócić system do stanu poprzedniego i przywrócić jego działanie”.