コインベース、1つの設定ミスが50分間のサービス停止を引き起こした経緯を明らかにしました。

Coinbase、問題の原因を説明

仮想通貨取引所コインベース（Nasdaq: COIN）は、先週発生した約50分間のサービス停止について、顧客が送金やコインベース・カードによる購入、複数のオンチェーンサービスにアクセスできなくなった原因となったソフトウェアのエラーを特定しました。

7月21日に公開された事後分析によると、エンジニアが日常的な低リスクのアップデートを実施していた際、検出されなかったKubernetesリソース名の衝突により、アップデートが誤ったネットワークコンポーネントを変更してしまったことが原因でした。Coinbaseは次のように述べています：

「これは、定期的な設定更新の結果、重要なネットワークコンポーネントが意図せず誤って設定されたことが原因です。いかなる時点においても、顧客の資金が危険にさらされることはありませんでした。」

Kubernetesは、Coinbaseがクラウドインフラストラクチャ全体でアプリケーションを管理・実行するために使用しているソフトウェアです。リソース名の衝突により、更新は本来対象とするコンポーネントだけでなく、同社のIstioイングレスゲートウェイの一部も変更してしまいました。このゲートウェイはトラフィックコントローラーのような役割を果たし、Coinbaseの内部サービス間のリクエストを誘導しています。

ゲートウェイがオフラインになった結果、取引・送金・決済・支払い承認を担当するシステム間の通信が途絶えてしまいました。

カードの決済拒否や送金の停滞

この障害は米国東部時間午後12時37分頃から午後1時25分頃にかけてコインベースの個人向け・機関向け・開発者向けプラットフォームに影響を及ぼしました。一部の個人顧客は入出金やプラットフォーム外での取引を完了できませんでした。すでに進行中の送金は一時的に停滞したように見えましたが、サービスが復旧した後に処理されました。 Coinbase Cardによるデビットカード決済は拒否された一方、クレジットカード決済は継続しました。この障害により、BaseおよびSolana上のCoinbase DEXを通じたオンチェーンスワップも中断しました。Coinbase ExchangeおよびPrimeの顧客は送金や決済の遅延・失敗に見舞われ、開発者プラットフォームの顧客はユーザー登録、資金移動、オンランプサービスの利用ができなくなりました。

この影響は、Coinbaseが暗号資産の現物取引を超えて事業を拡大する中で、信頼性の重要性がますます高まっていることを浮き彫りにしています。トークン化された株式や永久先物を含む、同社が計画している「オールインワン取引所」製品は、同社のインフラに依存する金融活動の範囲を広げつつあります。

Coinbaseはこれとは別に、株式、デリバティブ、ステーブルコイン決済、開発者ツールにまたがる新たな取引、決済、資産管理サービスを通じて、プラットフォームをより広範な金融ハブにする計画を明らかにしています。こうした事業拡大により、共有インフラに障害が発生した場合のリスクはさらに高まっています。

復旧に予想以上に時間がかかった理由

ゲートウェイは米国東部時間13時20分に復旧し、コインベースは3分後に事態が収束したと発表しました。残りの取引の滞留分は、その後数時間のうちに解消されました。復旧に時間がかかったのは、コインベースのデプロイメントツールが障害を起こしたゲートウェイに依存していたためです。 エンジニアは標準的なロールバックプロセスを用いることができず、代わりに一時的な特権アクセス権を利用して、同社のクラウドプロバイダー経由で手動による緊急デプロイを実施しました。コインベースは現在、命名衝突を防ぐためのチェック機能を追加し、復旧ツールを管理対象のインフラから分離するとともに、緊急アクセス手順のテストをより定期的に実施しています。コインベースは次のように強調しました：

「当社の目標は常にダウンタイムゼロです。万が一、今回のような障害が再び発生したとしても、迅速に元に戻し、復旧できるよう、インフラの再設計を積極的に進めています。」