코인베이스, 설정 오류 하나로 50분간 서비스 중단 사태가 발생한 경위 밝혀

코인베이스, 문제 원인 설명

암호화폐 거래소 코인베이스(나스닥: COIN)는 지난주 약 50분 동안 고객들이 송금을 완료하거나, 코인베이스 카드로 구매를 하거나, 여러 온체인 서비스에 접속할 수 없게 만든 서비스 중단의 원인이 된 소프트웨어 오류를 규명했습니다.

7월 21일에 공개된 사후 분석 보고서에 따르면, 엔지니어들이 일상적이고 저위험으로 보이는 업데이트를 배포하던 중, 감지되지 않은 쿠버네티스(Kubernetes) 리소스 이름 충돌로 인해 업데이트가 잘못된 네트워크 구성 요소를 수정하게 된 것으로 나타났습니다. 코인베이스는 다음과 같이 밝혔습니다.

"이번 사고는 일상적인 구성 업데이트 과정에서 중요한 네트워크 구성 요소가 의도치 않게 잘못 설정되면서 발생했습니다. 고객 자금이 위험에 노출된 적은 단 한 번도 없었습니다."

쿠버네티스는 코인베이스가 클라우드 인프라 전반에 걸쳐 애플리케이션을 구성하고 실행하는 데 사용하는 소프트웨어입니다. 리소스 이름 충돌로 인해 업데이트가 의도된 구성 요소뿐만 아니라 회사의 이스티오(Istio) 인그레스 게이트웨이의 일부까지 변경하게 되었습니다. 이 게이트웨이는 트래픽 컨트롤러 역할을 하여 코인베이스 내부 서비스 간 요청을 전달합니다.

게이트웨이가 오프라인 상태가 되자, 거래, 이체, 결제 및 지불 승인 처리를 담당하는 시스템들이 더 이상 서로 통신할 수 없게 되었습니다.

카드 결제 거부 및 송금 중단

이번 장애는 미국 동부 표준시 기준 오후 12시 37분경부터 오후 1시 25분경까지 코인베이스의 개인, 기관 및 개발자 플랫폼에 영향을 미쳤습니다. 일부 개인 고객은 입금, 출금 또는 플랫폼 외부 거래를 완료할 수 없었습니다. 이미 진행 중이던 이체는 일시적으로 중단된 것처럼 보였으나, 서비스가 복구된 후 처리되었습니다. 코인베이스 카드의 직불 결제 거래는 거절되었으나, 신용카드 결제는 정상적으로 진행되었습니다. 이번 장애로 인해 Base 및 Solana 기반 코인베이스 DEX를 통한 온체인 스왑도 중단되었습니다. 코인베이스 익스체인지 및 프라임 고객들은 송금 및 결제가 지연되거나 실패하는 현상을 겪었으며, 개발자 플랫폼 고객들은 사용자 등록, 자금 이동 또는 온램프 서비스를 이용할 수 없었습니다.

이번 사태는 코인베이스가 암호화폐 현물 거래를 넘어 사업을 확장함에 따라 서비스 안정성의 중요성이 점점 더 커지고 있음을 여실히 보여줍니다. 토큰화된 주식과 무기한 선물을 포함한 코인베이스의 계획된 ‘올인원 거래소(everything exchange)’ 상품들은 회사의 인프라에 의존하는 금융 활동의 범위를 넓히고 있습니다.

코인베이스는 별도로 플랫폼을 더 광범위한 금융 허브로 만들 계획이라고 밝힌 바 있으며, 여기에는 주식, 파생상품, 스테이블코인 결제 및 개발자 도구를 아우르는 새로운 거래, 결제 및 자금 관리 서비스가 포함됩니다. 이러한 확장은 공유 인프라에 장애가 발생할 경우 그 위험성을 더욱 높입니다.

복구가 예상보다 오래 걸린 이유

게이트웨이는 동부 표준시 기준 오후 1시 20분에 복구되었으며, 코인베이스는 3분 후 사고 상황이 진정되었다고 발표했다. 남은 거래 대기 물량은 그 후 몇 시간 동안 처리되었다. 복구에 더 오랜 시간이 걸린 이유는 코인베이스의 배포 도구가 장애가 발생한 게이트웨이에 의존하고 있었기 때문이다. 엔지니어들은 표준 롤백 절차를 사용할 수 없었으며, 대신 임시 특권 액세스 권한을 활용해 회사의 클라우드 제공업체를 통해 수동으로 긴급 배포를 실행해야 했습니다. 코인베이스는 현재 명명 충돌을 차단하기 위한 점검 절차를 추가하고, 복구 도구를 관리하는 인프라와 분리하며, 비상 액세스 절차를 더 정기적으로 테스트하고 있습니다. 코인베이스는 다음과 같이 강조했습니다:

"저희의 목표는 항상 가동 중단 시간 제로입니다. 만일 이와 같은 장애가 다시 발생할 가능성이 극히 희박하더라도 신속하게 원상복구하고 복구할 수 있도록 인프라를 적극적으로 재설계하고 있습니다."