Coinbase tiết lộ cách một lỗi cấu hình đã gây ra sự cố ngừng hoạt động kéo dài 50 phút

Coinbase giải thích nguyên nhân sự cố

Sàn giao dịch tiền điện tử Coinbase (Nasdaq: COIN) đã xác định được lỗi phần mềm gây ra sự cố ngừng hoạt động vào tuần trước, khiến khách hàng không thể thực hiện chuyển khoản, mua hàng bằng thẻ Coinbase Card và truy cập một số dịch vụ trên chuỗi trong khoảng 50 phút.

Theo báo cáo phân tích sau sự cố được công bố vào ngày 21 tháng 7, các kỹ sư đang triển khai một bản cập nhật dường như là định kỳ và có rủi ro thấp thì một sự trùng lặp tên tài nguyên Kubernetes không được phát hiện đã khiến bản cập nhật sửa đổi nhầm thành phần mạng.

Coinbase cho biết:

"Sự cố này do một sai sót cấu hình không mong muốn đối với một thành phần mạng quan trọng, phát sinh từ một bản cập nhật cấu hình định kỳ. Tiền của khách hàng không bao giờ bị đe dọa."

Kubernetes là phần mềm mà Coinbase sử dụng để tổ chức và vận hành các ứng dụng trên cơ sở hạ tầng đám mây của mình. Sự trùng lặp tên tài nguyên đã khiến bản cập nhật thay đổi một phần cổng Istio ingress của công ty thay vì chỉ thành phần dự định. Cổng này hoạt động như một bộ điều khiển lưu lượng, định hướng các yêu cầu giữa các dịch vụ nội bộ của Coinbase.

Khi cổng này ngừng hoạt động, các hệ thống chịu trách nhiệm xử lý giao dịch, chuyển khoản, thanh toán và ủy quyền thanh toán không thể liên lạc với nhau nữa.

Thẻ bị từ chối và chuyển khoản bị đình trệ

Sự cố này đã ảnh hưởng đến các nền tảng bán lẻ, tổ chức và nhà phát triển của Coinbase từ khoảng 12:37 chiều ET đến 1:25 chiều ET.

Một số khách hàng bán lẻ không thể hoàn tất các giao dịch nạp tiền, rút tiền hoặc giao dịch ngoài nền tảng. Các giao dịch chuyển khoản đang diễn ra dường như bị kẹt nhưng đã được xử lý sau khi dịch vụ được khôi phục. Các giao dịch mua bằng thẻ ghi nợ Coinbase Card bị từ chối, trong khi các giao dịch mua bằng thẻ tín dụng vẫn diễn ra bình thường.

Sự cố ngừng hoạt động cũng làm gián đoạn các giao dịch hoán đổi trên chuỗi thông qua Coinbase DEX trên Base và Solana. Khách hàng của Coinbase Exchange và Prime gặp phải tình trạng chuyển khoản và thanh toán bị chậm trễ hoặc thất bại, trong khi khách hàng của nền tảng dành cho nhà phát triển không thể đăng ký người dùng, chuyển tiền hoặc sử dụng các dịch vụ onramp.

Tác động này nhấn mạnh tầm quan trọng ngày càng tăng của tính ổn định khi Coinbase mở rộng hoạt động ra ngoài giao dịch tiền điện tử giao ngay. Các sản phẩm “sàn giao dịch toàn diện” mà công ty dự kiến ra mắt, bao gồm cổ phiếu được token hóa và hợp đồng tương lai vĩnh viễn, đang mở rộng phạm vi hoạt động tài chính phụ thuộc vào hạ tầng của công ty.

Coinbase đã công bố riêng các kế hoạch nhằm biến nền tảng này thành một trung tâm tài chính rộng lớn hơn, với các dịch vụ giao dịch, thanh toán và quản lý tiền mới bao gồm cổ phiếu, các sản phẩm phái sinh, thanh toán bằng stablecoin và các công cụ dành cho nhà phát triển. Sự mở rộng đó làm tăng mức độ rủi ro khi cơ sở hạ tầng chung gặp sự cố.

Tại sao việc khôi phục lại mất nhiều thời gian hơn dự kiến

Cổng kết nối đã được khôi phục vào lúc 1:20 chiều theo giờ ET, và Coinbase tuyên bố sự cố đã được khắc phục ba phút sau đó. Các giao dịch tồn đọng còn lại đã được xử lý trong những giờ tiếp theo.

Quá trình khôi phục mất nhiều thời gian hơn vì các công cụ triển khai của Coinbase phụ thuộc vào cổng kết nối bị lỗi. Các kỹ sư không thể sử dụng quy trình hoàn nguyên tiêu chuẩn và thay vào đó đã triển khai khẩn cấp thủ công thông qua nhà cung cấp đám mây của công ty bằng quyền truy cập đặc quyền tạm thời.

Hiện tại, Coinbase đang bổ sung các cơ chế kiểm tra để ngăn chặn xung đột tên, tách biệt các công cụ khôi phục khỏi hạ tầng mà chúng quản lý và kiểm tra các quy trình truy cập khẩn cấp thường xuyên hơn.

Coinbase nhấn mạnh:

"Mục tiêu của chúng tôi luôn là không có thời gian ngừng hoạt động. Chúng tôi đang tích cực thiết kế lại hạ tầng để đảm bảo rằng, trong trường hợp cực kỳ hiếm hoi xảy ra sự cố tương tự như lần này, chúng tôi có thể nhanh chóng khôi phục và phục hồi hệ thống."