Coinbase розповіла, як одна помилка в налаштуваннях спричинила 50-хвилинний збій у роботі

Coinbase пояснює, що пішло не так

Криптовалютна біржа Coinbase (Nasdaq: COIN) визначила програмну помилку, що стала причиною збою минулого тижня, внаслідок якого клієнти протягом приблизно 50 хвилин не могли здійснювати перекази, робити покупки за допомогою картки Coinbase Card та отримувати доступ до низки ончейн-сервісів.

Згідно з аналізом, опублікованим 21 липня, інженери виконували, як здавалося, рутинне оновлення з низьким рівнем ризику, коли невиявлена колізія імен ресурсів Kubernetes призвела до того, що оновлення змінило не той мережевий компонент.

Coinbase заявила:

«Це сталося через ненавмисну помилку в налаштуваннях важливого мережевого компонента в результаті рутинного оновлення конфігурації. Кошти клієнтів ніколи не були під загрозою».

Kubernetes — це програмне забезпечення, яке Coinbase використовує для організації та запуску додатків у своїй хмарній інфраструктурі. Конфлікт імен ресурсів призвів до того, що оновлення змінило частину шлюзу входу Istio компанії замість того, щоб змінити лише передбачений компонент. Шлюз діє як диспетчер трафіку, спрямовуючи запити між внутрішніми сервісами Coinbase.

Після того як шлюз вийшов з ладу, системи, відповідальні за обробку торгових операцій, переказів, розрахунків та авторизації платежів, втратили можливість взаємодії.

Відхилення карток та затримка переказів

Збій вплинув на роздрібні, інституційні та розробницькі платформи Coinbase приблизно з 12:37 до 13:25 за східним часом.

Деякі роздрібні клієнти не могли здійснити поповнення рахунків, зняття коштів або транзакції поза платформою. Перекази, що вже виконувалися, здавалися заблокованими, але були оброблені після відновлення роботи сервісу. Покупки за дебетовою карткою Coinbase Card були відхилені, тоді як покупки за кредитною карткою продовжувалися.

Збій також перервав обмін на ланцюжку через Coinbase DEX на Base та Solana. Клієнти Coinbase Exchange та Prime стикалися із затримками або невдалими переказами та розрахунками, тоді як клієнти платформи для розробників не могли реєструвати користувачів, переказувати кошти або користуватися послугами onramp.

Цей інцидент підкреслює зростаючу важливість надійності в міру того, як Coinbase виходить за межі спотової торгівлі криптовалютами. Заплановані компанією продукти у форматі «біржі для всього», включаючи токенізовані акції та безстрокові ф’ючерси, розширюють спектр фінансової діяльності, що залежить від інфраструктури компанії.

Coinbase окремо описала плани щодо перетворення платформи на більш широкий фінансовий хаб із новими послугами з торгівлі, платежів та управління коштами, що охоплюють акції, деривативи, платежі у стабільних монетах та інструменти для розробників. Таке розширення підвищує ризики у разі збою спільної інфраструктури.

Чому відновлення тривало довше, ніж очікувалося

Шлюз було відновлено о 13:20 за східним часом, а через три хвилини Coinbase оголосила про усунення інциденту. Решта накопичених транзакцій була оброблена протягом наступних годин.

Відновлення тривало довше, оскільки інструменти розгортання Coinbase залежали від шлюзу, що вийшов з ладу. Інженери не могли скористатися стандартною процедурою відкату, тому вручну запустили аварійне розгортання через хмарного провайдера компанії, скориставшись тимчасовим привілейованим доступом.

Зараз Coinbase додає перевірки для запобігання конфліктам імен, відокремлює інструменти відновлення від інфраструктури, якою вони керують, та частіше тестує процедури аварійного доступу.

У Coinbase наголосили:

«Наша мета — завжди домогтися нульового часу простою. Ми активно перепроектуємо нашу інфраструктуру, щоб у разі, якщо трапиться ще одна така аварія (що дуже малоймовірно), ми змогли швидко відкотитися до попереднього стану та відновити роботу».