Coinbase חושפת כיצד שגיאת תצורה אחת גרמה להשבתה שנמשכה 50 דקות

Coinbase מסבירה מה השתבש

בורסת הקריפטו Coinbase (Nasdaq: COIN) זיהתה את שגיאת התוכנה שמאחורי ההשבתה בשבוע שעבר, שהותירה לקוחות ללא יכולת להשלים העברות, לבצע רכישות באמצעות Coinbase Card, ולגשת למספר שירותי onchain במשך כ־50 דקות.

לפי דוח postmortem שפורסם ב־21 ביולי, מהנדסים פרסו מה שנראה כעדכון שגרתי ובעל סיכון נמוך, כאשר התנגשות לא מזוהה בשם משאב Kubernetes גרמה לכך שהעדכון שינה רכיב רשת שגוי.

Coinbase מסרה:

“הדבר נגרם כתוצאה מתצורה שגויה לא מכוונת של רכיב רשת חשוב, בעקבות עדכון תצורה שגרתי. בשום שלב לא היו כספי הלקוחות בסיכון.”

Kubernetes היא תוכנה שבה Coinbase משתמשת כדי לארגן ולהריץ יישומים ברחבי תשתית הענן שלה. התנגשות שם המשאב גרמה לכך שהעדכון שינה חלק משער ה־Istio ingress של החברה במקום רק את הרכיב המיועד. השער מתפקד כמו בקר תעבורה, המנתב בקשות בין השירותים הפנימיים של Coinbase.

ברגע שהשער יצא מכלל פעולה, מערכות שאחראיות לעיבוד מסחר, העברות, סליקה ואישורי תשלום לא יכלו עוד לתקשר.

כרטיסים נדחו והעברות נתקעו

השיבוש השפיע על פלטפורמות הקמעונאות, המוסדיות והמפתחים של Coinbase בערך בין 12:37 בצהריים ET ל־1:25 בצהריים ET.

חלק מהלקוחות הקמעונאיים לא יכלו להשלים הפקדות, משיכות או עסקאות מחוץ לפלטפורמה. העברות שכבר היו בתהליך נראו תקועות אך עובדו לאחר שהשירות חזר. רכישות דביט באמצעות Coinbase Card נדחו, בעוד שרכישות בכרטיס אשראי נמשכו.

ההשבתה גם קטעה החלפות onchain דרך Coinbase DEX ב־Base וב־Solana. לקוחות Coinbase Exchange ו־Prime חוו עיכובים או כשלונות בהעברות ובסליקות, בעוד שלקוחות פלטפורמת המפתחים לא יכלו לבצע onboarding למשתמשים, להעביר כספים או להשתמש בשירותי onramp.

ההשפעה מדגישה את החשיבות ההולכת וגוברת של אמינות ככל ש־Coinbase מתרחבת מעבר למסחר קריפטו מסוג spot. מוצרי “הבורסה להכול” המתוכננים שלה, כולל מניות מטוקננות וחוזים עתידיים תמידיים, מרחיבים את מגוון הפעילות הפיננסית התלויה בתשתית החברה.

Coinbase תיארה בנפרד תוכניות להפוך את הפלטפורמה למוקד פיננסי רחב יותר, עם שירותי מסחר, תשלומים וניהול כספים חדשים המשתרעים על פני מניות, נגזרים, תשלומי stablecoin וכלי מפתחים. ההתרחבות הזו מעלה את רף הסיכון כאשר תשתית משותפת נכשלת.

מדוע ההתאוששות ארכה יותר מהצפוי

השער שוחזר ב־1:20 בצהריים ET, ו־Coinbase הכריזה שהאירוע הוכלל שלוש דקות לאחר מכן. יתרות עסקאות שנותרו בתור נוקו במהלך השעות שלאחר מכן.

ההתאוששות ארכה יותר משום שכלי הפריסה של Coinbase הסתמכו על השער שנכשל. מהנדסים לא יכלו להשתמש בתהליך ה־rollback הסטנדרטי ובמקום זאת השיקו ידנית פריסה חירומית דרך ספק הענן של החברה באמצעות גישה זמנית בעלת הרשאות מוגברות.

כעת Coinbase מוסיפה בדיקות לחסימת התנגשויות שמות, מפרידה בין כלי ההתאוששות לבין התשתית שאותה הם מנהלים, ובודקת באופן תדיר יותר נהלי גישה במצבי חירום.

Coinbase הדגישה:

“המטרה שלנו היא תמיד אפס זמן השבתה. אנחנו מעצבים מחדש באופן פעיל את התשתית שלנו כדי להבטיח שבאירוע הבלתי סביר מאוד של כשל נוסף כמו זה, נוכל לחזור לאחור ולהתאושש במהירות.”