Coinbase เปิดเผยว่าข้อผิดพลาดในการกำหนดค่าเพียงจุดเดียวทำให้เกิดเหตุขัดข้องนาน 50 นาที

Coinbase อธิบายว่าอะไรผิดพลาด

กระดานเทรดคริปโต Coinbase (Nasdaq: COIN) ได้ระบุข้อผิดพลาดซอฟต์แวร์ที่อยู่เบื้องหลังเหตุขัดข้องเมื่อสัปดาห์ที่แล้ว ซึ่งทำให้ลูกค้าไม่สามารถทำรายการโอน ซื้อด้วย Coinbase Card และเข้าถึงบริการออนเชนหลายรายการได้เป็นเวลาประมาณ 50 นาที

ตามรายงาน postmortem ที่เผยแพร่เมื่อวันที่ 21 กรกฎาคม วิศวกรกำลังนำส่งอัปเดตที่ดูเหมือนเป็นงานตามปกติและมีความเสี่ยงต่ำ เมื่อการชนกันของชื่อทรัพยากร Kubernetes ที่ไม่ถูกตรวจพบทำให้อัปเดตไปแก้ไขคอมโพเนนต์เครือข่ายผิดตัว

Coinbase ระบุว่า:

“สาเหตุเกิดจากการตั้งค่าผิดพลาดโดยไม่ตั้งใจของคอมโพเนนต์เครือข่ายที่สำคัญ อันเป็นผลมาจากการอัปเดตคอนฟิกตามปกติ ไม่มีช่วงเวลาใดที่เงินของลูกค้าตกอยู่ในความเสี่ยง”

Kubernetes เป็นซอฟต์แวร์ที่ Coinbase ใช้เพื่อจัดระเบียบและรันแอปพลิเคชันบนโครงสร้างพื้นฐานคลาวด์ของตน การชนกันของชื่อทรัพยากรทำให้อัปเดตไปเปลี่ยนแปลงส่วนหนึ่งของ Istio ingress gateway ของบริษัท แทนที่จะเปลี่ยนเฉพาะคอมโพเนนต์ที่ตั้งใจไว้ เกตเวย์ทำหน้าที่เสมือนตัวควบคุมการจราจร คอยกำกับคำขอ (requests) ระหว่างบริการภายในของ Coinbase

เมื่อเกตเวย์ออฟไลน์ ระบบที่รับผิดชอบการประมวลผลการเทรด การโอน การชำระบัญชี และการอนุมัติการชำระเงินจึงไม่สามารถสื่อสารกันได้

บัตรถูกปฏิเสธและการโอนค้าง

ความขัดข้องส่งผลต่อแพลตฟอร์มของ Coinbase ทั้งฝั่งรายย่อย สถาบัน และนักพัฒนาตั้งแต่ประมาณ 12:37 น. ET ถึง 1:25 น. ET

ลูกค้ารายย่อยบางรายไม่สามารถทำรายการฝาก ถอน หรือทำธุรกรรมนอกแพลตฟอร์มได้ การโอนที่กำลังดำเนินอยู่ดูเหมือนติดค้าง แต่ถูกประมวลผลหลังจากบริการกลับมา การซื้อด้วยบัตรเดบิต Coinbase Card ถูกปฏิเสธ ขณะที่การซื้อด้วยบัตรเครดิตยังคงทำได้

เหตุขัดข้องยังทำให้การสว็อปแบบออนเชนผ่าน Coinbase DEX บน Base และ Solana สะดุด ลูกค้า Coinbase Exchange และ Prime พบความล่าช้าหรือการโอนและการชำระบัญชีล้มเหลว ขณะที่ลูกค้าบนแพลตฟอร์มนักพัฒนาไม่สามารถนำผู้ใช้เข้าใช้งาน (onboard) เคลื่อนย้ายเงิน หรือใช้บริการ onramp ได้

ผลกระทบนี้สะท้อนความสำคัญที่เพิ่มขึ้นของความเสถียร เมื่อ Coinbase ขยายไปไกลกว่าการเทรดคริปโตแบบสปอต ผลิตภัณฑ์ “everything exchange” ตามแผนของบริษัท รวมถึงหุ้นโทเคไนซ์และสัญญาฟิวเจอร์สแบบไม่มีกำหนดอายุ (perpetual futures) กำลังขยายขอบเขตกิจกรรมทางการเงินที่ต้องพึ่งพาโครงสร้างพื้นฐานของบริษัท

Coinbase ยังได้อธิบายแผน ในการทำให้แพลตฟอร์มเป็นศูนย์กลางการเงินที่กว้างขึ้น ด้วยบริการใหม่ด้านการเทรด การชำระเงิน และการจัดการเงิน ครอบคลุมหุ้น อนุพันธ์ การชำระเงินด้วยสเตเบิลคอยน์ และเครื่องมือนักพัฒนา การขยายตัวดังกล่าวทำให้ความเสี่ยงสูงขึ้นเมื่อโครงสร้างพื้นฐานที่ใช้ร่วมกันเกิดล้มเหลว

ทำไมการกู้คืนจึงใช้เวลานานกว่าที่คาด

เกตเวย์ถูกกู้คืนเวลา 1:20 น. ET และ Coinbase ประกาศว่าควบคุมเหตุการณ์ได้สามนาทีถัดมา งานค้างของธุรกรรมที่เหลือถูกเคลียร์ในชั่วโมงต่อ ๆ มา

การกู้คืนใช้เวลานานกว่าเพราะเครื่องมือดีพลอยของ Coinbase พึ่งพาเกตเวย์ที่ล้มเหลว วิศวกรไม่สามารถใช้กระบวนการย้อนกลับมาตรฐานได้ และต้องเปิดใช้การดีพลอยฉุกเฉินด้วยตนเองผ่านผู้ให้บริการคลาวด์ของบริษัท โดยใช้สิทธิ์พิเศษชั่วคราว

ขณะนี้ Coinbase กำลังเพิ่มการตรวจสอบเพื่อบล็อกความขัดแย้งของการตั้งชื่อ แยกเครื่องมือกู้คืนออกจากโครงสร้างพื้นฐานที่เครื่องมือเหล่านั้นจัดการ และทดสอบขั้นตอนการเข้าถึงฉุกเฉินอย่างสม่ำเสมอมากขึ้น

Coinbase เน้นย้ำว่า:

“เป้าหมายของเราคือไม่ให้มีดาวน์ไทม์เลย เรากำลังออกแบบโครงสร้างพื้นฐานใหม่อย่างจริงจัง เพื่อให้มั่นใจว่าในกรณีที่ไม่น่าจะเกิดขึ้นอย่างยิ่ง หากมีความล้มเหลวแบบนี้อีก เราจะสามารถย้อนกลับและกู้คืนได้อย่างรวดเร็ว”