CEO kiêm đồng sáng lập hãng Cloudflare là Matthew Prince chia sẻ trên mạng xã hội X ngắn gọn: Hôm nay chúng tôi đã làm sập mạng Internet. Sau đây là báo cáo kỹ thuật của chúng tôi về sự cố đã xảy ra. Thay mặt toàn thể đội ngũ @Cloudflare, tôi thành thật xin lỗi.
Ngày 18/11/2025, từ khoảng 11:20 UTC (tức 7 giờ 30 đêm qua giờ VN), mạng lưới Cloudflare bắt đầu gặp sự cố nghiêm trọng khiến lưu lượng mạng cốt lõi không được xử lý đúng. Người dùng Internet khi truy cập các website sử dụng dịch vụ của Cloudflare nhận được trang lỗi báo “sự cố trong mạng lưới Cloudflare”.
Công ty khẳng định sự cố "không liên quan đến tấn công mạng hay hoạt động độc hại nào". Nguyên nhân trực tiếp là do "thay đổi quyền truy cập trong một hệ thống cơ sở dữ liệu", dẫn tới việc cơ sở dữ liệu tạo ra nhiều bản ghi trùng lặp trong một tập tin “feature” phục vụ hệ thống Bot Management. Tập tin này tăng gấp đôi dung lượng, sau đó được truyền tới toàn bộ máy chủ trong mạng lưới Cloudflare.
Phần mềm định tuyến lưu lượng mạng dựa vào tập tin này để cập nhật các mối đe dọa tự động. Khi tập tin vượt quá giới hạn kích thước mà phần mềm cho phép, hệ thống "ngừng hoạt động", gây ra lỗi 5xx trên nhiều dịch vụ.
Ban đầu, đội ngũ Cloudflare nhầm lẫn cho rằng sự cố là do "tấn công DDoS quy mô lớn", nhưng sau đó xác định đúng vấn đề. Họ đã "dừng việc truyền tập tin lỗi, khôi phục tập tin phiên bản cũ và khởi động lại các máy chủ cốt lõi", giúp lưu lượng mạng cơ bản trở lại bình thường vào 14:30 UTC. Việc khôi phục toàn bộ dịch vụ hoàn tất vào 17:06 UTC. Chi tiết như sau:
- Hệ thống Bot Management sử dụng tập tin cấu hình feature để phân loại bot. Mỗi “feature” là một đặc điểm đầu vào cho mô hình học máy.
- Một thay đổi về quyền truy cập cơ sở dữ liệu ClickHouse tại 11:05 UTC khiến tập tin feature chứa hàng loạt bản ghi trùng lặp, tăng kích thước vượt mức cho phép.
- Khi tập tin lỗi được triển khai, các máy chủ gặp "panic" (hoảng loạn) trong phần mềm proxy, trả về lỗi 5xx và ảnh hưởng tới Workers KV, Cloudflare Access và Turnstile.
- Sự cố ban đầu diễn ra gián đoạn, do tập tin đôi khi tốt, đôi khi xấu, khiến hệ thống có lúc hồi phục rồi lại thất bại.
Các dịch vụ bị ảnh hưởng
- CDN và bảo mật cốt lõi: lỗi HTTP 5xx.
- Turnstile: không tải được.
- Workers KV: lỗi 5xx tăng mạnh.
- Dashboard: người dùng không đăng nhập được do Turnstile gián đoạn.
- Access: lỗi xác thực rộng rãi từ khi sự cố bắt đầu cho đến khi rollback vào 13:05 UTC.
- Email Security: giảm chính xác phát hiện spam tạm thời, nhưng không ảnh hưởng nghiêm trọng đến khách hàng.
Các bước khắc phục
1. Dừng tạo và phát tập tin feature lỗi từ 14:24 UTC.
2. Triển khai tập tin feature phiên bản cũ, ổn định hệ thống chính từ 14:30 UTC.
3. Khởi động lại các máy chủ còn gặp lỗi, khôi phục toàn bộ dịch vụ vào 17:06 UTC.
Cloudflare đang thực hiện các biện pháp nhằm ngăn chặn sự cố tương tự, bao gồm:
- Cải thiện khả năng xử lý tập tin cấu hình.
- Triển khai "công tắc global" để tắt các tính năng gặp lỗi.
- Giới hạn ảnh hưởng của core dumps hoặc báo cáo lỗi tới tài nguyên hệ thống.
- Rà soát tất cả các module proxy về các chế độ lỗi tiềm ẩn.
Đây là sự cố nghiêm trọng nhất của Cloudflare kể từ năm 2019, gây gián đoạn lưu lượng cốt lõi trên toàn mạng lưới. Công ty gửi lời xin lỗi tới khách hàng và cộng đồng Internet, đồng thời cam kết tăng cường độ ổn định và khả năng chịu lỗi của hệ thống trong tương lai. #Cloudflaresập
Ngày 18/11/2025, từ khoảng 11:20 UTC (tức 7 giờ 30 đêm qua giờ VN), mạng lưới Cloudflare bắt đầu gặp sự cố nghiêm trọng khiến lưu lượng mạng cốt lõi không được xử lý đúng. Người dùng Internet khi truy cập các website sử dụng dịch vụ của Cloudflare nhận được trang lỗi báo “sự cố trong mạng lưới Cloudflare”.
Công ty khẳng định sự cố "không liên quan đến tấn công mạng hay hoạt động độc hại nào". Nguyên nhân trực tiếp là do "thay đổi quyền truy cập trong một hệ thống cơ sở dữ liệu", dẫn tới việc cơ sở dữ liệu tạo ra nhiều bản ghi trùng lặp trong một tập tin “feature” phục vụ hệ thống Bot Management. Tập tin này tăng gấp đôi dung lượng, sau đó được truyền tới toàn bộ máy chủ trong mạng lưới Cloudflare.
Phần mềm định tuyến lưu lượng mạng dựa vào tập tin này để cập nhật các mối đe dọa tự động. Khi tập tin vượt quá giới hạn kích thước mà phần mềm cho phép, hệ thống "ngừng hoạt động", gây ra lỗi 5xx trên nhiều dịch vụ.
Ban đầu, đội ngũ Cloudflare nhầm lẫn cho rằng sự cố là do "tấn công DDoS quy mô lớn", nhưng sau đó xác định đúng vấn đề. Họ đã "dừng việc truyền tập tin lỗi, khôi phục tập tin phiên bản cũ và khởi động lại các máy chủ cốt lõi", giúp lưu lượng mạng cơ bản trở lại bình thường vào 14:30 UTC. Việc khôi phục toàn bộ dịch vụ hoàn tất vào 17:06 UTC. Chi tiết như sau:
- Hệ thống Bot Management sử dụng tập tin cấu hình feature để phân loại bot. Mỗi “feature” là một đặc điểm đầu vào cho mô hình học máy.
- Một thay đổi về quyền truy cập cơ sở dữ liệu ClickHouse tại 11:05 UTC khiến tập tin feature chứa hàng loạt bản ghi trùng lặp, tăng kích thước vượt mức cho phép.
- Khi tập tin lỗi được triển khai, các máy chủ gặp "panic" (hoảng loạn) trong phần mềm proxy, trả về lỗi 5xx và ảnh hưởng tới Workers KV, Cloudflare Access và Turnstile.
- Sự cố ban đầu diễn ra gián đoạn, do tập tin đôi khi tốt, đôi khi xấu, khiến hệ thống có lúc hồi phục rồi lại thất bại.
Các dịch vụ bị ảnh hưởng
- CDN và bảo mật cốt lõi: lỗi HTTP 5xx.
- Turnstile: không tải được.
- Workers KV: lỗi 5xx tăng mạnh.
- Dashboard: người dùng không đăng nhập được do Turnstile gián đoạn.
- Access: lỗi xác thực rộng rãi từ khi sự cố bắt đầu cho đến khi rollback vào 13:05 UTC.
- Email Security: giảm chính xác phát hiện spam tạm thời, nhưng không ảnh hưởng nghiêm trọng đến khách hàng.
Các bước khắc phục
1. Dừng tạo và phát tập tin feature lỗi từ 14:24 UTC.
2. Triển khai tập tin feature phiên bản cũ, ổn định hệ thống chính từ 14:30 UTC.
3. Khởi động lại các máy chủ còn gặp lỗi, khôi phục toàn bộ dịch vụ vào 17:06 UTC.
Cloudflare đang thực hiện các biện pháp nhằm ngăn chặn sự cố tương tự, bao gồm:
- Cải thiện khả năng xử lý tập tin cấu hình.
- Triển khai "công tắc global" để tắt các tính năng gặp lỗi.
- Giới hạn ảnh hưởng của core dumps hoặc báo cáo lỗi tới tài nguyên hệ thống.
- Rà soát tất cả các module proxy về các chế độ lỗi tiềm ẩn.
Đây là sự cố nghiêm trọng nhất của Cloudflare kể từ năm 2019, gây gián đoạn lưu lượng cốt lõi trên toàn mạng lưới. Công ty gửi lời xin lỗi tới khách hàng và cộng đồng Internet, đồng thời cam kết tăng cường độ ổn định và khả năng chịu lỗi của hệ thống trong tương lai. #Cloudflaresập
