Không còn bằng lòng với việc bám đuổi các đối thủ Mỹ, công ty mẹ của TikTok đang ở giai đoạn đầu huấn luyện một siêu mô hình AI với quy mô lên tới 10 nghìn tỷ tham số. Bước đi này cho thấy tham vọng rất rõ ràng của ByteDance: tự lực phát triển công nghệ cốt lõi để cạnh tranh sòng phẳng ở tầng cao nhất của cuộc đua AI toàn cầu.
Chủ sở hữu của mạng xã hội TikTok đang âm thầm huấn luyện mô hình AI với quy mô 10 tỷ tham số
Để dễ hình dung về độ "khủng", các ước tính trong ngành cho thấy hệ thống tiên tiến nhất hiện nay của Anthropic là Mythos 5 sở hữu khoảng 8 nghìn tỷ tham số, còn Fable 5 rơi vào khoảng 5 nghìn tỷ tham số. Dù số lượng tham số chưa phản ánh hoàn toàn năng lực thực tế - vốn còn phụ thuộc vào kiến trúc, chất lượng dữ liệu và phương pháp huấn luyện - nhưng nó thể hiện quy mô xử lý cực kỳ đồ sộ mà ByteDance đang hướng tới.
Thực tế thời gian qua, các mô hình đến từ Alibaba hay Moonshot đã ghi nhận kết quả rất tốt trên nhiều bài kiểm tra chuẩn, chỉ đứng sau Fable 5 ở một số hạng mục. Trong khi Anthropic phải tạm thời giới hạn quyền truy cập Mythos 5 vì các quan ngại an ninh, nhiều đơn vị tại Trung Quốc đã bắt đầu phát triển các hệ thống ngang tầm Fable 5, và ByteDance đang là cái tên thể hiện tham vọng lớn nhất.
Trái với xu hướng quảng bá rầm rộ của nhiều đối thủ nội địa, ByteDance lâu nay chọn cách phát triển AI khá kín tiếng theo hướng khép kín. Dù vậy, họ đã sở hữu những quân bài rất mạnh: SeeDance thuộc nhóm công cụ tạo video hàng đầu hiện nay, còn ứng dụng AI tiêu dùng Doubao đã chạm mốc 324 triệu người dùng hoạt động hàng tháng tại Trung Quốc.
Để phục vụ cho cuộc đua này, ByteDance đã rót vốn rất mạnh trong 3 năm qua: mở rộng mạng lưới trung tâm dữ liệu, đẩy mạnh mảng điện toán đám mây Volcano Engine và thậm chí tính đến chuyện tự phát triển chip AI riêng.
Điểm đáng chú ý là ByteDance chọn con đường phát triển hoàn toàn độc lập, hạn chế tối đa việc dùng kỹ thuật "chắt lọc mô hình" (phương pháp nén và huấn luyện mô hình nhỏ học theo mô hình lớn để tiết kiệm thời gian). Cách làm "tự lực gánh sinh" này đã được áp dụng hơn một năm qua. Dù khiến tiến độ ngắn hạn có phần chậm hơn một số đối thủ, nó giúp ByteDance tránh được giới hạn về mặt tư duy và có cơ hội tạo ra đột phá riêng.
Nhà sáng lập Trương Nhất Minh cùng ban lãnh đạo ByteDance tin rằng đây là con đường duy nhất để tạo ra một hệ thống đủ sức vươn lên dẫn đầu. Trong một cuộc họp nội bộ gần đây, ông Trương khẳng định với nhóm Seed rằng mục tiêu dài hạn là đạt "năng lực mô hình hàng đầu thế giới", và đội ngũ không cần quá lo lắng nếu tạm thời tụt lại trong ngắn hạn.
Chủ sở hữu của mạng xã hội TikTok đang âm thầm huấn luyện mô hình AI với quy mô 10 tỷ tham số
Con số 10 nghìn tỷ tham số nói lên điều gì?
Theo các nguồn tin am hiểu vấn đề, mô hình AI mới của ByteDance hiện đang ở giai đoạn tiền huấn luyện - bước nền tảng kéo dài khoảng 3 đến 6 tháng trước khi tiến hành tinh chỉnh. Quy mô dự kiến lên tới 10 nghìn tỷ tham số, gấp khoảng 3 lần so với Kimi K3 của Moonshot (mô hình lớn nhất từng được công bố tại Trung Quốc).Để dễ hình dung về độ "khủng", các ước tính trong ngành cho thấy hệ thống tiên tiến nhất hiện nay của Anthropic là Mythos 5 sở hữu khoảng 8 nghìn tỷ tham số, còn Fable 5 rơi vào khoảng 5 nghìn tỷ tham số. Dù số lượng tham số chưa phản ánh hoàn toàn năng lực thực tế - vốn còn phụ thuộc vào kiến trúc, chất lượng dữ liệu và phương pháp huấn luyện - nhưng nó thể hiện quy mô xử lý cực kỳ đồ sộ mà ByteDance đang hướng tới.
Không chỉ bám đuổi, AI Trung Quốc muốn vươn lên dẫn đầu
Việc ByteDance nhắm đến một trong những mô hình AI lớn nhất thế giới là dấu hiệu cho thấy các phòng thí nghiệm công nghệ Trung Quốc không còn chỉ đặt mục tiêu bắt kịp Mỹ, mà đang muốn cạnh tranh trực diện.Thực tế thời gian qua, các mô hình đến từ Alibaba hay Moonshot đã ghi nhận kết quả rất tốt trên nhiều bài kiểm tra chuẩn, chỉ đứng sau Fable 5 ở một số hạng mục. Trong khi Anthropic phải tạm thời giới hạn quyền truy cập Mythos 5 vì các quan ngại an ninh, nhiều đơn vị tại Trung Quốc đã bắt đầu phát triển các hệ thống ngang tầm Fable 5, và ByteDance đang là cái tên thể hiện tham vọng lớn nhất.
Trái với xu hướng quảng bá rầm rộ của nhiều đối thủ nội địa, ByteDance lâu nay chọn cách phát triển AI khá kín tiếng theo hướng khép kín. Dù vậy, họ đã sở hữu những quân bài rất mạnh: SeeDance thuộc nhóm công cụ tạo video hàng đầu hiện nay, còn ứng dụng AI tiêu dùng Doubao đã chạm mốc 324 triệu người dùng hoạt động hàng tháng tại Trung Quốc.
Để phục vụ cho cuộc đua này, ByteDance đã rót vốn rất mạnh trong 3 năm qua: mở rộng mạng lưới trung tâm dữ liệu, đẩy mạnh mảng điện toán đám mây Volcano Engine và thậm chí tính đến chuyện tự phát triển chip AI riêng.
Chấp nhận đi chậm để tự lực làm chủ công nghệ
Trọng tâm trong chiến lược AI của ByteDance nằm ở Seed - đội ngũ nghiên cứu mô hình gồm khoảng 2.000 nhân sự tại Trung Quốc và quốc tế, do Ngô Vĩnh Huy (cựu nhà khoa học của Google DeepMind) dẫn dắt.Điểm đáng chú ý là ByteDance chọn con đường phát triển hoàn toàn độc lập, hạn chế tối đa việc dùng kỹ thuật "chắt lọc mô hình" (phương pháp nén và huấn luyện mô hình nhỏ học theo mô hình lớn để tiết kiệm thời gian). Cách làm "tự lực gánh sinh" này đã được áp dụng hơn một năm qua. Dù khiến tiến độ ngắn hạn có phần chậm hơn một số đối thủ, nó giúp ByteDance tránh được giới hạn về mặt tư duy và có cơ hội tạo ra đột phá riêng.
Nhà sáng lập Trương Nhất Minh cùng ban lãnh đạo ByteDance tin rằng đây là con đường duy nhất để tạo ra một hệ thống đủ sức vươn lên dẫn đầu. Trong một cuộc họp nội bộ gần đây, ông Trương khẳng định với nhóm Seed rằng mục tiêu dài hạn là đạt "năng lực mô hình hàng đầu thế giới", và đội ngũ không cần quá lo lắng nếu tạm thời tụt lại trong ngắn hạn.
