Thật hay chém gió? AI Trung Quốc đang vượt qua các giới hạn về chip, việc đào tạo LLM mạnh nhất không phụ thuộc vào chip nữa

Nvidia đã từ vua card đồ họa trở thành ông trùm chip AI trong gần 20 năm.

Sự hiểu biết ngầm mà ngành đạt được là mặc dù tất cả đều đang đốt cháy "lò giả kim" (biến các kim loại thông thường thành vàng), nhưng ai có nhiều chip NVIDIA hơn dường như sẽ đào tạo được các mô hình lớn thông minh hơn. Do đó, NVIDIA, công ty độc quyền gần 90% sức mạnh tính toán, một bước lên ngôi.

Khi Hoa Kỳ nâng cấp các biện pháp kiểm soát xuất khẩu chip và thậm chí cả các chip phiên bản đặc biệt dành cho Trung Quốc của Nvidia lần lượt bị đình chỉ, tình trạng thiếu chip đang trở thành cản trở hàng đầu để ngành AI của Trung Quốc tiến lên.

Thế nhưng theo truyền thông Mỹ, bất kể có chip hay không, Trung Quốc đang tích cực thúc đẩy sự phát triển của ngành AI.

Có hoặc không có chip, Trung Quốc đang thúc đẩy AI​

1724836294140.png

Luôn có nhiều giải pháp hơn là vấn đề. Ngay cả khi không có đủ lửa lò, nhà giả kim vẫn có thể điều chỉnh phương pháp giả kim của AI.

Theo Wall Street Journal, đối mặt với khó khăn trong việc tìm kiếm lõi, ngành AI của Trung Quốc đang áp dụng nhiều chiến lược khác nhau để duy trì sự phát triển, bao gồm nhưng không giới hạn ở việc viết mã hiệu quả hơn để rút ngắn chu kỳ đào tạo hoặc nỗ lực xây dựng các hệ thống nhỏ hơn, chuyên nghiệp hơn, mô hình và phương pháp đào tạo ít tốn thời gian và năng lượng hơn.

Bài báo đề cập rằng kỳ lân AI Trung Quốc như Zero One Wanwu áp dụng chế độ đào tạo có độ chính xác thấp, chủ yếu làm giảm nhu cầu về tài nguyên máy tính và cải thiện tốc độ đào tạo bằng cách giảm độ chính xác về số được sử dụng trong quá trình đào tạo mô hình.

Ví dụ: khi chỉnh sửa ảnh, để đạt được hiệu quả tốt nhất, chúng ta thường cần điều chỉnh độ sáng, độ tương phản, màu sắc, v.v. cẩn thận hơn. Điều này giống như sử dụng dữ liệu có độ chính xác cao khi đào tạo mô hình trí tuệ nhân tạo có thể nắm bắt được những khác biệt rất tinh tế.

Tuy nhiên, đôi khi chúng ta chỉ cần nhanh chóng thêm một bộ lọc, chẳng hạn như đen trắng và không cần quá nhiều tinh chỉnh. Chế độ đào tạo có độ chính xác thấp thực hiện điều đó, cải thiện tốc độ xử lý bằng cách giảm độ chi tiết của dữ liệu đồng thời giảm nhu cầu về tài nguyên máy tính.

Chế độ này cho phép tập trung nhiều hơn vào các đường viền lớn và các đặc điểm chính của hình ảnh hơn là từng chi tiết nhỏ.

Ưu điểm của việc này là có thể huấn luyện mô hình nhanh hơn và không đòi hỏi nhiều sức mạnh tính toán. Mặc dù một số chi tiết có thể bị mất đi nhưng độ chính xác này vẫn đủ cho nhiều ứng dụng thực tế.

Theo báo cáo, chế độ đào tạo có độ chính xác thấp này được các công ty bao gồm Google ở Hoa Kỳ sử dụng rộng rãi và có thể tăng tốc độ đầu ra.

Li Kaifu, người sáng lập Zero One Thing, cũng đề cập rằng do không có đủ tài nguyên GPU, họ phải phát triển cơ sở hạ tầng AI và công cụ suy luận hiệu quả hơn cũng như tỷ lệ lỗi của các cụm chip, tức là một nhóm các thiết bị được kết nối. Tần suất làm việc cùng nhau thấp hơn mức trung bình của ngành.
1724836305975.png

Khi NVIDIA chiếm lĩnh thị trường chip điện toán mô hình lớn AI và từng gia nhập câu lạc bộ vốn hóa thị trường trị giá ba nghìn tỷ đô la, các công ty chip Trung Quốc cũng như thế giới đang bí mật cạnh tranh hy vọng có được một phần thị trường chip điện toán AI.

Ví dụ điển hình nhất là chip Ascend của Huawei Trung Quốc.

Vào tháng 2 năm nay, có thông tin cho rằng Nvidia đã liệt kê Huawei là đối thủ cạnh tranh lớn nhất của họ trong nhiều lĩnh vực, bao gồm cả chip AI, lần đầu tiên trong các tài liệu đệ trình lên SEC. Người sáng lập Nvidia Huang Jensen cũng đã công khai ca ngợi chip AI của Huawei.

Trung Quốc trước đây chiếm khoảng 20% doanh số bán hàng của Nvidia. Khi các biện pháp kiểm soát của Mỹ ngày càng được tăng cường, các nhà sản xuất GPU Trung Quốc do Huawei Ascend Chip đại diện đang dần lấp đầy khoảng trống thị trường mà Nvidia để lại.

Có thông tin cho rằng dòng chip Ascend của Huawei đã được các gã khổng lồ công nghệ Trung Quốc, các phòng thí nghiệm nghiên cứu quốc gia và trung tâm dữ liệu AI quốc gia sử dụng rộng rãi.

Tại cuộc họp được tổ chức vào tháng 6, Wang Tao, giám đốc điều hành của Trung tâm đổi mới sinh thái Jiangsu Kunpeng Shengteng, tiết lộ rằng gần 50% thị trường mô hình lớn của Trung Quốc đã chọn con đường công nghệ Shengteng.

Tuy nhiên, không dễ để có được thị phần của Nvidia. Mới đây, tờ Financial Times của Anh tiết lộ ngay cả khi bị Mỹ cấm, Nvidia kỳ vọng có thể xuất khẩu 1 triệu chip AI sang Trung Quốc trong năm nay trong giới hạn kiểm soát hợp lý.

Để mở rộng hơn nữa thị trường Trung Quốc, Nvidia đã tung ra phiên bản tùy chỉnh của chip H20 với hiệu năng thấp hơn so với H100, hiệu năng của H20 chỉ bằng 15% so với trước đây. Dù vậy, chip H20 vẫn là sản phẩm dẫn đầu tại thị trường Trung Quốc.

Các công ty như Baidu, Alibaba và Tencent đang sử dụng những con chip tự phát triển trong nước này để chạy các mô hình AI của họ và bù đắp sự thiếu hụt sức mạnh tính toán tiên tiến bằng cách cải tiến kỹ thuật và thuật toán, đồng thời cũng đang nghiên cứu cách kết hợp các loại chip khác nhau để tránh tình trạng thiếu năng lực tính toán tiên tiến, quá phụ thuộc vào một loại chip nhất định.

Nvidia đang ở thời kỳ đỉnh cao​

Hầu hết các CEO trên thế giới đều đang nỗ lực để có cơ hội được gặp Huang Jensen, CEO Nvidia.
1724836315775.png

Ba yếu tố phát triển AI không gì khác hơn là thuật toán, sức mạnh tính toán và dữ liệu, và sức mạnh tính toán là bước đệm để tham gia cạnh tranh AI. Đến mức tỷ phú công nghệ Elon Musk đã phàn nàn khi ông điên cuồng mua GPU Nvidia vào năm ngoái và cả người lẫn chó đều tranh giành chúng.

Điều này cũng giải thích tại sao ông chủ Meta là Mark Zuckerberg đặc biệt tự hào khi có trong tay 350.000 chiếc Nvidia H100 khi đang xây dựng một siêu kho vũ khí AI.

Không khó hiểu việc các hãng công nghệ đổ xô mua GPU. Ai làm chủ được nhiều GPU trước sẽ có khả năng giành chiến thắng trong cuộc chiến của hàng trăm mô hình ngôn ngữ lớn.

Huang Jensen nói: Công ty đạt đến đỉnh cao tiếp theo sẽ có thể phát hành các sản phẩm AI đột phá, trong khi các công ty theo sau sẽ chỉ có thể phát hành thứ gì đó cải thiện hiệu suất 0,3%. Bạn muốn trở thành một công ty dẫn đầu cuộc cách mạng AI, hay bạn muốn trở thành một công ty chỉ muốn mang đến những cải tiến nhỏ?

Vào tháng 3 năm nay, Nvidia đã chính thức ra mắt GPU kiến trúc Blackwell, “chip AI mạnh nhất hành tinh”.

GPU B200 có 208 tỷ bóng bán dẫn và được sản xuất bằng quy trình 4NP TSMC tiên tiến. Các khuôn GPU được kết nối thành một GPU thống nhất thông qua kết nối giữa các chip với tốc độ 10 TB/s.

Hiệu suất của GB200 cũng đã được cải thiện rất nhiều. Trong tiêu chuẩn GPT-3 LLM với 175 tỷ thông số, hiệu suất của GB200 gấp 7 lần so với H100 và tốc độ huấn luyện của nó gấp 4 lần so với H100.

Hơn nữa, nó còn giảm chi phí và mức tiêu thụ năng lượng tới 25 lần so với H100.

Đứng trong Sân vận động Trung tâm SAP khổng lồ ở Thung lũng Silicon, Huang Jensen, cầm ngọn đuốc AI, hét lên rằng khả năng tính toán tăng tốc đã đạt đến điểm tới hạn và tính toán nói chung đã mất điện.

Chúng ta cần một cách tính toán mới - để chúng ta có thể tiếp tục mở rộng quy mô, tiếp tục giảm chi phí tính toán và tiếp tục thực hiện ngày càng nhiều tính toán hơn trong khi vẫn đảm bảo tính bền vững. Điện toán tăng tốc cho phép mọi ngành đạt được tốc độ tăng tốc đáng kể so với điện toán đa năng.

Hai tháng sau, với sự phát triển mạnh mẽ của AI thế hệ mới, Huang tuyên bố rầm rộ rằng chip AI của Nvidia sẽ chuyển sang nhịp điệu "cập nhật hàng năm", có nghĩa là thế hệ kiến trúc mới có tên mã "Rubin" tiếp theo dự kiến sẽ ra mắt năm 2025.

Phần cứng chỉ là nền tảng và phần mềm là cốt lõi của Nvidia.

CUDA là một nền tảng điện toán và mô hình lập trình song song được NVIDIA đưa ra. Với CUDA, các nhà phát triển có thể viết mã chạy trên GPU, tận dụng khả năng xử lý song song của GPU để tăng tốc các tác vụ tính toán chuyên sâu.

Huang Jensen đã hơn một lần phát biểu trước công chúng rằng nếu không có CUDA, thành công của Nvidia trong lĩnh vực AI ngày nay sẽ không thể có được. Theo ông, CUDA có lẽ là một trong những phát minh quan trọng nhất trong điện toán hiện đại.

Cựu Giám đốc điều hành Google Eric Schmidt đã tiết lộ nhiều sự thật trong video gần đây, trong đó ông cũng đề cập rằng ông đã đánh giá thấp tầm quan trọng của CUDA và thậm chí còn so sánh nó với ngôn ngữ C trong lĩnh vực GPU.

Theo quan điểm của ông, mặc dù không được công khai thừa nhận, nhưng chính phủ Hoa Kỳ đã cấm xuất khẩu chip của Nvidia một cách hiệu quả và Hoa Kỳ đã dẫn đầu về sản xuất chip trong khoảng 10 năm.

Và ông cũng cho rằng nếu các mô hình AI tiên tiến tiếp tục phát triển và một số mô hình nguồn mở cũng tham gia thì sẽ chỉ có một số quốc gia đủ điều kiện tham gia. Những quốc gia này cần có nguồn vốn dồi dào, hệ thống giáo dục vững mạnh và quyết tâm giành chiến thắng.

Hoa Kỳ là một trong số đó, và Trung Quốc cũng vậy. Dù là Hoa Kỳ hay Trung Quốc, nỗi đau đầu tiên trước mắt họ là việc triển khai AI.

Ngành AI đang tìm kiếm “bóng đèn sợi đốt”​

Trong một thị trường tốt thì phải có sản phẩm đáp ứng được nhu cầu của thị trường đó.

Marc Andreessen, người sáng lập tổ chức đầu tư mạo hiểm nổi tiếng a16z, từng đề xuất khái niệm PMF (hay còn gọi là phù hợp với thị trường sản phẩm) nêu trên trong cuốn “The Only Thing That Matters”.

Có vẻ phù hợp và phù hợp không kém khi áp dụng khái niệm này để mô tả xu hướng phát triển hiện nay của ngành AI.

Tại Hội nghị thượng đỉnh AI ở Thương Hải WAIC 2024 vào tháng trước, Giám đốc điều hành Baidu Robin Li đã kêu gọi toàn bộ ngành không sử dụng các mô hình mở. Nếu không có ứng dụng, chỉ các mô hình cơ bản, dù là nguồn mở hay nguồn đóng, đều vô giá trị.

Báo cáo gần đây của KPMG cũng chỉ ra rằng trong quý 2, các nhà đầu tư AI của Trung Quốc đang chuyển sự chú ý sang lĩnh vực “trao quyền cho AI” thay vì chỉ tập trung phát triển các mô hình lớn.

Theo dữ liệu từ công ty nghiên cứu thị trường Sensor Tower, 3 trong số 10 ứng dụng AI được tải xuống nhiều nhất ở Hoa Kỳ năm nay đều do các công ty Trung Quốc phát triển, đó là Quiz AI, Talkie và Poly, xếp thứ ba, thứ tư và thứ chín.

Tạp chí Phố Wall cũng dẫn lời những người quen thuộc với vấn đề này cho biết Lingyiwu đã thử nghiệm hai chatbot AI bên ngoài Trung Quốc thông qua một công ty Singapore có tên Monaland và Shado.

Ngoài ra, một số chuyên gia trong ngành dự đoán rằng các mô hình quy mô nhỏ hơn có thể chạy trên điện thoại thông minh và máy tính xách tay, hay còn gọi là “AI biên”, sẽ là nhân tố thay đổi cuộc chơi quan trọng tiếp theo.

Marvin Stone, giáo sư phụ trợ tại Trường Luật Đại học New York, cho biết: “Đây là thời đại của những mô hình nhỏ. Ông lưu ý rằng các mô hình nhỏ hơn sử dụng ít dữ liệu huấn luyện hơn sẽ chạy nhanh hơn, đặc biệt đối với các ứng dụng thời gian thực của các chức năng cụ thể.

Có tin rằng công ty kỳ lân Trung Quốc AI Baichuan Intelligence đang hợp tác với Qualcomm để tích hợp một mô hình ngôn ngữ lớn nhỏ hơn vào PC AI Trung Quốc. Samsung cũng đã tích hợp các mẫu của Baidu và ByteDance vào điện thoại thông minh Trung Quốc của mình.

Fan Bo, một nhà phân tích tại Bernstein Research, cho biết: “Tập trung vào AI biên không có nghĩa là giảm các yêu cầu kỹ thuật mà là chuyển sang một lĩnh vực không phụ thuộc vào sức mạnh tính toán cao.

Lịch sử không lặp lại nhưng thường có vần điệu.

Đã gần 50 năm kể từ khi Faraday phát hiện ra hiện tượng cảm ứng điện từ vào năm 1831, cho đến việc tạo ra động cơ và máy phát điện đầu tiên cũng như phát minh ra đèn sợi đốt. Điều chúng ta cần làm bây giờ là tìm ra những chiếc đèn sợi đốt thuộc thời đại AI càng sớm càng tốt.
 


Đăng nhập một lần thảo luận tẹt ga
Thành viên mới đăng
Top