Làn sóng AIGC, được nhiều người coi là cuộc cách mạng công nghiệp lần thứ tư, đang mang đến những thay đổi mang tính lật đổ đối với phương thức sản xuất của con người. Với GPU được ví như vàng, Nvidia đã được trao danh hiệu "vua" AI và giá cổ phiếu của hãng đã tăng 240% trong năm.
Tuy nhiên, trước sự mua sắm hoảng loạn của nhiều bên, GPU Nvidia đã rơi vào tình trạng tắc nghẽn năng lực sản xuất. Các chip H100 mới nhất đều đã được bán hết và hiện tại đơn hàng sẽ không có cho đến quý 1 hoặc thậm chí quý 2 năm 2024.
Nguyên nhân sâu xa là do năng lực sản xuất linh kiện GPU thiếu trầm trọng, từ đó ảnh hưởng đến nguồn cung.
Lấy chip H100 làm ví dụ, các thành phần quan trọng nhất của nó là: 1) chip logic; 2) chip nhớ HBM; 3) gói CoWoS.
Kích thước chip logic lõi là 814 mm vuông và chủ yếu được cung cấp bởi Nhà máy Đài Nam số 18 tiên tiến nhất của TSMC. Nút quy trình được sử dụng là "4N", thực chất là 5nm+. Do thị trường chip trung tâm dữ liệu không liên quan đến PC, điện thoại thông minh và không liên quan đến AI yếu nên tỷ lệ sử dụng công suất 5nm+ của TSMC hiện dưới 70%. Vì vậy, không có vấn đề gì với việc cung cấp chip logic.
Bên cạnh chip logic trung tâm của H100 là 6 HBM (High Bandwidth Memory) là chip nhớ DRAM dựa trên công nghệ xếp chồng 3D, có thể xếp chồng theo chiều dọc giống như các tầng trong một tòa nhà chọc trời, xếp chồng nhiều chip DDR lại với nhau, thông qua silicon thông qua kết nối (TSV) và sử dụng liên kết TCB để đạt được băng thông cao hơn, độ rộng bit cao hơn, mức tiêu thụ điện năng thấp hơn và kích thước nhỏ hơn.
Chip bộ nhớ rất quan trọng đối với hiệu suất GPU, đặc biệt là GPU hiệu suất cao được sử dụng để đào tạo AI. Khối lượng công việc suy luận và đào tạo là những nhiệm vụ đòi hỏi nhiều bộ nhớ. Khi số lượng tham số trong mô hình AI tăng theo cấp số nhân, chỉ riêng trọng lượng đã đẩy kích thước mô hình lên tới terabyte. Do đó, khả năng lưu trữ và truy xuất dữ liệu huấn luyện và suy luận từ bộ nhớ sẽ xác định giới hạn trên của hiệu suất GPU.
Là người tiên phong về HBM, nguồn cung cấp HBM gần như được độc quyền bởi nhà sản xuất chip nhớ Hàn Quốc SK Hynix, với thị phần hơn 95%, đồng thời là nhà sản xuất duy nhất có khả năng sản xuất HBM3 sử dụng trong nhiều mẫu H100 khác nhau.
Nguồn cung HBM3 hiện cũng khá khan hiếm, các phương tiện truyền thông trước đó cho biết Nvidia và AMD đã yêu cầu SK Hynix cung cấp các mẫu chip HBM3E thế hệ tiếp theo chưa được sản xuất hàng loạt. Nvidia đã yêu cầu SK Hynix cung cấp HBM3E càng sớm càng tốt và sẵn sàng trả một khoản "phí" .
Tuy nhiên, do các nhà sản xuất chip nhớ lớn đã đầu tư mạnh để tăng năng lực sản xuất HBM3 nên tình trạng nguồn cung khan hiếm có thể giảm bớt trong năm nay. Theo các phương tiện truyền thông gần đây đưa tin, sau khi vượt qua bài kiểm tra chất lượng cuối cùng, Samsung Electronics đã ký thỏa thuận với Nvidia vào ngày 31 tháng 8 để cung cấp HBM3 cho Nvidia. Nó sẽ có sẵn bắt đầu sớm nhất là vào tuần tới.
Trước đó, Citigroup cũng tiết lộ trong báo cáo rằng Samsung sẽ bắt đầu cung cấp HBM3 cho Nvidia trong quý 4.
Một nút thắt sản xuất lớn khác nằm ở khâu đóng gói CoWoS.
Công nghệ đóng gói HBM và CoWoS bổ sung cho nhau. HBM có yêu cầu cao về số lượng miếng đệm và chiều dài vết ngắn, điều này đòi hỏi công nghệ đóng gói tiên tiến CoWoS để đạt được các kết nối ngắn, mật độ cao mà không thể đạt được trên PCB hoặc thậm chí cả chất nền đóng gói.
Hiện nay hầu hết các HBM đều sử dụng công nghệ đóng gói CoWoS. Nhà cung cấp chính bao bì Nvidia GPU CoWoS là TSMC. Tuy nhiên, do nhu cầu tăng trưởng bùng nổ nên ngay cả khi dây chuyền sản xuất của TSMC hoạt động hết công suất cũng sẽ khó có thể lấp đầy khoảng cách giữa cung và cầu. Để đạt được mục tiêu này, TSMC đã mở ba nhà máy mới ở Zhunan, Longtan và Đài Trung. Nhà máy Zhunan có diện tích 14,3 ha, lớn hơn các nhà máy đóng gói khác cộng lại.
Một số nhà phân tích thị trường tin rằng TSMC đang tích cực tăng năng lực sản xuất bao bì tiên tiến để đáp ứng nhiều nhu cầu thị trường hơn về các giải pháp đóng gói tiên tiến của mình.
Ngoài ra, Giám đốc tài chính của NVIDIA Colette Kress mới đây tiết lộ rằng NVIDIA đã phát triển và chứng nhận năng lực sản xuất của các nhà cung cấp khác trong các quy trình chính như đóng gói CoWoS. Dự kiến nguồn cung sẽ tăng dần trong vài quý tới và NVIDIA sẽ tiếp tục làm việc với nhà cung cấp để nâng cao năng lực sản xuất.
Tuy nhiên, trước sự mua sắm hoảng loạn của nhiều bên, GPU Nvidia đã rơi vào tình trạng tắc nghẽn năng lực sản xuất. Các chip H100 mới nhất đều đã được bán hết và hiện tại đơn hàng sẽ không có cho đến quý 1 hoặc thậm chí quý 2 năm 2024.
Nguyên nhân sâu xa là do năng lực sản xuất linh kiện GPU thiếu trầm trọng, từ đó ảnh hưởng đến nguồn cung.
Lấy chip H100 làm ví dụ, các thành phần quan trọng nhất của nó là: 1) chip logic; 2) chip nhớ HBM; 3) gói CoWoS.
Bên cạnh chip logic trung tâm của H100 là 6 HBM (High Bandwidth Memory) là chip nhớ DRAM dựa trên công nghệ xếp chồng 3D, có thể xếp chồng theo chiều dọc giống như các tầng trong một tòa nhà chọc trời, xếp chồng nhiều chip DDR lại với nhau, thông qua silicon thông qua kết nối (TSV) và sử dụng liên kết TCB để đạt được băng thông cao hơn, độ rộng bit cao hơn, mức tiêu thụ điện năng thấp hơn và kích thước nhỏ hơn.
Là người tiên phong về HBM, nguồn cung cấp HBM gần như được độc quyền bởi nhà sản xuất chip nhớ Hàn Quốc SK Hynix, với thị phần hơn 95%, đồng thời là nhà sản xuất duy nhất có khả năng sản xuất HBM3 sử dụng trong nhiều mẫu H100 khác nhau.
Nguồn cung HBM3 hiện cũng khá khan hiếm, các phương tiện truyền thông trước đó cho biết Nvidia và AMD đã yêu cầu SK Hynix cung cấp các mẫu chip HBM3E thế hệ tiếp theo chưa được sản xuất hàng loạt. Nvidia đã yêu cầu SK Hynix cung cấp HBM3E càng sớm càng tốt và sẵn sàng trả một khoản "phí" .
Tuy nhiên, do các nhà sản xuất chip nhớ lớn đã đầu tư mạnh để tăng năng lực sản xuất HBM3 nên tình trạng nguồn cung khan hiếm có thể giảm bớt trong năm nay. Theo các phương tiện truyền thông gần đây đưa tin, sau khi vượt qua bài kiểm tra chất lượng cuối cùng, Samsung Electronics đã ký thỏa thuận với Nvidia vào ngày 31 tháng 8 để cung cấp HBM3 cho Nvidia. Nó sẽ có sẵn bắt đầu sớm nhất là vào tuần tới.
Trước đó, Citigroup cũng tiết lộ trong báo cáo rằng Samsung sẽ bắt đầu cung cấp HBM3 cho Nvidia trong quý 4.
Một nút thắt sản xuất lớn khác nằm ở khâu đóng gói CoWoS.
Hiện nay hầu hết các HBM đều sử dụng công nghệ đóng gói CoWoS. Nhà cung cấp chính bao bì Nvidia GPU CoWoS là TSMC. Tuy nhiên, do nhu cầu tăng trưởng bùng nổ nên ngay cả khi dây chuyền sản xuất của TSMC hoạt động hết công suất cũng sẽ khó có thể lấp đầy khoảng cách giữa cung và cầu. Để đạt được mục tiêu này, TSMC đã mở ba nhà máy mới ở Zhunan, Longtan và Đài Trung. Nhà máy Zhunan có diện tích 14,3 ha, lớn hơn các nhà máy đóng gói khác cộng lại.
Một số nhà phân tích thị trường tin rằng TSMC đang tích cực tăng năng lực sản xuất bao bì tiên tiến để đáp ứng nhiều nhu cầu thị trường hơn về các giải pháp đóng gói tiên tiến của mình.
Ngoài ra, Giám đốc tài chính của NVIDIA Colette Kress mới đây tiết lộ rằng NVIDIA đã phát triển và chứng nhận năng lực sản xuất của các nhà cung cấp khác trong các quy trình chính như đóng gói CoWoS. Dự kiến nguồn cung sẽ tăng dần trong vài quý tới và NVIDIA sẽ tiếp tục làm việc với nhà cung cấp để nâng cao năng lực sản xuất.
