Jensen Huang (Hoàng Nhân Huân), đồng sáng lập, Chủ tịch kiêm CEO Nvidia: "Chúng tôi không cần phải giả vờ rằng công ty luôn gặp nguy hiểm. Chúng tôi luôn gặp nguy hiểm".
Vào cuối tháng 8/2023, Nvidia đã tổ chức một cuộc họp định kỳ toàn thể nhân viên. Vào thời điểm đó, giá cổ phiếu của Nvidia tăng vọt cùng với doanh số bán hàng và giá trị thị trường đều đặn quay trở lại mức hơn một nghìn tỷ đô la Mỹ, giá trị cổ phiếu mà nhân viên nắm giữ đã cao hơn gấp ba lần so với đầu năm. Giám đốc điều hành Nvidia Jensen Huang nhắc nhở họ đừng quá phấn khích vì giá trị thị trường của công ty sẽ đạt 2 nghìn tỷ USD.
Trên thế giới chỉ có Apple, Microsoft và Google có giá trị thị trường hơn 2 nghìn tỷ đô la Mỹ và mỗi hãng đều nắm chắc hơn một tỷ người dùng. Đó cũng là tất cả những lý do giúp Nvidia trở thành công ty nghìn tỷ USD. Sau khi ChatGPT trở nên phổ biến, các hãng công nghệ khổng lồ đã đặt một đơn đặt hàng lớn với NVIDIA với tổng trị giá hàng tỷ USD.
Gần đây NVIDIA ra mắt GPU H200 mới, điểm khác biệt lớn nhất so với thế hệ trước là việc sử dụng chip nhớ mới, sức mạnh tính toán thậm chí còn chưa được công bố rõ ràng và giá trị thị trường của hãng đã tăng hơn 70 tỷ đô la Mỹ. Nvidia cho biết đã tìm được người mua H200 - năm tới H200 sẽ xuất hiện nhiều ở các trung tâm dữ liệu của Amazon, Google, Microsoft và các công ty khác.
Khi Nvidia hướng tới con số 2 nghìn tỷ USD, những khách hàng này sẽ tiếp tục đặt những đơn đặt hàng lớn nhưng họ cũng sẽ cạnh tranh trực tiếp với Nvidia. Hội nghị Microsoft Ignite hôm vừa qua là sự phản ánh trực tiếp mối quan hệ này. Trong khi Microsoft phát hành chip AI Maia 100 tự phát triển, họ cũng mời Jensen Huang công bố sự hợp tác mới.
Ngoài Microsoft, các khách hàng lớn của Nvidia như Meta, Google, Amazon, Tesla cũng đã đầu tư nhiều nguồn lực hơn vào việc phát triển chip AI trong năm nay, thậm chí OpenAI cũng đã bắt đầu chuẩn bị các dự án chip.
GPT-4, được phát hành vào tháng 3 năm 2023, đã khơi dậy toàn bộ ngành công nghiệp trí tuệ nhân tạo. Theo thông tin mà tổ chức nghiên cứu chip SemiAnalysis có được, OpenAI đã sử dụng 25.000 GPU Nvidia A100 để đào tạo trong hơn ba tháng trước khi tạo ra mẫu GPT-4 cỡ lớn.
A100 là GPU được Nvidia phát hành vào năm 2020. Vài tháng trước khi ra mắt GPT-4, NVIDIA ra mắt GPU H100, tăng sức mạnh tính toán lên gấp 3 lần A100 và được tối ưu đặc biệt cho kiến trúc Transformer (lớp dưới cùng của các model lớn) - ChatGPT vẫn chưa được bung ra. Đối với OpenAI muốn phát triển các mô hình mạnh mẽ hơn và các công ty đang bắt kịp OpenAI, H100 là nguồn tài nguyên chiến lược cần được tích trữ với số lượng lớn và ngay lập tức trở nên thiếu hụt. Sau khi OpenAI phát hành GPT-4, hãng đã phải hai lần ngừng cho người dùng đăng ký do thiếu GPU.
Elon Musk cho biết H100 “khó mua hơn thuốc”. Thay vào đó, các công ty có nhu cầu cấp thiết về sức mạnh tính toán đang đặt hàng A100. Do các hạn chế thương mại của chính phủ Hoa Kỳ, các công ty Trung Quốc chỉ có thể mua các phiên bản hiệu suất thấp hơn của A800 và H800. Năng lực sản xuất của những GPU này cũng không theo kịp nhu cầu.
Sequoia Capital cho biết vào tháng 9 năm nay rằng nút thắt tăng trưởng đối với nhiều công ty không phải là nhu cầu của khách hàng mà là năng lực sản xuất GPU mới nhất của Nvidia.
NVIDIA là công ty thiết kế, không trực tiếp sản xuất chip nên phải nhờ TSMC sản xuất chip, mua bộ nhớ hiệu năng cao của hãng khác rồi giao cho nhà cung cấp để lắp ráp thành card. Giá của một chiếc H100 là khoảng 3.000 USD, trong khi Nvidia bán nó với giá hơn 30.000 USD, gấp 10 lần:
- Nvidia đặt hàng với TSMC sản xuất chip GPU sử dụng dây chuyền sản xuất chip 4 nanomet, với chi phí trung bình 155 USD/chip.
- Nvidia đã mua sáu chip HBM3 (Bộ nhớ băng thông cao) từ SK Hynix (và có thể cả Samsung và Micron trong tương lai) với chi phí khoảng 2.000 USD. Điều này là do GPU xử lý các tác vụ mô hình lớn và cần được trang bị bộ nhớ lớn hơn, tốc độ truyền dữ liệu nhanh hơn điện thoại di động và máy tính để đảm bảo hiệu quả.
- GPU do dây chuyền sản xuất chip của TSMC và chip HBM3 do NVIDIA mua được gửi đến dây chuyền sản xuất bao bì CoWoS của TSMC để xử lý thành H100 với mức giảm hiệu suất tối thiểu với chi phí khoảng 723 USD.
- H100 được gửi đến các nhà cung cấp khác của Nvidia, và 4 hoặc 8 chiếc được lắp ráp lại với nhau, cộng với bộ truyền dữ liệu, để tạo thành một máy chủ.
H100 có lợi nhuận cao đã đẩy tỷ suất lợi nhuận của Nvidia lên 40%, vượt qua tất cả các hãng chip cùng ngành và gần gấp đôi so với LVMH, tập đoàn hàng xa xỉ lớn nhất thế giới.
Lợi nhuận cao của NVIDIA chính là chi phí của khách hàng. Để thu hút người dùng và kích hoạt hoạt động kinh doanh bằng cách tận dụng làn sóng các mô hình lớn, nhiều công ty lớn mua GPU và sau đó thua lỗ cung cấp dịch vụ cho các bên bên ngoài. Sau khi GPT-4 được phát hành, Microsoft đã sử dụng nó cho tìm kiếm Bing, cho phép người dùng sử dụng miễn phí.
Điều Huang thường nói: “Mua càng nhiều GPU, càng tiết kiệm” đã trở thành dĩ vãng. Càng nhiều công ty lớn mua, Nvidia càng kiếm được nhiều trong khi họ càng thua lỗ. Một lựa chọn hiển nhiên xuất hiện: tự mình phát triển chip có thể tiết kiệm hơn.
Trong khoảng mười năm trở lại đây, độ khó của việc phát triển chip tiếp tục giảm: sự tồn tại của các xưởng đúc như TSMC và Samsung có nghĩa là họ không phải lo lắng về các vấn đề của xưởng đúc chip; các nhân tài chip hoàn toàn di động, giảm bớt khó khăn về thiết kế chip.
Dylan Patel, nhà phân tích trưởng của tổ chức nghiên cứu chip SemiAnalysis, cho biết chi phí hàng năm để phát triển một con chip AI tương tự Maia 100 của Microsoft là khoảng 100 triệu USD - đối với một công ty lớn có chi phí R&D lên tới hàng chục tỷ USD mỗi năm. Các công ty Internet, không có gì cả.
ChatGPT đã dẫn đến sự bùng nổ của các mô hình ngôn ngữ lớn và các công ty lớn không phải lo lắng về các tình huống sử dụng. Công ty tư vấn Gartner dự đoán vào tháng 8 năm nay rằng thị trường chip AI toàn cầu sẽ phát triển nhanh chóng với sự phổ biến của ChatGPT và sẽ đạt gần 120 tỷ USD vào năm 2027, gấp 2,7 lần so với năm ngoái.
Các công ty lớn muốn đuổi kịp Nvidia về khả năng nghiên cứu và phát triển chip AI, nhưng họ có thể không đạt được điều đó dù đầu tư 5 đến 10 năm. Tuy nhiên, họ chỉ cần bỏ ra mức chi phí tương đương với Nvidia và đạt được hiệu quả bằng 1/10 là họ đã có lãi.
Việc đào tạo các mô hình lớn hơn và mạnh hơn đòi hỏi nhiều GPU. Để huấn luyện một mô hình lớn đạt chuẩn GPT-3.5, bạn có thể sử dụng 2.000 đến 3.000 GPU A100. Nhưng nếu bạn muốn huấn luyện một mô hình lớn để chuẩn GPT-4, thì hàng chục nghìn GPU chỉ là tấm vé.
Việc đào tạo vẫn chưa kết thúc. Khi người dùng sử dụng các mô hình lớn, các công ty này phải dựa vào GPU để huy động các mô hình lớn - tức là suy luận mô hình lớn. Mô hình lớn cần xử lý dữ liệu đầu vào của người dùng và về cơ bản, mỗi từ cần được chạy riêng biệt trong mô hình lớn. Khi nhận được câu trả lời, tình huống tương tự lại xảy ra. Một mô hình lớn với hàng trăm tỷ tham số đòi hỏi phải sử dụng nhiều GPU mỗi khi chạy.
Nhiều người thực hành mô hình lớn ước tính rằng nếu các mô hình trí tuệ nhân tạo có hàng trăm tỷ tham số trở lên được sử dụng rộng rãi thì chi phí đào tạo và chi phí suy luận của các mô hình lớn sẽ lên tới 2:8, thậm chí là 1:9. Suy ra GPT-4 hoặc các model lớn hơn về cơ bản không thể tách rời GPU hiệu năng cao của NVIDIA.
Được biết rằng suy luận mô hình lớn với các tham số lớn hơn sẽ tạo ra yêu cầu về sức mạnh tính toán rất lớn và không thể triển khai trên các thiết bị cục bộ (một mô hình lớn với 7 tỷ tham số cần 14G bộ nhớ, vượt quá cấu hình phần cứng và khả năng tuyệt đối của tất cả các thiết bị cục bộ), do đó nhiều nhân viên NVIDIA tin rằng giá trị thị trường của công ty sẽ tiếp tục tăng.
Khi các công ty công nghệ phát triển chip AI tự phát triển, điểm xuất phát là một mô hình có thông số suy luận nhỏ hơn, sau đó được mở rộng hơn nữa. Chip Hanguang 800 của Alibaba và chip Kunlun của Baidu đều là chip suy luận, khi Google, Amazon và Tesla sản xuất chip AI, họ cũng bắt đầu bằng suy luận và sau đó tạo ra chip đào tạo.
Chip tự phát triển không phải nộp thuế cho NVIDIA, hiệu năng thấp hơn cũng có thể tiết kiệm chi phí. Theo tính toán của Dylan Patel và những người khác, theo báo giá của Google, chi phí sử dụng chip AI TPUv5e mới nhất của hãng để huấn luyện và suy luận các mô hình lớn với dưới 200 tỷ tham số sẽ thấp hơn so với sử dụng A100 hay H100.
Các công ty lớn thường sử dụng chip AI tự phát triển trong hoạt động kinh doanh của riêng họ trước tiên. Ví dụ: TPU của Google lần đầu tiên hỗ trợ Google Dịch và TPUv5e mới nhất lần đầu tiên được sử dụng trong Google Brad và hàng loạt doanh nghiệp đã chuyển đổi sang mô hình lớn (chẳng hạn như Gmail). Rani Borkar, phó chủ tịch bộ phận chip Azure của Microsoft, cho biết trong cuộc họp báo hôm nay rằng Microsoft đang thử nghiệm chip AI Maia 100 do hãng tự phát triển trong Bing, Office và các doanh nghiệp khác và dự kiến sẽ được đưa vào sử dụng vào đầu năm tới.
Sau khi chip được thử nghiệm nội bộ, các công ty lớn sẽ cung cấp dịch vụ bên ngoài thông qua nền tảng điện toán đám mây để cạnh tranh với Nvidia để giành khách hàng. Vào ngày 8 tháng 11, Anthropic, được Google đầu tư, đã công bố triển khai quy mô lớn TPUv5e để xử lý công việc suy luận của mẫu Claude cỡ lớn của hãng. Những nhiệm vụ này ban đầu thuộc về GPU của Nvidia.
Andy Grove, người tiên phong trong ngành công nghiệp chip và đồng sáng lập Intel, từng nói: “Thành công sinh ra tự mãn, tự mãn dẫn đến thất bại và chỉ có kẻ hoang tưởng mới tồn tại được”. Nvidia cũng là một trong những công ty hoang tưởng nhất ở Thung lũng Silicon, từ phong cách quản lý cho đến kế hoạch chiến lược.
Khoảng mười năm trước, Jensen Huang đã truyền lại kinh nghiệm cho các sinh viên tốt nghiệp trong số khán giả tại Đại học Bang Oregon: "Khi ai đó cống hiến hết mình, họ có thể làm được những điều mà bạn không thể làm. Hãy nỗ lực hết mình và không để lại chỗ cho sự nhận thức muộn màng". Và rằng: “Bạn không phòng ngừa rủi ro và bạn không đặt cược nhiều lần. Bạn chỉ đặt cược vào con đường mà bạn cảm thấy đúng”.
Từ năm 2006, Nvidia đã đầu tư một số tiền lớn vào nghiên cứu và phát triển CUDA nhằm làm cho GPU trở nên hữu ích bên cạnh game và phim, khiến các nhà đầu tư và nhà phân tích Phố Wall không hiểu vì sao họ tiếp tục tăng hiệu năng tính toán cho card đồ họa game, khiến chúng ngày càng đắt đỏ và khó bán?
Phải đến khoảng mười năm sau, trí tuệ nhân tạo và deep learning mới chứng tỏ được giá trị thương mại, khoản đầu tư ban đầu của NVIDIA mới được công nhận và CUDA trở thành con hào vô hình của NVIDIA.
Để tính đến mức tiêu thụ điện năng của điện thoại di động và máy tính xách tay, chip của các đối thủ như Apple và Intel thường chỉ có thể tăng dưới 20% một năm. Chip AI của NVIDIA chỉ xét đến hiệu năng.
Huang Renxun không thỏa mãn "Định luật Moore" về việc tăng gấp đôi hiệu suất sau mỗi 18 tháng. Ông đề xuất "Định luật Hoàng" nhanh hơn và yêu cầu nhóm nhắm mục tiêu này và phát hành một sản phẩm mới hai năm một lần để duy trì lợi thế tuyệt đối về hiệu suất tính toán. Vào tháng 3 năm sau, Nvidia sẽ cho ra mắt sản phẩm thế hệ tiếp theo là GPU B100, được kỳ vọng sẽ vượt trội đáng kể so với H100 về hiệu năng và đẩy nhanh tốc độ bắt kịp mọi đối thủ.
Mặc dù mức tiêu thụ điện năng từ P100, V100 đến A100 nằm trong khoảng từ 250W đến 400W, nhưng mức tiêu thụ điện năng của H100 trực tiếp lên tới 700 W, gấp hàng chục lần mức tiêu thụ điện năng của chip AI theo lộ trình FPGA hoặc ASIC. Nhưng hiệu năng tính toán mạnh mẽ hơn khiến GPU của Nvidia không thể thay thế được.
Trước sự cạnh tranh ngày càng khốc liệt của thị trường, NVIDIA đã đẩy nhanh việc ra mắt sản phẩm mới. H200 vừa ra mắt ngày 13/11, là lần đầu tiên NVIDIA đưa vào một “mô hình chuyển tiếp” giữa hai thế hệ sản phẩm chủ lực. Theo thông tin từ SemiAnalysis, Nvidia sẽ phát hành thế hệ sản phẩm B100 tiếp theo vào năm 2025. Chu kỳ phát hành đã tăng tốc từ hai năm trước lên một năm một lần và sẽ tiếp tục.
Nhu cầu thị trường chip và năng lực sản xuất thường không khớp nhau, nhưng Huang không bao giờ quan tâm đến chu kỳ. Khi có linh kiện quan trọng, được săn lùng, ông ta sẽ đặt hàng khóa năng lực sản xuất, dù có nguy cơ hết hàng nhưng ông ta cũng phải đảm bảo nguồn cung và ép đối thủ cạnh tranh.
Điểm nghẽn hiện tại trong việc cung cấp chip AI chủ yếu là bao bì tiên tiến CoWoS và HBM3. NVIDIA đã ký hợp đồng khoảng 60% năng lực sản xuất CoWoS của TSMC và đặt các đơn đặt hàng lớn với ba nhà cung cấp của HBM là SK Hynix, Samsung và Micron.
Theo báo cáo tài chính của NVIDIA, tính đến cuối tháng 7 năm nay, NVIDIA vẫn có các đơn đặt hàng, hàng tồn kho và cam kết mua công suất trị giá 11,15 tỷ USD và thêm 3,81 tỷ USD tiền tạm ứng hợp đồng cung cấp - không có công ty nào khác trong ngành có nhiều hàng tồn kho và thanh toán tạm ứng lớn như vậy.
Việc mua số lượng lớn của Nvidia khiến các nhà cung cấp lo lắng. Chủ tịch TSMC Liu Deyin cho biết tại cuộc họp kết quả quý 2 năm nay rằng không rõ liệu nhu cầu nóng về AI có phải là bong bóng ngắn hạn hay không. Nhưng đơn đặt hàng của NVIDIA vẫn còn đó và TSMC chỉ có thể lựa chọn mở rộng sản xuất đáng kể để theo kịp.
Dưới sự theo đuổi đơn đặt hàng liên tục của Nvidia, TSMC đã lên kế hoạch tăng công suất sản xuất CoWoS lên 35.000 chiếc mỗi tháng vào năm tới, tăng 120% so với cùng kỳ năm ngoái.
Chiến lược kiểm soát chuỗi cung ứng tối ưu này đã được khắc sâu vào DNA của NVIDIA. Năm 1997, Huang đặt hàng xưởng sản xuất trị giá 127 triệu USD với TSMC. Người sáng lập TSMC Zhang Zhongmou thỉnh thoảng quay lại để nghe lại lời giải thích kinh doanh của Huang và đảm bảo rằng ông ấy thực sự cần rất nhiều tấm bán dẫn - doanh thu hàng năm của Nvidia năm đó chỉ là 27 triệu USD.
Nvidia cũng áp dụng chiến lược “phân bổ cổ phiếu” thường được sử dụng trong ngành hàng xa xỉ. Các đại lý kênh và khách hàng muốn có chip hàng đầu như H100 và A100 trước tiên phải mua một số lượng chip suy luận nhất định như L40S phù hợp với các mẫu nhỏ hơn, điều này vô tình khiến các đối thủ cạnh tranh rời xa thị trường.
Địa chính trị là trở ngại lớn nhất mà Nvidia phải đối mặt. Trong năm tài chính vừa qua, thị trường Trung Quốc đóng góp 47% doanh thu của Nvidia. Chính phủ Hoa Kỳ đã thắt chặt xuất khẩu chip hiệu năng cao hai lần vào năm ngoái và vào tháng 10 năm nay, trong đó Nvidia là mục tiêu hạn chế chính.
Cuộc phản công của Nvidia là tung ra sản phẩm mới dựa trên đường màu đỏ. Ngay sau vòng kiểm soát đầu tiên, Nvidia đã giảm băng thông của A100 và bàn giao A800, phiên bản đặc biệt của chip Trung Quốc tuân thủ quy định mà không ảnh hưởng đến sức mạnh tính toán, phiên bản thay thế của chip hàng đầu H100.
Đầu tháng 11 năm nay, chưa đầy một tháng sau khi Mỹ cập nhật lệnh cấm chip, Nvidia đã cho ra mắt GPU H20 đáp ứng được yêu cầu mới. Mặc dù sức mạnh tính toán thẻ đơn của H20 chỉ là 296 TFLPOS, bằng 57% chip AI hàng đầu của công ty Trung Quốc nhưng bộ nhớ và băng thông cao hơn đảm bảo có thể sử dụng hàng loạt, nếu mua đủ vẫn sẽ rất cạnh tranh. Giá cổ phiếu của NVIDIA tăng gần 10%.
NVIDIA là một ngoại lệ. Thương hiệu của họ lâu nay chỉ phủ sóng một bộ phận nhỏ người chơi game PC, hiện 50% doanh thu của họ đến từ một số công ty điện toán đám mây lớn và các gã khổng lồ Internet: Amazon, Microsoft, Google, Meta, ByteDance, Alibaba, v.v.
Các công ty lớn mua bộ xử lý Nvidia một phần để sử dụng cho riêng họ, nhưng họ thường cho khách hàng khác thuê chúng thông qua nền tảng điện toán đám mây. Mối quan hệ khách hàng cuối cùng vẫn nằm trong tay các công ty nền tảng điện toán đám mây này. Nếu một ngày họ có được một sản phẩm có đủ hiệu năng, họ có thể thay thế Nvidia bất cứ lúc nào.
NVIDIA dựa vào CUDA để ràng buộc hàng triệu nhà phát triển AI và thu hút các công ty điện toán đám mây lớn mua GPU của họ. Như nhà phân tích nổi tiếng Ben Thompson đã nói: "Nvidia không phải là công ty phần cứng hay công ty phần mềm: đó là công ty kết hợp cả hai".
Logic này cho đến nay vẫn đúng và CUDA vẫn mang lại lợi thế cho GPU của Nvidia trong việc khám phá trí tuệ nhân tạo. Nhưng giờ đây Huang muốn tiến thêm một bước nữa và trực tiếp biến khách hàng của nền tảng điện toán đám mây thành khách hàng.
Vào tháng 3 năm nay, khi GPU khan hiếm nhất, NVIDIA đã ra mắt dịch vụ điện toán đám mây DXG Cloud: NVIDIA cho thuê lại GPU đã bán cho các công ty điện toán đám mây, nhân viên NVIDIA tối ưu hóa thêm và sau đó cho khách hàng cần sức mạnh tính toán GPU thuê lại.
Hết lần này đến lần khác, nền tảng điện toán đám mây gánh chịu chi phí xây dựng trung tâm dữ liệu, nhưng khách hàng lại tìm đến Nvidia. Nhưng Microsoft, Google và Oracle vẫn tham gia kế hoạch của Nvidia. Đổi lại, họ sớm có được chiếc H100 khan hiếm nhất. AWS, nhà cung cấp điện toán đám mây lớn nhất thế giới, từ chối hợp tác và mãi đến tháng 7 năm nay mới tung ra dịch vụ cho thuê điện toán H100.
Huang cho biết: "Đây là đợt mở rộng mô hình kinh doanh lớn nhất và quan trọng nhất trong lịch sử của chúng tôi. Nvidia không chỉ cung cấp GPU cho các công ty điện toán đám mây mà còn đưa chính nó ra thị trường".
Giám đốc điều hành OpenAI Sam Altman cho biết trong một cuộc phỏng vấn gần đây rằng mặc dù năm nay thiếu GPU nhưng tình hình sẽ tốt hơn trong năm tới. Bởi vì các chip AI mới do Google, Microsoft và các công ty khác phát triển sẽ được đưa ra thị trường. OpenAI đã bắt đầu thử nghiệm chip AI do Microsoft phát hành.
“Đây là điều kỳ diệu của chủ nghĩa tư bản và hiện nay nhiều công ty muốn trở thành Nvidia”, Altman nói. Và sức ép dồn ép của Nvidia đã không cho họ lựa chọn nào khác.
Trên thế giới chỉ có Apple, Microsoft và Google có giá trị thị trường hơn 2 nghìn tỷ đô la Mỹ và mỗi hãng đều nắm chắc hơn một tỷ người dùng. Đó cũng là tất cả những lý do giúp Nvidia trở thành công ty nghìn tỷ USD. Sau khi ChatGPT trở nên phổ biến, các hãng công nghệ khổng lồ đã đặt một đơn đặt hàng lớn với NVIDIA với tổng trị giá hàng tỷ USD.
Gần đây NVIDIA ra mắt GPU H200 mới, điểm khác biệt lớn nhất so với thế hệ trước là việc sử dụng chip nhớ mới, sức mạnh tính toán thậm chí còn chưa được công bố rõ ràng và giá trị thị trường của hãng đã tăng hơn 70 tỷ đô la Mỹ. Nvidia cho biết đã tìm được người mua H200 - năm tới H200 sẽ xuất hiện nhiều ở các trung tâm dữ liệu của Amazon, Google, Microsoft và các công ty khác.
Khi Nvidia hướng tới con số 2 nghìn tỷ USD, những khách hàng này sẽ tiếp tục đặt những đơn đặt hàng lớn nhưng họ cũng sẽ cạnh tranh trực tiếp với Nvidia. Hội nghị Microsoft Ignite hôm vừa qua là sự phản ánh trực tiếp mối quan hệ này. Trong khi Microsoft phát hành chip AI Maia 100 tự phát triển, họ cũng mời Jensen Huang công bố sự hợp tác mới.
Ngoài Microsoft, các khách hàng lớn của Nvidia như Meta, Google, Amazon, Tesla cũng đã đầu tư nhiều nguồn lực hơn vào việc phát triển chip AI trong năm nay, thậm chí OpenAI cũng đã bắt đầu chuẩn bị các dự án chip.
Với tỷ suất lợi nhuận gấp đôi LVMH, các khách hàng lớn có động lực phát triển chip riêng
NVIDIA đã được thành lập được 30 năm và trong 20 năm đầu tiên, công ty chuyên về thị trường ngách card đồ họa chơi game. Nhu cầu khai thác khổng lồ do tiền điện tử mang lại đã cho phép NVIDIA kích hoạt doanh số bán card đồ họa. Kết quả là hiệu suất và giá trị thị trường của NVIDIA đã tăng vọt. Doanh thu của NVIDIA không chỉ vượt quá 10 tỷ đô la Mỹ vào năm 2018 và tỷ suất lợi nhuận của nó còn vượt quá 30%. Giá cổ phiếu cũng tăng từ năm 2016 đến tháng 10 năm 2018 đến 800%. Khi Bitcoin tăng lên 68.000 USD khi đại dịch COVID-19 hoành hành, giá trị thị trường của NVIDIA đã đạt gần 1 nghìn tỷ USD, khiến nó trở thành công ty chip có giá trị nhất.
A100 là GPU được Nvidia phát hành vào năm 2020. Vài tháng trước khi ra mắt GPT-4, NVIDIA ra mắt GPU H100, tăng sức mạnh tính toán lên gấp 3 lần A100 và được tối ưu đặc biệt cho kiến trúc Transformer (lớp dưới cùng của các model lớn) - ChatGPT vẫn chưa được bung ra. Đối với OpenAI muốn phát triển các mô hình mạnh mẽ hơn và các công ty đang bắt kịp OpenAI, H100 là nguồn tài nguyên chiến lược cần được tích trữ với số lượng lớn và ngay lập tức trở nên thiếu hụt. Sau khi OpenAI phát hành GPT-4, hãng đã phải hai lần ngừng cho người dùng đăng ký do thiếu GPU.
Elon Musk cho biết H100 “khó mua hơn thuốc”. Thay vào đó, các công ty có nhu cầu cấp thiết về sức mạnh tính toán đang đặt hàng A100. Do các hạn chế thương mại của chính phủ Hoa Kỳ, các công ty Trung Quốc chỉ có thể mua các phiên bản hiệu suất thấp hơn của A800 và H800. Năng lực sản xuất của những GPU này cũng không theo kịp nhu cầu.
Sequoia Capital cho biết vào tháng 9 năm nay rằng nút thắt tăng trưởng đối với nhiều công ty không phải là nhu cầu của khách hàng mà là năng lực sản xuất GPU mới nhất của Nvidia.
NVIDIA là công ty thiết kế, không trực tiếp sản xuất chip nên phải nhờ TSMC sản xuất chip, mua bộ nhớ hiệu năng cao của hãng khác rồi giao cho nhà cung cấp để lắp ráp thành card. Giá của một chiếc H100 là khoảng 3.000 USD, trong khi Nvidia bán nó với giá hơn 30.000 USD, gấp 10 lần:
- Nvidia đặt hàng với TSMC sản xuất chip GPU sử dụng dây chuyền sản xuất chip 4 nanomet, với chi phí trung bình 155 USD/chip.
- Nvidia đã mua sáu chip HBM3 (Bộ nhớ băng thông cao) từ SK Hynix (và có thể cả Samsung và Micron trong tương lai) với chi phí khoảng 2.000 USD. Điều này là do GPU xử lý các tác vụ mô hình lớn và cần được trang bị bộ nhớ lớn hơn, tốc độ truyền dữ liệu nhanh hơn điện thoại di động và máy tính để đảm bảo hiệu quả.
- GPU do dây chuyền sản xuất chip của TSMC và chip HBM3 do NVIDIA mua được gửi đến dây chuyền sản xuất bao bì CoWoS của TSMC để xử lý thành H100 với mức giảm hiệu suất tối thiểu với chi phí khoảng 723 USD.
- H100 được gửi đến các nhà cung cấp khác của Nvidia, và 4 hoặc 8 chiếc được lắp ráp lại với nhau, cộng với bộ truyền dữ liệu, để tạo thành một máy chủ.
H100 có lợi nhuận cao đã đẩy tỷ suất lợi nhuận của Nvidia lên 40%, vượt qua tất cả các hãng chip cùng ngành và gần gấp đôi so với LVMH, tập đoàn hàng xa xỉ lớn nhất thế giới.
Lợi nhuận cao của NVIDIA chính là chi phí của khách hàng. Để thu hút người dùng và kích hoạt hoạt động kinh doanh bằng cách tận dụng làn sóng các mô hình lớn, nhiều công ty lớn mua GPU và sau đó thua lỗ cung cấp dịch vụ cho các bên bên ngoài. Sau khi GPT-4 được phát hành, Microsoft đã sử dụng nó cho tìm kiếm Bing, cho phép người dùng sử dụng miễn phí.
Điều Huang thường nói: “Mua càng nhiều GPU, càng tiết kiệm” đã trở thành dĩ vãng. Càng nhiều công ty lớn mua, Nvidia càng kiếm được nhiều trong khi họ càng thua lỗ. Một lựa chọn hiển nhiên xuất hiện: tự mình phát triển chip có thể tiết kiệm hơn.
Trong khoảng mười năm trở lại đây, độ khó của việc phát triển chip tiếp tục giảm: sự tồn tại của các xưởng đúc như TSMC và Samsung có nghĩa là họ không phải lo lắng về các vấn đề của xưởng đúc chip; các nhân tài chip hoàn toàn di động, giảm bớt khó khăn về thiết kế chip.
Dylan Patel, nhà phân tích trưởng của tổ chức nghiên cứu chip SemiAnalysis, cho biết chi phí hàng năm để phát triển một con chip AI tương tự Maia 100 của Microsoft là khoảng 100 triệu USD - đối với một công ty lớn có chi phí R&D lên tới hàng chục tỷ USD mỗi năm. Các công ty Internet, không có gì cả.
ChatGPT đã dẫn đến sự bùng nổ của các mô hình ngôn ngữ lớn và các công ty lớn không phải lo lắng về các tình huống sử dụng. Công ty tư vấn Gartner dự đoán vào tháng 8 năm nay rằng thị trường chip AI toàn cầu sẽ phát triển nhanh chóng với sự phổ biến của ChatGPT và sẽ đạt gần 120 tỷ USD vào năm 2027, gấp 2,7 lần so với năm ngoái.
Các công ty lớn muốn đuổi kịp Nvidia về khả năng nghiên cứu và phát triển chip AI, nhưng họ có thể không đạt được điều đó dù đầu tư 5 đến 10 năm. Tuy nhiên, họ chỉ cần bỏ ra mức chi phí tương đương với Nvidia và đạt được hiệu quả bằng 1/10 là họ đã có lãi.
Việc đào tạo các mô hình lớn hơn và mạnh hơn đòi hỏi nhiều GPU. Để huấn luyện một mô hình lớn đạt chuẩn GPT-3.5, bạn có thể sử dụng 2.000 đến 3.000 GPU A100. Nhưng nếu bạn muốn huấn luyện một mô hình lớn để chuẩn GPT-4, thì hàng chục nghìn GPU chỉ là tấm vé.
Việc đào tạo vẫn chưa kết thúc. Khi người dùng sử dụng các mô hình lớn, các công ty này phải dựa vào GPU để huy động các mô hình lớn - tức là suy luận mô hình lớn. Mô hình lớn cần xử lý dữ liệu đầu vào của người dùng và về cơ bản, mỗi từ cần được chạy riêng biệt trong mô hình lớn. Khi nhận được câu trả lời, tình huống tương tự lại xảy ra. Một mô hình lớn với hàng trăm tỷ tham số đòi hỏi phải sử dụng nhiều GPU mỗi khi chạy.
Nhiều người thực hành mô hình lớn ước tính rằng nếu các mô hình trí tuệ nhân tạo có hàng trăm tỷ tham số trở lên được sử dụng rộng rãi thì chi phí đào tạo và chi phí suy luận của các mô hình lớn sẽ lên tới 2:8, thậm chí là 1:9. Suy ra GPT-4 hoặc các model lớn hơn về cơ bản không thể tách rời GPU hiệu năng cao của NVIDIA.
Được biết rằng suy luận mô hình lớn với các tham số lớn hơn sẽ tạo ra yêu cầu về sức mạnh tính toán rất lớn và không thể triển khai trên các thiết bị cục bộ (một mô hình lớn với 7 tỷ tham số cần 14G bộ nhớ, vượt quá cấu hình phần cứng và khả năng tuyệt đối của tất cả các thiết bị cục bộ), do đó nhiều nhân viên NVIDIA tin rằng giá trị thị trường của công ty sẽ tiếp tục tăng.
Khi các công ty công nghệ phát triển chip AI tự phát triển, điểm xuất phát là một mô hình có thông số suy luận nhỏ hơn, sau đó được mở rộng hơn nữa. Chip Hanguang 800 của Alibaba và chip Kunlun của Baidu đều là chip suy luận, khi Google, Amazon và Tesla sản xuất chip AI, họ cũng bắt đầu bằng suy luận và sau đó tạo ra chip đào tạo.
Chip tự phát triển không phải nộp thuế cho NVIDIA, hiệu năng thấp hơn cũng có thể tiết kiệm chi phí. Theo tính toán của Dylan Patel và những người khác, theo báo giá của Google, chi phí sử dụng chip AI TPUv5e mới nhất của hãng để huấn luyện và suy luận các mô hình lớn với dưới 200 tỷ tham số sẽ thấp hơn so với sử dụng A100 hay H100.
Các công ty lớn thường sử dụng chip AI tự phát triển trong hoạt động kinh doanh của riêng họ trước tiên. Ví dụ: TPU của Google lần đầu tiên hỗ trợ Google Dịch và TPUv5e mới nhất lần đầu tiên được sử dụng trong Google Brad và hàng loạt doanh nghiệp đã chuyển đổi sang mô hình lớn (chẳng hạn như Gmail). Rani Borkar, phó chủ tịch bộ phận chip Azure của Microsoft, cho biết trong cuộc họp báo hôm nay rằng Microsoft đang thử nghiệm chip AI Maia 100 do hãng tự phát triển trong Bing, Office và các doanh nghiệp khác và dự kiến sẽ được đưa vào sử dụng vào đầu năm tới.
Sau khi chip được thử nghiệm nội bộ, các công ty lớn sẽ cung cấp dịch vụ bên ngoài thông qua nền tảng điện toán đám mây để cạnh tranh với Nvidia để giành khách hàng. Vào ngày 8 tháng 11, Anthropic, được Google đầu tư, đã công bố triển khai quy mô lớn TPUv5e để xử lý công việc suy luận của mẫu Claude cỡ lớn của hãng. Những nhiệm vụ này ban đầu thuộc về GPU của Nvidia.
Cuộc chiến tấn công và phòng thủ trị giá 2 nghìn tỷ USD của Nvidia
"Chúng tôi không cần phải giả vờ rằng công ty luôn gặp nguy hiểm. Thực tế, chúng tôi luôn gặp nguy hiểm và chúng tôi biết sâu sắc về điều đó", CEO Nvidia nói trong một sự kiện vào ngày 9 tháng 11.Andy Grove, người tiên phong trong ngành công nghiệp chip và đồng sáng lập Intel, từng nói: “Thành công sinh ra tự mãn, tự mãn dẫn đến thất bại và chỉ có kẻ hoang tưởng mới tồn tại được”. Nvidia cũng là một trong những công ty hoang tưởng nhất ở Thung lũng Silicon, từ phong cách quản lý cho đến kế hoạch chiến lược.
Khoảng mười năm trước, Jensen Huang đã truyền lại kinh nghiệm cho các sinh viên tốt nghiệp trong số khán giả tại Đại học Bang Oregon: "Khi ai đó cống hiến hết mình, họ có thể làm được những điều mà bạn không thể làm. Hãy nỗ lực hết mình và không để lại chỗ cho sự nhận thức muộn màng". Và rằng: “Bạn không phòng ngừa rủi ro và bạn không đặt cược nhiều lần. Bạn chỉ đặt cược vào con đường mà bạn cảm thấy đúng”.
Từ năm 2006, Nvidia đã đầu tư một số tiền lớn vào nghiên cứu và phát triển CUDA nhằm làm cho GPU trở nên hữu ích bên cạnh game và phim, khiến các nhà đầu tư và nhà phân tích Phố Wall không hiểu vì sao họ tiếp tục tăng hiệu năng tính toán cho card đồ họa game, khiến chúng ngày càng đắt đỏ và khó bán?
Phải đến khoảng mười năm sau, trí tuệ nhân tạo và deep learning mới chứng tỏ được giá trị thương mại, khoản đầu tư ban đầu của NVIDIA mới được công nhận và CUDA trở thành con hào vô hình của NVIDIA.
Để tính đến mức tiêu thụ điện năng của điện thoại di động và máy tính xách tay, chip của các đối thủ như Apple và Intel thường chỉ có thể tăng dưới 20% một năm. Chip AI của NVIDIA chỉ xét đến hiệu năng.
Huang Renxun không thỏa mãn "Định luật Moore" về việc tăng gấp đôi hiệu suất sau mỗi 18 tháng. Ông đề xuất "Định luật Hoàng" nhanh hơn và yêu cầu nhóm nhắm mục tiêu này và phát hành một sản phẩm mới hai năm một lần để duy trì lợi thế tuyệt đối về hiệu suất tính toán. Vào tháng 3 năm sau, Nvidia sẽ cho ra mắt sản phẩm thế hệ tiếp theo là GPU B100, được kỳ vọng sẽ vượt trội đáng kể so với H100 về hiệu năng và đẩy nhanh tốc độ bắt kịp mọi đối thủ.
Mặc dù mức tiêu thụ điện năng từ P100, V100 đến A100 nằm trong khoảng từ 250W đến 400W, nhưng mức tiêu thụ điện năng của H100 trực tiếp lên tới 700 W, gấp hàng chục lần mức tiêu thụ điện năng của chip AI theo lộ trình FPGA hoặc ASIC. Nhưng hiệu năng tính toán mạnh mẽ hơn khiến GPU của Nvidia không thể thay thế được.
Trước sự cạnh tranh ngày càng khốc liệt của thị trường, NVIDIA đã đẩy nhanh việc ra mắt sản phẩm mới. H200 vừa ra mắt ngày 13/11, là lần đầu tiên NVIDIA đưa vào một “mô hình chuyển tiếp” giữa hai thế hệ sản phẩm chủ lực. Theo thông tin từ SemiAnalysis, Nvidia sẽ phát hành thế hệ sản phẩm B100 tiếp theo vào năm 2025. Chu kỳ phát hành đã tăng tốc từ hai năm trước lên một năm một lần và sẽ tiếp tục.
Nhu cầu thị trường chip và năng lực sản xuất thường không khớp nhau, nhưng Huang không bao giờ quan tâm đến chu kỳ. Khi có linh kiện quan trọng, được săn lùng, ông ta sẽ đặt hàng khóa năng lực sản xuất, dù có nguy cơ hết hàng nhưng ông ta cũng phải đảm bảo nguồn cung và ép đối thủ cạnh tranh.
Điểm nghẽn hiện tại trong việc cung cấp chip AI chủ yếu là bao bì tiên tiến CoWoS và HBM3. NVIDIA đã ký hợp đồng khoảng 60% năng lực sản xuất CoWoS của TSMC và đặt các đơn đặt hàng lớn với ba nhà cung cấp của HBM là SK Hynix, Samsung và Micron.
Theo báo cáo tài chính của NVIDIA, tính đến cuối tháng 7 năm nay, NVIDIA vẫn có các đơn đặt hàng, hàng tồn kho và cam kết mua công suất trị giá 11,15 tỷ USD và thêm 3,81 tỷ USD tiền tạm ứng hợp đồng cung cấp - không có công ty nào khác trong ngành có nhiều hàng tồn kho và thanh toán tạm ứng lớn như vậy.
Việc mua số lượng lớn của Nvidia khiến các nhà cung cấp lo lắng. Chủ tịch TSMC Liu Deyin cho biết tại cuộc họp kết quả quý 2 năm nay rằng không rõ liệu nhu cầu nóng về AI có phải là bong bóng ngắn hạn hay không. Nhưng đơn đặt hàng của NVIDIA vẫn còn đó và TSMC chỉ có thể lựa chọn mở rộng sản xuất đáng kể để theo kịp.
Dưới sự theo đuổi đơn đặt hàng liên tục của Nvidia, TSMC đã lên kế hoạch tăng công suất sản xuất CoWoS lên 35.000 chiếc mỗi tháng vào năm tới, tăng 120% so với cùng kỳ năm ngoái.
Chiến lược kiểm soát chuỗi cung ứng tối ưu này đã được khắc sâu vào DNA của NVIDIA. Năm 1997, Huang đặt hàng xưởng sản xuất trị giá 127 triệu USD với TSMC. Người sáng lập TSMC Zhang Zhongmou thỉnh thoảng quay lại để nghe lại lời giải thích kinh doanh của Huang và đảm bảo rằng ông ấy thực sự cần rất nhiều tấm bán dẫn - doanh thu hàng năm của Nvidia năm đó chỉ là 27 triệu USD.
Nvidia cũng áp dụng chiến lược “phân bổ cổ phiếu” thường được sử dụng trong ngành hàng xa xỉ. Các đại lý kênh và khách hàng muốn có chip hàng đầu như H100 và A100 trước tiên phải mua một số lượng chip suy luận nhất định như L40S phù hợp với các mẫu nhỏ hơn, điều này vô tình khiến các đối thủ cạnh tranh rời xa thị trường.
Địa chính trị là trở ngại lớn nhất mà Nvidia phải đối mặt. Trong năm tài chính vừa qua, thị trường Trung Quốc đóng góp 47% doanh thu của Nvidia. Chính phủ Hoa Kỳ đã thắt chặt xuất khẩu chip hiệu năng cao hai lần vào năm ngoái và vào tháng 10 năm nay, trong đó Nvidia là mục tiêu hạn chế chính.
Cuộc phản công của Nvidia là tung ra sản phẩm mới dựa trên đường màu đỏ. Ngay sau vòng kiểm soát đầu tiên, Nvidia đã giảm băng thông của A100 và bàn giao A800, phiên bản đặc biệt của chip Trung Quốc tuân thủ quy định mà không ảnh hưởng đến sức mạnh tính toán, phiên bản thay thế của chip hàng đầu H100.
Đầu tháng 11 năm nay, chưa đầy một tháng sau khi Mỹ cập nhật lệnh cấm chip, Nvidia đã cho ra mắt GPU H20 đáp ứng được yêu cầu mới. Mặc dù sức mạnh tính toán thẻ đơn của H20 chỉ là 296 TFLPOS, bằng 57% chip AI hàng đầu của công ty Trung Quốc nhưng bộ nhớ và băng thông cao hơn đảm bảo có thể sử dụng hàng loạt, nếu mua đủ vẫn sẽ rất cạnh tranh. Giá cổ phiếu của NVIDIA tăng gần 10%.
Biến khách hàng của khách hàng thành khách hàng của chính bạn
Các công ty nghìn tỷ USD trên thế giới, ngoại trừ Saudi Aramco, đều là những công ty công nghệ thu hút hàng trăm triệu, thậm chí hàng tỷ người tiêu dùng.NVIDIA là một ngoại lệ. Thương hiệu của họ lâu nay chỉ phủ sóng một bộ phận nhỏ người chơi game PC, hiện 50% doanh thu của họ đến từ một số công ty điện toán đám mây lớn và các gã khổng lồ Internet: Amazon, Microsoft, Google, Meta, ByteDance, Alibaba, v.v.
Các công ty lớn mua bộ xử lý Nvidia một phần để sử dụng cho riêng họ, nhưng họ thường cho khách hàng khác thuê chúng thông qua nền tảng điện toán đám mây. Mối quan hệ khách hàng cuối cùng vẫn nằm trong tay các công ty nền tảng điện toán đám mây này. Nếu một ngày họ có được một sản phẩm có đủ hiệu năng, họ có thể thay thế Nvidia bất cứ lúc nào.
NVIDIA dựa vào CUDA để ràng buộc hàng triệu nhà phát triển AI và thu hút các công ty điện toán đám mây lớn mua GPU của họ. Như nhà phân tích nổi tiếng Ben Thompson đã nói: "Nvidia không phải là công ty phần cứng hay công ty phần mềm: đó là công ty kết hợp cả hai".
Logic này cho đến nay vẫn đúng và CUDA vẫn mang lại lợi thế cho GPU của Nvidia trong việc khám phá trí tuệ nhân tạo. Nhưng giờ đây Huang muốn tiến thêm một bước nữa và trực tiếp biến khách hàng của nền tảng điện toán đám mây thành khách hàng.
Vào tháng 3 năm nay, khi GPU khan hiếm nhất, NVIDIA đã ra mắt dịch vụ điện toán đám mây DXG Cloud: NVIDIA cho thuê lại GPU đã bán cho các công ty điện toán đám mây, nhân viên NVIDIA tối ưu hóa thêm và sau đó cho khách hàng cần sức mạnh tính toán GPU thuê lại.
Hết lần này đến lần khác, nền tảng điện toán đám mây gánh chịu chi phí xây dựng trung tâm dữ liệu, nhưng khách hàng lại tìm đến Nvidia. Nhưng Microsoft, Google và Oracle vẫn tham gia kế hoạch của Nvidia. Đổi lại, họ sớm có được chiếc H100 khan hiếm nhất. AWS, nhà cung cấp điện toán đám mây lớn nhất thế giới, từ chối hợp tác và mãi đến tháng 7 năm nay mới tung ra dịch vụ cho thuê điện toán H100.
Huang cho biết: "Đây là đợt mở rộng mô hình kinh doanh lớn nhất và quan trọng nhất trong lịch sử của chúng tôi. Nvidia không chỉ cung cấp GPU cho các công ty điện toán đám mây mà còn đưa chính nó ra thị trường".
Giám đốc điều hành OpenAI Sam Altman cho biết trong một cuộc phỏng vấn gần đây rằng mặc dù năm nay thiếu GPU nhưng tình hình sẽ tốt hơn trong năm tới. Bởi vì các chip AI mới do Google, Microsoft và các công ty khác phát triển sẽ được đưa ra thị trường. OpenAI đã bắt đầu thử nghiệm chip AI do Microsoft phát hành.
“Đây là điều kỳ diệu của chủ nghĩa tư bản và hiện nay nhiều công ty muốn trở thành Nvidia”, Altman nói. Và sức ép dồn ép của Nvidia đã không cho họ lựa chọn nào khác.
