Những ý chính:
- Sau khi ChatGPT trở nên phổ biến trên toàn thế giới vào cuối năm ngoái, OpenAI bắt đầu phát triển một mô hình AI mới có tên mã là Arrakis.
- Arrakis lẽ ra có thể để OpenAI chạy phần mềm trí tuệ nhân tạo của mình với chi phí thấp hơn, nhưng hiệu suất của nó lại không như mong đợi.
- Microsoft đã hy vọng tích hợp Arrakis vào các sản phẩm của riêng mình nhưng cuối cùng đã không thực hiện được. Điều này có thể đã ảnh hưởng đến sự hợp tác giữa họ và OpenAI.
- OpenAI vẫn có thể tích hợp các nỗ lực của Arrakis vào các mô hình khác, bao gồm cả mô hình đa phương thức Gobi sắp ra mắt.
Vào cuối năm ngoái, khi chatbot ChatGPT bắt đầu gây sốt trên toàn thế giới, các kỹ sư của công ty nghiên cứu trí tuệ nhân tạo OpenAI đã bắt đầu nghiên cứu một mô hình trí tuệ nhân tạo mới và đặt cho nó cái tên thay thế là Arrakis.
Giám đốc điều hành OpenAI Sam Altman
Trong khi OpenAI cải thiện hiệu suất của ChatGPT bằng mô hình ngôn ngữ lớn (LLM) GPT-4, thì mô hình Arrakis sẽ cho phép công ty chạy chatbot với chi phí thấp hơn. Thành công của Arrakis cũng sẽ giúp OpenAI chứng tỏ sức mạnh vượt trội của mình trong việc liên tục tạo ra các mô hình ngôn ngữ lớn cho Microsoft, có ý nghĩa to lớn trong việc hoàn tất đàm phán hợp tác đầu tư và sản phẩm trị giá 10 tỷ USD giữa hai công ty.
Nhưng đến giữa năm 2023, OpenAI đã hủy việc phát hành Arrakis vì mô hình này không hoạt động hiệu quả như công ty mong đợi, theo những người quen thuộc với vấn đề này. Sai lầm này có nghĩa là OpenAI đã mất rất nhiều thời gian phát triển quý giá và cần phải chuyển nguồn lực sang phát triển các mô hình khác nhau. Ngoài ra, thất bại còn khiến nhiều giám đốc điều hành của Microsoft thất vọng, những người đã bỏ ra số tiền khổng lồ để mua bản quyền sử dụng công nghệ mới của OpenAI trong các sản phẩm của mình.
Sự thất bại của dự án Arrakis có thể phá vỡ hào quang bất khả chiến bại của OpenAI. Trước đó, OpenAI đã đánh bại nhà tiên phong về trí tuệ nhân tạo Google và xây dựng một trong những doanh nghiệp phần mềm phát triển nhanh nhất trong lịch sử. Điều này cho thấy biên giới của trí tuệ nhân tạo đầy rẫy những cạm bẫy khó lường.
Mặc dù các vấn đề của Arrakis không ảnh hưởng đến hoạt động kinh doanh của OpenAI trong năm nay, nhưng công ty khởi nghiệp này có thể cảm nhận được tác động vào năm tới khi sự cạnh tranh để tung ra các mô hình ngôn ngữ lớn mới ngày càng gay gắt. Ví dụ: Google sắp tung ra mô hình trí tuệ nhân tạo Gemini mà họ hy vọng sẽ đánh bại GPT-4 về khả năng mã hóa và các khả năng khác cũng như độ chính xác của các phản hồi.
Về phần mình, OpenAI tiếp tục cải tiến mô hình dẫn đầu ngành của mình, bao gồm khả năng giải mã hình ảnh và có kế hoạch công bố một loạt tính năng mới vào tháng 11. Các mô hình ngôn ngữ lớn là nền tảng của các sản phẩm như ChatGPT. OpenAI thậm chí còn tin tưởng nội bộ rằng nó có thể trở thành một hệ điều hành, kể cả cho các thiết bị cá nhân, vì những mô hình này có thể viết mã, hiểu hình ảnh, truy xuất tệp, v.v.
Nhờ những lợi thế to lớn mà GPT-4 mang lại, hoạt động kinh doanh của OpenAI đã mở rộng nhanh chóng. Khả năng OpenAI đạt được doanh thu hàng năm là 1,3 tỷ USD (tăng so với mức 28 triệu USD của cả năm ngoái) phần lớn là nhờ GPT-4, hỗ trợ phiên bản trả phí của ChatGPT. Sau khi bán cổ phiếu của nhân viên vào quý 2 năm nay, OpenAI có giá trị sổ sách khoảng 30 tỷ USD, nhưng công ty đang cố gắng tăng đáng kể mức định giá đó.
Các nhà phát triển AI khác như Google cũng đã thảo luận cởi mở về việc sử dụng tính thưa thớt của họ và OpenAI đã kết hợp thành công khái niệm này vào phần mềm ban đầu. Họ cho biết, Arrakis sẽ cho phép OpenAI quảng bá công nghệ của mình một cách rộng rãi hơn vì công ty có thể sử dụng một số lượng hạn chế chip máy chủ chuyên dụng để cung cấp năng lượng cho phần mềm của mình.
Vào mùa xuân này, các nhà nghiên cứu OpenAI đã bắt đầu đào tạo mô hình mới của họ, bao gồm việc sử dụng phần cứng máy tính tiên tiến để giúp mô hình xử lý lượng lớn dữ liệu để có thể học các mẫu trong đó. OpenAI kỳ vọng việc này sẽ rẻ hơn nhiều so với việc đào tạo GPT-4, những người quen thuộc với vấn đề này cho biết. Tuy nhiên, các nhân viên đã sớm nhận ra rằng mô hình này hoạt động không đủ tốt để đạt được kết quả mong muốn. Sau khi các nhân viên dành khoảng một tháng để giải quyết vấn đề, ban quản lý OpenAI quyết định tạm dừng dự án.
Tuy nhiên, bất chấp những trở ngại, OpenAI vẫn có thể tích hợp công việc của mình trên Arrakis vào các mô hình khác. Chúng bao gồm mô hình Gobi sắp ra mắt, có thể tạo hoặc phân tích văn bản và hình ảnh, còn được gọi là mô hình đa phương thức.
Hai người quen thuộc với vấn đề này cho biết OpenAI đã cố gắng cải thiện tính thưa thớt của mô hình để giảm chi phí vận hành, nhưng hiệu suất của Arrakis vẫn thấp hơn mong đợi của công ty. Mô hình này hoạt động tốt trong các thử nghiệm ban đầu, nhưng tại sao nó hoạt động kém trong các thử nghiệm sau đó vẫn chưa rõ ràng.
Một người quen thuộc với vấn đề này cho biết Arrakis được đặt theo tên của một hành tinh sa mạc trong loạt phim Dune, thể hiện sự đơn giản được sử dụng trong thiết kế của mô hình. Tên mã của các mô hình OpenAI khác, bao gồm Gobi và Sahara, được hiển thị là GPT-3.5 Turbo, cũng sử dụng biểu tượng sa mạc tương tự để phản ánh nỗ lực của OpenAI nhằm làm cho các mô hình trở nên thưa thớt.
Hai người quen thuộc với vấn đề này cho biết, kể từ khi dự án Arrakis thất bại, các nhà nghiên cứu của OpenAI đã bắt đầu phát triển phiên bản GPT-4 mới nhằm đáp ứng nhu cầu của người dùng nhanh hơn. Một trong những người cho biết OpenAI đã thảo luận về việc gọi mẫu cập nhật là GPT-4 Turbo, cái tên mà OpenAI đã cân nhắc trước khi Arrakis thất bại.
Đối với OpenAI, làm cho các mô hình của nó rẻ hơn và hiệu quả hơn là ưu tiên hàng đầu khi mối lo ngại ngày càng tăng về chi phí công nghệ và các lựa chọn thay thế nguồn mở ngày càng gia tăng. Người phát ngôn của OpenAI từ chối bình luận.
Microsoft sử dụng mô hình GPT của OpenAI để hỗ trợ các tính năng trí tuệ nhân tạo trong ứng dụng Office 365 và các dịch vụ khác, đồng thời hy vọng Arrakis sẽ cải thiện hiệu suất và giảm chi phí của các tính năng đó, những người quen thuộc với vấn đề này cho biết. Công cụ tìm kiếm Bing của Microsoft dựa trên GPT-4 và các mô hình khác để hỗ trợ các chatbot như ChatGPT. Ban đầu, công ty hy vọng sẽ sử dụng mô hình Arrakis vào đầu năm 2023, nhưng mục tiêu này cuối cùng đã không thành hiện thực.
Sự thất bại của bản nâng cấp này có thể đã gây ra tổn thất lớn cho Microsoft về mặt thương mại. Bởi rất có thể trong những lần ra mắt sản phẩm đầu tiên của mình, Microsoft đã định giá sản phẩm dựa trên kỳ vọng rằng chương trình sẽ thành công. Theo Wall Street Journal, sản phẩm AI hàng đầu của Microsoft GitHub Copilot có giá 10 USD và chi phí cho mỗi người dùng trung bình là 20 USD mỗi tháng, tối đa là 80 USD. Điều này cho thấy khoản lỗ của Microsoft đối với phần mềm này lên tới 30 triệu đô la Mỹ trong một tháng và khoản lỗ hàng năm dự kiến sẽ vượt quá 100 triệu đô.
Được biết, kể từ đó, Microsoft đã cam kết phát triển các mô hình ngôn ngữ lớn khác. Những mô hình lớn này có thể sẽ có chi phí vận hành rẻ hơn OpenAI.
Không giống như các mô hình "dày đặc" như Llama 2, các mô hình thưa thớt chỉ gọi một số phép tính nhất định trong mô hình, tức là các tham số cần thiết để hoàn thành nhiệm vụ, giúp quy trình tiết kiệm chi phí hơn. Dean cho biết: "Điện toán thưa thớt sẽ là xu hướng quan trọng trong tương lai!"
Nhiều người thực hành AI cho biết một cách để tăng tính thưa thớt là thông qua một kỹ thuật gọi là "mô hình chuyên gia hỗn hợp". Trong kỹ thuật này, các phần cụ thể của một mô hình lớn được huấn luyện để xử lý các nhiệm vụ nhất định. Nói cách khác, các mô hình con này trở thành chuyên gia thực hiện các nhiệm vụ này để toàn bộ mô hình không cần phải kích hoạt. OpenAI đã tích hợp công nghệ này vào GPT-4 và Arrakis cũng sẽ làm điều tương tự, những người quen thuộc với vấn đề này cho biết.
GPT4 là một mô hình thưa thớt bao gồm các mô hình đa chuyên gia
Ion Stoica, giáo sư khoa học máy tính tại Đại học California, Berkeley, viết trong email: “Nói chung, số lượng mô hình chuyên gia càng nhiều thì mô hình càng thưa thớt và hiệu quả hơn”.
Nguồn: Informatin Week
- Sau khi ChatGPT trở nên phổ biến trên toàn thế giới vào cuối năm ngoái, OpenAI bắt đầu phát triển một mô hình AI mới có tên mã là Arrakis.
- Arrakis lẽ ra có thể để OpenAI chạy phần mềm trí tuệ nhân tạo của mình với chi phí thấp hơn, nhưng hiệu suất của nó lại không như mong đợi.
- Microsoft đã hy vọng tích hợp Arrakis vào các sản phẩm của riêng mình nhưng cuối cùng đã không thực hiện được. Điều này có thể đã ảnh hưởng đến sự hợp tác giữa họ và OpenAI.
- OpenAI vẫn có thể tích hợp các nỗ lực của Arrakis vào các mô hình khác, bao gồm cả mô hình đa phương thức Gobi sắp ra mắt.
Vào cuối năm ngoái, khi chatbot ChatGPT bắt đầu gây sốt trên toàn thế giới, các kỹ sư của công ty nghiên cứu trí tuệ nhân tạo OpenAI đã bắt đầu nghiên cứu một mô hình trí tuệ nhân tạo mới và đặt cho nó cái tên thay thế là Arrakis.
Trong khi OpenAI cải thiện hiệu suất của ChatGPT bằng mô hình ngôn ngữ lớn (LLM) GPT-4, thì mô hình Arrakis sẽ cho phép công ty chạy chatbot với chi phí thấp hơn. Thành công của Arrakis cũng sẽ giúp OpenAI chứng tỏ sức mạnh vượt trội của mình trong việc liên tục tạo ra các mô hình ngôn ngữ lớn cho Microsoft, có ý nghĩa to lớn trong việc hoàn tất đàm phán hợp tác đầu tư và sản phẩm trị giá 10 tỷ USD giữa hai công ty.
Nhưng đến giữa năm 2023, OpenAI đã hủy việc phát hành Arrakis vì mô hình này không hoạt động hiệu quả như công ty mong đợi, theo những người quen thuộc với vấn đề này. Sai lầm này có nghĩa là OpenAI đã mất rất nhiều thời gian phát triển quý giá và cần phải chuyển nguồn lực sang phát triển các mô hình khác nhau. Ngoài ra, thất bại còn khiến nhiều giám đốc điều hành của Microsoft thất vọng, những người đã bỏ ra số tiền khổng lồ để mua bản quyền sử dụng công nghệ mới của OpenAI trong các sản phẩm của mình.
Sự thất bại của dự án Arrakis có thể phá vỡ hào quang bất khả chiến bại của OpenAI. Trước đó, OpenAI đã đánh bại nhà tiên phong về trí tuệ nhân tạo Google và xây dựng một trong những doanh nghiệp phần mềm phát triển nhanh nhất trong lịch sử. Điều này cho thấy biên giới của trí tuệ nhân tạo đầy rẫy những cạm bẫy khó lường.
Mặc dù các vấn đề của Arrakis không ảnh hưởng đến hoạt động kinh doanh của OpenAI trong năm nay, nhưng công ty khởi nghiệp này có thể cảm nhận được tác động vào năm tới khi sự cạnh tranh để tung ra các mô hình ngôn ngữ lớn mới ngày càng gay gắt. Ví dụ: Google sắp tung ra mô hình trí tuệ nhân tạo Gemini mà họ hy vọng sẽ đánh bại GPT-4 về khả năng mã hóa và các khả năng khác cũng như độ chính xác của các phản hồi.
Về phần mình, OpenAI tiếp tục cải tiến mô hình dẫn đầu ngành của mình, bao gồm khả năng giải mã hình ảnh và có kế hoạch công bố một loạt tính năng mới vào tháng 11. Các mô hình ngôn ngữ lớn là nền tảng của các sản phẩm như ChatGPT. OpenAI thậm chí còn tin tưởng nội bộ rằng nó có thể trở thành một hệ điều hành, kể cả cho các thiết bị cá nhân, vì những mô hình này có thể viết mã, hiểu hình ảnh, truy xuất tệp, v.v.
Nhờ những lợi thế to lớn mà GPT-4 mang lại, hoạt động kinh doanh của OpenAI đã mở rộng nhanh chóng. Khả năng OpenAI đạt được doanh thu hàng năm là 1,3 tỷ USD (tăng so với mức 28 triệu USD của cả năm ngoái) phần lớn là nhờ GPT-4, hỗ trợ phiên bản trả phí của ChatGPT. Sau khi bán cổ phiếu của nhân viên vào quý 2 năm nay, OpenAI có giá trị sổ sách khoảng 30 tỷ USD, nhưng công ty đang cố gắng tăng đáng kể mức định giá đó.
Bị đình chỉ do hiệu suất không đáp ứng mong đợi
Theo những người quen thuộc với vấn đề này, OpenAI đã bắt đầu phát triển Arrakis vào mùa thu năm ngoái, với hy vọng phát triển một mô hình tương đương với GPT-4 nhưng chạy hiệu quả hơn, một phần bằng cách tận dụng cái gọi là thưa thớt trong học máy. Độ thưa thớt đề cập đến một mô hình có dung lượng rất lớn, nhưng chỉ một số phần nhất định của mô hình cho một nhiệm vụ, mẫu hoặc nhãn nhất định được kích hoạt. Bằng cách này, năng lực và khả năng của mô hình có thể được tăng lên đáng kể mà không cần tăng nỗ lực tính toán một cách tương ứng.Các nhà phát triển AI khác như Google cũng đã thảo luận cởi mở về việc sử dụng tính thưa thớt của họ và OpenAI đã kết hợp thành công khái niệm này vào phần mềm ban đầu. Họ cho biết, Arrakis sẽ cho phép OpenAI quảng bá công nghệ của mình một cách rộng rãi hơn vì công ty có thể sử dụng một số lượng hạn chế chip máy chủ chuyên dụng để cung cấp năng lượng cho phần mềm của mình.
Vào mùa xuân này, các nhà nghiên cứu OpenAI đã bắt đầu đào tạo mô hình mới của họ, bao gồm việc sử dụng phần cứng máy tính tiên tiến để giúp mô hình xử lý lượng lớn dữ liệu để có thể học các mẫu trong đó. OpenAI kỳ vọng việc này sẽ rẻ hơn nhiều so với việc đào tạo GPT-4, những người quen thuộc với vấn đề này cho biết. Tuy nhiên, các nhân viên đã sớm nhận ra rằng mô hình này hoạt động không đủ tốt để đạt được kết quả mong muốn. Sau khi các nhân viên dành khoảng một tháng để giải quyết vấn đề, ban quản lý OpenAI quyết định tạm dừng dự án.
Tuy nhiên, bất chấp những trở ngại, OpenAI vẫn có thể tích hợp công việc của mình trên Arrakis vào các mô hình khác. Chúng bao gồm mô hình Gobi sắp ra mắt, có thể tạo hoặc phân tích văn bản và hình ảnh, còn được gọi là mô hình đa phương thức.
Hai người quen thuộc với vấn đề này cho biết OpenAI đã cố gắng cải thiện tính thưa thớt của mô hình để giảm chi phí vận hành, nhưng hiệu suất của Arrakis vẫn thấp hơn mong đợi của công ty. Mô hình này hoạt động tốt trong các thử nghiệm ban đầu, nhưng tại sao nó hoạt động kém trong các thử nghiệm sau đó vẫn chưa rõ ràng.
Một người quen thuộc với vấn đề này cho biết Arrakis được đặt theo tên của một hành tinh sa mạc trong loạt phim Dune, thể hiện sự đơn giản được sử dụng trong thiết kế của mô hình. Tên mã của các mô hình OpenAI khác, bao gồm Gobi và Sahara, được hiển thị là GPT-3.5 Turbo, cũng sử dụng biểu tượng sa mạc tương tự để phản ánh nỗ lực của OpenAI nhằm làm cho các mô hình trở nên thưa thớt.
Hai người quen thuộc với vấn đề này cho biết, kể từ khi dự án Arrakis thất bại, các nhà nghiên cứu của OpenAI đã bắt đầu phát triển phiên bản GPT-4 mới nhằm đáp ứng nhu cầu của người dùng nhanh hơn. Một trong những người cho biết OpenAI đã thảo luận về việc gọi mẫu cập nhật là GPT-4 Turbo, cái tên mà OpenAI đã cân nhắc trước khi Arrakis thất bại.
Đối với OpenAI, làm cho các mô hình của nó rẻ hơn và hiệu quả hơn là ưu tiên hàng đầu khi mối lo ngại ngày càng tăng về chi phí công nghệ và các lựa chọn thay thế nguồn mở ngày càng gia tăng. Người phát ngôn của OpenAI từ chối bình luận.
Microsoft sử dụng mô hình GPT của OpenAI để hỗ trợ các tính năng trí tuệ nhân tạo trong ứng dụng Office 365 và các dịch vụ khác, đồng thời hy vọng Arrakis sẽ cải thiện hiệu suất và giảm chi phí của các tính năng đó, những người quen thuộc với vấn đề này cho biết. Công cụ tìm kiếm Bing của Microsoft dựa trên GPT-4 và các mô hình khác để hỗ trợ các chatbot như ChatGPT. Ban đầu, công ty hy vọng sẽ sử dụng mô hình Arrakis vào đầu năm 2023, nhưng mục tiêu này cuối cùng đã không thành hiện thực.
Sự thất bại của bản nâng cấp này có thể đã gây ra tổn thất lớn cho Microsoft về mặt thương mại. Bởi rất có thể trong những lần ra mắt sản phẩm đầu tiên của mình, Microsoft đã định giá sản phẩm dựa trên kỳ vọng rằng chương trình sẽ thành công. Theo Wall Street Journal, sản phẩm AI hàng đầu của Microsoft GitHub Copilot có giá 10 USD và chi phí cho mỗi người dùng trung bình là 20 USD mỗi tháng, tối đa là 80 USD. Điều này cho thấy khoản lỗ của Microsoft đối với phần mềm này lên tới 30 triệu đô la Mỹ trong một tháng và khoản lỗ hàng năm dự kiến sẽ vượt quá 100 triệu đô.
Được biết, kể từ đó, Microsoft đã cam kết phát triển các mô hình ngôn ngữ lớn khác. Những mô hình lớn này có thể sẽ có chi phí vận hành rẻ hơn OpenAI.
Giảm chi phí trở thành xu hướng trong tương lai
Nhiều người thực hành trong ngành mong đợi các mô hình thưa thớt sẽ giảm chi phí phát triển AI. Tại một hội nghị vào tháng 8 năm nay, Jeff Dean, nhà khoa học trưởng của Google và là nhà phát triển chính của mô hình trí tuệ nhân tạo Gemini, cho biết ngành này sẽ hướng tới các mô hình thưa thớt trong vài năm tới.Không giống như các mô hình "dày đặc" như Llama 2, các mô hình thưa thớt chỉ gọi một số phép tính nhất định trong mô hình, tức là các tham số cần thiết để hoàn thành nhiệm vụ, giúp quy trình tiết kiệm chi phí hơn. Dean cho biết: "Điện toán thưa thớt sẽ là xu hướng quan trọng trong tương lai!"
Nhiều người thực hành AI cho biết một cách để tăng tính thưa thớt là thông qua một kỹ thuật gọi là "mô hình chuyên gia hỗn hợp". Trong kỹ thuật này, các phần cụ thể của một mô hình lớn được huấn luyện để xử lý các nhiệm vụ nhất định. Nói cách khác, các mô hình con này trở thành chuyên gia thực hiện các nhiệm vụ này để toàn bộ mô hình không cần phải kích hoạt. OpenAI đã tích hợp công nghệ này vào GPT-4 và Arrakis cũng sẽ làm điều tương tự, những người quen thuộc với vấn đề này cho biết.
Ion Stoica, giáo sư khoa học máy tính tại Đại học California, Berkeley, viết trong email: “Nói chung, số lượng mô hình chuyên gia càng nhiều thì mô hình càng thưa thớt và hiệu quả hơn”.
Nguồn: Informatin Week
