Trường Sơn✔
Writer
Tại hội nghị công nghệ Dreamforce quy mô lớn diễn ra tuần này, một trong những thông báo quan trọng nhất của Salesforce là mô hình trí tuệ nhân tạo hoàn toàn mới có tên Koa. Koa là mô hình suy luận quy mô lớn đầu tiên của công ty, được xây dựng trên mô hình Nemotron có trọng số mã nguồn mở của NVIDIA. Hai công ty đã cùng nhau hoàn thành việc tinh chỉnh và huấn luyện Koa, giúp nó thành thạo trong việc xử lý các nhiệm vụ bán hàng, tiếp thị và dịch vụ khách hàng.
Koa là một ví dụ điển hình: nhu cầu về trí tuệ nhân tạo (AI) của các doanh nghiệp đang dần khác biệt so với các sản phẩm được cung cấp bởi các phòng thí nghiệm AI tiên tiến. Những phòng thí nghiệm AI mã nguồn đóng này thích các doanh nghiệp trực tiếp tải lên tất cả các tệp, mã, lời nhắc và phản hồi cho các mô hình và tác nhân của riêng họ, và họ chi hàng triệu đô la cho việc này.
Bằng cách tận dụng mô hình này, Salesforce cung cấp cho khách hàng doanh nghiệp của mình những khả năng sau:
“Trước đây, chúng tôi đã phát triển nhiều mô hình ngôn ngữ nhỏ cho các nhiệm vụ cụ thể, tất cả đều là một phần của ma trận sản phẩm Agentforce,” Jayesh Govindarajan, phó chủ tịch cấp cao của bộ phận AI thuộc Salesforce, chia sẻ với TechCrunch. “Tuy nhiên, đối với các nhiệm vụ suy luận phức tạp, chúng tôi luôn dựa vào các nhà cung cấp dịch vụ mô hình tiên tiến bên ngoài. Tình hình này cuối cùng đã thay đổi.”
Trước Koa, nếu một tác nhân cần hoàn thành một tác vụ suy luận dài hoặc nhiều bước, yêu cầu tương ứng sẽ được chuyển tiếp đến một mô hình lớn tiên tiến của bên thứ ba như Claude hoặc ChatGPT thông qua cổng AI của Agentforce (hệ thống này chịu trách nhiệm phân công các yêu cầu khác nhau cho mô hình nào xử lý).
“Trước đây, chúng tôi khá chậm trong việc đào tạo mô hình suy luận hiệu năng cao cấp doanh nghiệp của riêng mình – chúng tôi luôn có ý tưởng này, nhưng khó khăn nằm ở việc thiếu một mô hình nền tảng tiền đào tạo phù hợp. Trước Nemotron, ở Hoa Kỳ không có nền tảng tiền đào tạo nào có thể kiểm soát độc lập, và nó cũng cần đáp ứng đồng thời ba yêu cầu: hiệu năng hàng đầu, khả năng truy xuất nguồn gốc dữ liệu rõ ràng và đầy đủ. Chúng tôi không biết Qwen được xây dựng dựa trên dữ liệu nào để đào tạo,” Govindarajan nói khi thảo luận về mô hình trọng số mã nguồn mở nổi tiếng của Alibaba.
Việc tinh chỉnh thêm mô hình cơ bản bao gồm việc chuyển đổi mô hình nền tảng đa năng thành một mô hình chuyên biệt thành thạo kiến thức kinh doanh về bán hàng và dịch vụ khách hàng. Salesforce và NVIDIA không sử dụng bất kỳ dữ liệu khách hàng thực nào của Salesforce trong giai đoạn tinh chỉnh; thay vào đó, họ đã tạo ra các bộ dữ liệu tổng hợp của riêng mình mô phỏng các kịch bản kinh doanh.
“Chúng tôi đã mô phỏng đầy đủ kịch bản dịch vụ khách hàng: chúng tôi thiết lập vai trò của một nhân viên chăm sóc khách hàng chuyên trách, mô phỏng một khách hàng tức giận gọi đến đường dây nóng chăm sóc khách hàng, và cũng mô phỏng một nhân viên bán hàng đang cố gắng chốt giao dịch,” Govindarayan giải thích.
So với việc thuê ngoài các yêu cầu kinh doanh tương tự cho Claude hoặc ChatGPT, Koa hướng đến việc phù hợp hơn với hoạt động kinh doanh của khách hàng Salesforce và tiết kiệm chi phí tiêu thụ token.
"Dựa trên nền tảng Nemotron, kiến trúc suy luận độc đáo này có thể kiểm soát hiệu quả chi phí token," Kari Ann Briski, phó chủ tịch phần mềm AI tạo sinh doanh nghiệp của NVIDIA, cho biết. "Nó đạt được đồng thời ba mục tiêu chính: AI tự chủ và có thể điều khiển, phản hồi gói dữ liệu đầu tiên nhanh chóng và tính toán suy luận hiệu quả, hiện thực hóa kết quả lý tưởng từ góc độ kinh tế token."
Dĩ nhiên, Salesforce vẫn chưa từ bỏ các hợp tác với Anthropic và OpenAI. Công ty vừa công bố hợp tác với Anthropic mang tên ClaudeForce. Người dùng doanh nghiệp có thể trực tiếp sử dụng Claude như một giao diện tương tác AI, trong khi tất cả dữ liệu kinh doanh vẫn được lưu trữ trong hệ thống hồ sơ kinh doanh của Salesforce, được bảo mật bởi cơ sở hạ tầng của Salesforce.
Koa là một ví dụ điển hình: nhu cầu về trí tuệ nhân tạo (AI) của các doanh nghiệp đang dần khác biệt so với các sản phẩm được cung cấp bởi các phòng thí nghiệm AI tiên tiến. Những phòng thí nghiệm AI mã nguồn đóng này thích các doanh nghiệp trực tiếp tải lên tất cả các tệp, mã, lời nhắc và phản hồi cho các mô hình và tác nhân của riêng họ, và họ chi hàng triệu đô la cho việc này.
Bằng cách tận dụng mô hình này, Salesforce cung cấp cho khách hàng doanh nghiệp của mình những khả năng sau:
- Như một giải pháp thay thế cho các mô hình lớn tiên tiến mã nguồn đóng, việc áp dụng trọng số mã nguồn mở là điều cần thiết.
- Chương trình đào tạo được thiết kế đặc biệt cho các nhiệm vụ kinh doanh thực tiễn (thay vì tập trung vào giải quyết các bài toán toán học phức tạp).
- Không có dữ liệu khách hàng thực nào được nhập vào trong quá trình đào tạo, do đó không có nguy cơ rò rỉ dữ liệu khách hàng.
- Điều này giúp giảm chi phí sử dụng AI, vì cần ít token hơn để hoàn thành cùng một nhiệm vụ kinh doanh.
- Việc định tuyến tự động có thể được thực hiện thông qua cổng AI dựa trên nhu cầu kinh doanh.
- Hoàn toàn tuân thủ các yêu cầu quản trị dữ liệu khách hàng, với các cơ chế bảo mật được tích hợp sâu rộng trong nền tảng Salesforce.
“Trước đây, chúng tôi đã phát triển nhiều mô hình ngôn ngữ nhỏ cho các nhiệm vụ cụ thể, tất cả đều là một phần của ma trận sản phẩm Agentforce,” Jayesh Govindarajan, phó chủ tịch cấp cao của bộ phận AI thuộc Salesforce, chia sẻ với TechCrunch. “Tuy nhiên, đối với các nhiệm vụ suy luận phức tạp, chúng tôi luôn dựa vào các nhà cung cấp dịch vụ mô hình tiên tiến bên ngoài. Tình hình này cuối cùng đã thay đổi.”
Trước Koa, nếu một tác nhân cần hoàn thành một tác vụ suy luận dài hoặc nhiều bước, yêu cầu tương ứng sẽ được chuyển tiếp đến một mô hình lớn tiên tiến của bên thứ ba như Claude hoặc ChatGPT thông qua cổng AI của Agentforce (hệ thống này chịu trách nhiệm phân công các yêu cầu khác nhau cho mô hình nào xử lý).
“Trước đây, chúng tôi khá chậm trong việc đào tạo mô hình suy luận hiệu năng cao cấp doanh nghiệp của riêng mình – chúng tôi luôn có ý tưởng này, nhưng khó khăn nằm ở việc thiếu một mô hình nền tảng tiền đào tạo phù hợp. Trước Nemotron, ở Hoa Kỳ không có nền tảng tiền đào tạo nào có thể kiểm soát độc lập, và nó cũng cần đáp ứng đồng thời ba yêu cầu: hiệu năng hàng đầu, khả năng truy xuất nguồn gốc dữ liệu rõ ràng và đầy đủ. Chúng tôi không biết Qwen được xây dựng dựa trên dữ liệu nào để đào tạo,” Govindarajan nói khi thảo luận về mô hình trọng số mã nguồn mở nổi tiếng của Alibaba.
Việc tinh chỉnh thêm mô hình cơ bản bao gồm việc chuyển đổi mô hình nền tảng đa năng thành một mô hình chuyên biệt thành thạo kiến thức kinh doanh về bán hàng và dịch vụ khách hàng. Salesforce và NVIDIA không sử dụng bất kỳ dữ liệu khách hàng thực nào của Salesforce trong giai đoạn tinh chỉnh; thay vào đó, họ đã tạo ra các bộ dữ liệu tổng hợp của riêng mình mô phỏng các kịch bản kinh doanh.
“Chúng tôi đã mô phỏng đầy đủ kịch bản dịch vụ khách hàng: chúng tôi thiết lập vai trò của một nhân viên chăm sóc khách hàng chuyên trách, mô phỏng một khách hàng tức giận gọi đến đường dây nóng chăm sóc khách hàng, và cũng mô phỏng một nhân viên bán hàng đang cố gắng chốt giao dịch,” Govindarayan giải thích.
So với việc thuê ngoài các yêu cầu kinh doanh tương tự cho Claude hoặc ChatGPT, Koa hướng đến việc phù hợp hơn với hoạt động kinh doanh của khách hàng Salesforce và tiết kiệm chi phí tiêu thụ token.
"Dựa trên nền tảng Nemotron, kiến trúc suy luận độc đáo này có thể kiểm soát hiệu quả chi phí token," Kari Ann Briski, phó chủ tịch phần mềm AI tạo sinh doanh nghiệp của NVIDIA, cho biết. "Nó đạt được đồng thời ba mục tiêu chính: AI tự chủ và có thể điều khiển, phản hồi gói dữ liệu đầu tiên nhanh chóng và tính toán suy luận hiệu quả, hiện thực hóa kết quả lý tưởng từ góc độ kinh tế token."
Dĩ nhiên, Salesforce vẫn chưa từ bỏ các hợp tác với Anthropic và OpenAI. Công ty vừa công bố hợp tác với Anthropic mang tên ClaudeForce. Người dùng doanh nghiệp có thể trực tiếp sử dụng Claude như một giao diện tương tác AI, trong khi tất cả dữ liệu kinh doanh vẫn được lưu trữ trong hệ thống hồ sơ kinh doanh của Salesforce, được bảo mật bởi cơ sở hạ tầng của Salesforce.
