Độ chính xác của Gemini đã tăng vọt từ 21% lên 97%, Google chỉ sử dụng một thủ thuật duy nhất

[Linh Pham]

Một kỹ thuật gợi ý đơn giản đã giúp một mô hình ngôn ngữ lớn tăng độ chính xác từ 21,33% lên 97,33%, mà không cần phải phát triển thêm khả năng suy luận. Phát hiện này đến từ nhóm nghiên cứu của Google, khi họ sử dụng phương pháp lặp lại các câu hỏi đầu vào, sao chép và dán chúng nhiều lần, thay vì sử dụng các chiến thuật phức tạp như "Chuỗi suy nghĩ" hay "Học đa mẫu".

Trong nghiên cứu có tiêu đề "Việc lặp lại lời nhắc giúp cải thiện các LLM không dựa trên lý luận", nhóm nghiên cứu chỉ ra rằng việc lặp lại câu hỏi đầu vào giúp tăng hiệu suất của các mô hình ngôn ngữ phổ biến như Gemini, GPT-4o, và Claude mà không cần sử dụng những chiến lược tâm lý phức tạp. Khi lặp lại câu hỏi, các mô hình không chỉ cung cấp câu trả lời chính xác hơn mà còn cải thiện độ chính xác trong các tác vụ liên quan đến truy xuất thông tin từ văn bản dài.

Kỹ thuật lặp lại từ khóa có vẻ rất đơn giản và dễ dàng thực hiện, nhưng kết quả lại rất ấn tượng. Nguyên nhân của sự thay đổi đột ngột này có thể được giải thích bằng một khiếm khuyết trong kiến trúc Transformer. Cụ thể, khi mô hình đọc văn bản từ trái sang phải, nó không thể "nhìn lại" thông tin đã đọc trước đó. Điều này dẫn đến sự thiếu hụt nhận thức, khiến mô hình không thể áp dụng ngữ cảnh một cách chính xác. Khi lặp lại câu hỏi, mô hình có cơ hội "nhìn lại" và kết hợp tất cả các thông tin trước đó, dẫn đến sự cải thiện rõ rệt trong hiệu suất.

Đặc biệt, kỹ thuật này không làm tăng thời gian phản hồi của mô hình. Điều này là nhờ vào khả năng xử lý song song của các GPU hiện đại trong giai đoạn "Điền trước", khi mô hình tiếp nhận và xử lý dữ liệu đầu vào. Việc sao chép dữ liệu đầu vào và lặp lại chúng chỉ thêm một chút thời gian vào quá trình xử lý, nhưng không làm giảm hiệu suất hay độ chính xác. Nhờ đó, các mô hình nhỏ và nhanh hơn có thể đạt được độ chính xác ngang bằng hoặc thậm chí vượt trội so với các mô hình lớn hơn mà không cần phải nâng cấp phần cứng hay tăng chi phí.

Mặc dù kỹ thuật lặp lại từ khóa mang lại hiệu quả đáng kể trong các nhiệm vụ không liên quan đến suy luận, nhưng nó không phải là một giải pháp hoàn hảo cho tất cả các tình huống. Khi mô hình cần phải thực hiện suy luận phức tạp, ví dụ như trong các bài toán đòi hỏi logic hay lý luận bước, phương pháp lặp lại không mang lại sự cải thiện tương tự. Hơn nữa, khi kết hợp với các chiến thuật khác như "chuỗi suy nghĩ", phương pháp lặp lại có thể không hiệu quả, và đôi khi còn gây ra sự gián đoạn trong quá trình suy luận của mô hình.

Nghiên cứu này chỉ ra rằng việc lặp lại câu hỏi không những làm tăng độ chính xác mà còn không làm tăng chi phí hay thời gian phản hồi của hệ thống. Điều này mang lại một lợi thế lớn cho các nhà phát triển AI, vì họ không cần phải đầu tư vào các mô hình siêu lớn, đắt đỏ và chậm chạp để cải thiện hiệu suất. Thay vào đó, họ có thể sử dụng chiến lược "bộ lặp" đơn giản để cải thiện hiệu quả của các mô hình hiện tại.

Mặc dù phương pháp lặp lại từ khóa đã chứng tỏ hiệu quả trong việc cải thiện độ chính xác của các mô hình LLM trong các tác vụ truy xuất thông tin, nhưng nghiên cứu cũng chỉ ra rằng các mô hình hiện tại vẫn còn những điểm mù và hạn chế. Điều này mở ra một hướng đi mới cho các nghiên cứu tiếp theo, với mục tiêu xây dựng những mô hình ngôn ngữ cải tiến, không chỉ khắc phục các điểm mù nhân quả mà còn tối ưu hóa khả năng suy luận và tư duy của mô hình.

Nhờ vào sự phát hiện này, việc tối ưu hóa các mô hình ngôn ngữ có thể trở nên đơn giản hơn và tiết kiệm chi phí hơn. Phương pháp lặp lại từ khóa giúp các mô hình đạt được hiệu suất cao mà không cần phải phát triển thêm các khả năng suy luận phức tạp. Mặc dù có giới hạn trong một số tác vụ, đây vẫn là một bước tiến quan trọng trong việc phát triển công nghệ AI và mở ra cơ hội mới cho các ứng dụng thực tế.