Thoại Viết Hoàng
Writer
Một nghiên cứu được công bố trong tháng này bởi các nhà nghiên cứu từ Đại học Stanford, UC Berkeley và Samaya AI đã phát hiện ra rằng các mô hình ngôn ngữ lớn (LLM) thường không truy cập và sử dụng thông tin liên quan được cung cấp cho chúng trong các cửa sổ ngữ cảnh dài hơn.
Trong các mô hình ngôn ngữ, một cửa sổ ngữ cảnh đề cập đến độ dài của văn bản mà một mô hình có thể xử lý và phản hồi trong một trường hợp nhất định. Nó có thể được coi là một bộ nhớ làm việc cho một phân tích văn bản hoặc cuộc trò chuyện chatbot cụ thể.
Nghiên cứu đã thu hút sự chú ý rộng rãi vào tuần trước sau khi phát hành vì nhiều nhà phát triển và người dùng khác đang thử nghiệm LLM đã cho rằng xu hướng hướng tới các cửa sổ ngữ cảnh lớn hơn sẽ tiếp tục cải thiện hiệu suất LLM và tính hữu dụng của chúng trên các ứng dụng khác nhau.
Nếu một LLM có thể lấy toàn bộ tài liệu hoặc bài báo làm đầu vào cho cửa sổ ngữ cảnh của nó, thì theo suy nghĩ thông thường, LLM có thể cung cấp khả năng hiểu hoàn hảo về phạm vi đầy đủ của tài liệu đó khi được đặt câu hỏi về nó.
Giả định xung quanh cửa sổ bối cảnh thiếu sót
Các công ty LLM như Anthropic đã thúc đẩy sự phấn khích xung quanh ý tưởng về cửa sổ nội dung dài hơn, nơi người dùng có thể cung cấp nhiều thông tin đầu vào hơn để được phân tích hoặc tóm tắt. Anthropic vừa phát hành một mô hình mới có tên là Claude 2, cung cấp một cửa sổ ngữ cảnh mã thông báo khổng lồ 100 nghìn và cho biết nó có thể kích hoạt các trường hợp sử dụng mới như tóm tắt các cuộc hội thoại dài hoặc soạn thảo các bản ghi nhớ và ý kiến.
Nhưng nghiên cứu cho thấy rằng một số giả định xung quanh cửa sổ ngữ cảnh là thiếu sót khi nói đến khả năng tìm kiếm và phân tích chính xác của LLM.
Nghiên cứu cho thấy rằng các LLM hoạt động tốt nhất “khi thông tin liên quan xuất hiện ở đầu hoặc cuối ngữ cảnh đầu vào và suy giảm đáng kể khi các mô hình phải truy cập thông tin liên quan ở giữa các ngữ cảnh dài. Hơn nữa, hiệu suất giảm đáng kể khi ngữ cảnh đầu vào dài hơn, ngay cả đối với các mô hình ngữ cảnh dài rõ ràng.”
Tuần trước, những người trong ngành như Bob Wiederhold, COO của công ty cơ sở dữ liệu véc tơ Pinecone, đã trích dẫn nghiên cứu này như một bằng chứng cho thấy việc nhét toàn bộ tài liệu vào một cửa sổ tài liệu để thực hiện những việc như tìm kiếm và phân tích sẽ không phải là liều thuốc chữa bách bệnh mà nhiều người đã hy vọng.
Tìm kiếm ngữ nghĩa thích hợp hơn để nhồi nhét tài liệu
Cơ sở dữ liệu vectơ như Pinecone giúp các nhà phát triển tăng bộ nhớ LLM bằng cách tìm kiếm thông tin liên quan để đưa vào cửa sổ ngữ cảnh. Wiederhold chỉ ra nghiên cứu là bằng chứng cho thấy cơ sở dữ liệu vectơ sẽ vẫn khả thi trong tương lai gần, vì nghiên cứu cho thấy tìm kiếm ngữ nghĩa được cung cấp bởi cơ sở dữ liệu vectơ tốt hơn là nhồi nhét tài liệu.
Nelson Liu của Đại học Stanford, tác giả chính của nghiên cứu, đã đồng ý rằng nếu bạn cố gắng đưa toàn bộ tệp PDF vào cửa sổ ngữ cảnh mô hình ngôn ngữ và sau đó đặt câu hỏi về tài liệu, thì việc sử dụng tìm kiếm cơ sở dữ liệu vectơ sẽ hiệu quả hơn.
Liu cho biết: “Nếu bạn đang tìm kiếm trên một lượng lớn tài liệu, bạn muốn sử dụng thứ gì đó được xây dựng để tìm kiếm, ít nhất là vào lúc này.
Tuy nhiên, Liu cảnh báo rằng nghiên cứu không nhất thiết khẳng định rằng việc dán toàn bộ tài liệu vào một cửa sổ ngữ cảnh sẽ không hiệu quả. Kết quả sẽ phụ thuộc cụ thể vào loại nội dung có trong tài liệu mà các LLM đang phân tích. Liu giải thích rằng các mô hình ngôn ngữ rất kém trong việc phân biệt giữa nhiều thứ có liên quan chặt chẽ hoặc có vẻ liên quan. Nhưng họ rất giỏi trong việc tìm kiếm một thứ có liên quan rõ ràng khi hầu hết những thứ khác không liên quan.
“Vì vậy, tôi nghĩ rằng nó mang nhiều sắc thái hơn một chút so với ‘Bạn nên luôn sử dụng cơ sở dữ liệu vectơ hoặc bạn không bao giờ nên sử dụng cơ sở dữ liệu vectơ’,” anh ấy nói.
Trường hợp sử dụng tốt nhất của mô hình ngôn ngữ: Tạo nội dung
Liu cho biết nghiên cứu của ông giả định rằng hầu hết các ứng dụng thương mại đang hoạt động trong một môi trường mà chúng sử dụng một số loại cơ sở dữ liệu vectơ để giúp trả về nhiều kết quả có thể có trong một cửa sổ ngữ cảnh. Nghiên cứu cho thấy rằng có nhiều kết quả hơn trong cửa sổ ngữ cảnh không phải lúc nào cũng cải thiện hiệu suất.
Là một chuyên gia về xử lý ngôn ngữ, Liu cho biết anh rất ngạc nhiên khi mọi người nghĩ đến việc sử dụng cửa sổ ngữ cảnh để tìm kiếm nội dung hoặc tổng hợp hoặc tổng hợp nội dung đó, mặc dù anh nói rằng anh có thể hiểu tại sao mọi người lại muốn như vậy. Ông cho biết mọi người nên tiếp tục nghĩ về các mô hình ngôn ngữ được sử dụng tốt nhất để tạo nội dung và các công cụ tìm kiếm là tốt nhất để tìm kiếm nội dung.
Anh ấy nói: “Hy vọng rằng bạn có thể ném mọi thứ vào một mô hình ngôn ngữ và chỉ cầu nguyện rằng nó hoạt động, tôi không nghĩ chúng ta đã đạt được điều đó. “Nhưng có lẽ chúng ta sẽ ở đó trong vài năm hoặc thậm chí vài tháng. Tôi không rõ không gian này sẽ di chuyển nhanh như thế nào, nhưng tôi nghĩ ngay bây giờ, các mô hình ngôn ngữ sẽ không thể thay thế cơ sở dữ liệu vectơ và công cụ tìm kiếm.”
Tham khảo bài viết gốc tại đây
Nghiên cứu đã thu hút sự chú ý rộng rãi vào tuần trước sau khi phát hành vì nhiều nhà phát triển và người dùng khác đang thử nghiệm LLM đã cho rằng xu hướng hướng tới các cửa sổ ngữ cảnh lớn hơn sẽ tiếp tục cải thiện hiệu suất LLM và tính hữu dụng của chúng trên các ứng dụng khác nhau.
Nếu một LLM có thể lấy toàn bộ tài liệu hoặc bài báo làm đầu vào cho cửa sổ ngữ cảnh của nó, thì theo suy nghĩ thông thường, LLM có thể cung cấp khả năng hiểu hoàn hảo về phạm vi đầy đủ của tài liệu đó khi được đặt câu hỏi về nó.
Giả định xung quanh cửa sổ bối cảnh thiếu sót
Các công ty LLM như Anthropic đã thúc đẩy sự phấn khích xung quanh ý tưởng về cửa sổ nội dung dài hơn, nơi người dùng có thể cung cấp nhiều thông tin đầu vào hơn để được phân tích hoặc tóm tắt. Anthropic vừa phát hành một mô hình mới có tên là Claude 2, cung cấp một cửa sổ ngữ cảnh mã thông báo khổng lồ 100 nghìn và cho biết nó có thể kích hoạt các trường hợp sử dụng mới như tóm tắt các cuộc hội thoại dài hoặc soạn thảo các bản ghi nhớ và ý kiến.
Nhưng nghiên cứu cho thấy rằng một số giả định xung quanh cửa sổ ngữ cảnh là thiếu sót khi nói đến khả năng tìm kiếm và phân tích chính xác của LLM.
Nghiên cứu cho thấy rằng các LLM hoạt động tốt nhất “khi thông tin liên quan xuất hiện ở đầu hoặc cuối ngữ cảnh đầu vào và suy giảm đáng kể khi các mô hình phải truy cập thông tin liên quan ở giữa các ngữ cảnh dài. Hơn nữa, hiệu suất giảm đáng kể khi ngữ cảnh đầu vào dài hơn, ngay cả đối với các mô hình ngữ cảnh dài rõ ràng.”
Tuần trước, những người trong ngành như Bob Wiederhold, COO của công ty cơ sở dữ liệu véc tơ Pinecone, đã trích dẫn nghiên cứu này như một bằng chứng cho thấy việc nhét toàn bộ tài liệu vào một cửa sổ tài liệu để thực hiện những việc như tìm kiếm và phân tích sẽ không phải là liều thuốc chữa bách bệnh mà nhiều người đã hy vọng.
Tìm kiếm ngữ nghĩa thích hợp hơn để nhồi nhét tài liệu
Cơ sở dữ liệu vectơ như Pinecone giúp các nhà phát triển tăng bộ nhớ LLM bằng cách tìm kiếm thông tin liên quan để đưa vào cửa sổ ngữ cảnh. Wiederhold chỉ ra nghiên cứu là bằng chứng cho thấy cơ sở dữ liệu vectơ sẽ vẫn khả thi trong tương lai gần, vì nghiên cứu cho thấy tìm kiếm ngữ nghĩa được cung cấp bởi cơ sở dữ liệu vectơ tốt hơn là nhồi nhét tài liệu.
Nelson Liu của Đại học Stanford, tác giả chính của nghiên cứu, đã đồng ý rằng nếu bạn cố gắng đưa toàn bộ tệp PDF vào cửa sổ ngữ cảnh mô hình ngôn ngữ và sau đó đặt câu hỏi về tài liệu, thì việc sử dụng tìm kiếm cơ sở dữ liệu vectơ sẽ hiệu quả hơn.
Liu cho biết: “Nếu bạn đang tìm kiếm trên một lượng lớn tài liệu, bạn muốn sử dụng thứ gì đó được xây dựng để tìm kiếm, ít nhất là vào lúc này.
Tuy nhiên, Liu cảnh báo rằng nghiên cứu không nhất thiết khẳng định rằng việc dán toàn bộ tài liệu vào một cửa sổ ngữ cảnh sẽ không hiệu quả. Kết quả sẽ phụ thuộc cụ thể vào loại nội dung có trong tài liệu mà các LLM đang phân tích. Liu giải thích rằng các mô hình ngôn ngữ rất kém trong việc phân biệt giữa nhiều thứ có liên quan chặt chẽ hoặc có vẻ liên quan. Nhưng họ rất giỏi trong việc tìm kiếm một thứ có liên quan rõ ràng khi hầu hết những thứ khác không liên quan.
“Vì vậy, tôi nghĩ rằng nó mang nhiều sắc thái hơn một chút so với ‘Bạn nên luôn sử dụng cơ sở dữ liệu vectơ hoặc bạn không bao giờ nên sử dụng cơ sở dữ liệu vectơ’,” anh ấy nói.
Trường hợp sử dụng tốt nhất của mô hình ngôn ngữ: Tạo nội dung
Liu cho biết nghiên cứu của ông giả định rằng hầu hết các ứng dụng thương mại đang hoạt động trong một môi trường mà chúng sử dụng một số loại cơ sở dữ liệu vectơ để giúp trả về nhiều kết quả có thể có trong một cửa sổ ngữ cảnh. Nghiên cứu cho thấy rằng có nhiều kết quả hơn trong cửa sổ ngữ cảnh không phải lúc nào cũng cải thiện hiệu suất.
Là một chuyên gia về xử lý ngôn ngữ, Liu cho biết anh rất ngạc nhiên khi mọi người nghĩ đến việc sử dụng cửa sổ ngữ cảnh để tìm kiếm nội dung hoặc tổng hợp hoặc tổng hợp nội dung đó, mặc dù anh nói rằng anh có thể hiểu tại sao mọi người lại muốn như vậy. Ông cho biết mọi người nên tiếp tục nghĩ về các mô hình ngôn ngữ được sử dụng tốt nhất để tạo nội dung và các công cụ tìm kiếm là tốt nhất để tìm kiếm nội dung.
Anh ấy nói: “Hy vọng rằng bạn có thể ném mọi thứ vào một mô hình ngôn ngữ và chỉ cầu nguyện rằng nó hoạt động, tôi không nghĩ chúng ta đã đạt được điều đó. “Nhưng có lẽ chúng ta sẽ ở đó trong vài năm hoặc thậm chí vài tháng. Tôi không rõ không gian này sẽ di chuyển nhanh như thế nào, nhưng tôi nghĩ ngay bây giờ, các mô hình ngôn ngữ sẽ không thể thay thế cơ sở dữ liệu vectơ và công cụ tìm kiếm.”
Tham khảo bài viết gốc tại đây
