Thoại Viết Hoàng
Writer
Khi Anthropic đối đầu với OpenAI và những thách thức khác trong ngành trí tuệ nhân tạo đang phát triển, cũng có một câu hỏi hiện hữu hiện ra: Liệu các mô hình ngôn ngữ lớn và các hệ thống mà chúng cho phép có tiếp tục phát triển về quy mô và khả năng không? CEO và đồng sáng lập Dario Amodei có câu trả lời đơn giản: có.
Image Credits: Kimberly White/Getty Images for TechCrunch
Phát biểu trên sân khấu tại TechCrunch Disrupt, Amodei giải thích rằng ông không thấy bất kỳ rào cản nào đối với công nghệ chủ chốt của công ty mình.
Ông nói: “10 năm qua, đã có sự gia tăng đáng kể về quy mô mà chúng tôi sử dụng để đào tạo mạng lưới thần kinh và chúng tôi tiếp tục mở rộng quy mô, đồng thời chúng tiếp tục hoạt động ngày càng tốt hơn”. “Đó là cơ sở cho cảm giác của tôi rằng những gì chúng ta sẽ thấy trong 2, 3, 4 năm tới… những gì chúng ta thấy ngày nay sẽ nhạt nhòa so với những gì chúng ta thấy.”
Khi được hỏi liệu anh ấy có nghĩ rằng chúng ta sẽ thấy một mô hình hàng triệu tham số vào năm tới hay không (có tin đồn rằng chúng ta sẽ thấy các mô hình hàng trăm nghìn tỷ tham số trong năm nay), anh ấy nói rằng điều đó nằm ngoài các quy luật chia tỷ lệ dự kiến, mà anh ấy mô tả gần giống như bình phương của máy tính. . Nhưng chắc chắn, ông nói, chúng ta có thể mong đợi các mô hình vẫn phát triển.
Tuy nhiên, một số nhà nghiên cứu đã gợi ý rằng cho dù các mô hình dựa trên máy biến áp này có lớn đến đâu thì chúng vẫn có thể gặp một số nhiệm vụ khó khăn, nếu không nói là không thể. Yejin Choi đã chỉ ra rằng một số LLM gặp rất nhiều khó khăn khi nhân hai số có ba chữ số, điều này hàm ý rằng sâu trong lòng những mô hình có năng lực cao này có sự bất lực nhất định.
“Bạn có nghĩ rằng chúng ta nên cố gắng xác định những loại giới hạn cơ bản đó không?” hỏi người điều hành (chính tôi).
“Ừ, nên tôi không chắc có cái nào không,” Amodei trả lời.
“Ngoài ra, trong phạm vi hiện có, tôi không chắc liệu có cách nào tốt để đo lường chúng hay không,” ông tiếp tục. “Tôi nghĩ kinh nghiệm mở rộng quy mô trong nhiều năm đã dạy tôi rất hoài nghi nhưng cũng hoài nghi về tuyên bố rằng LLM không thể làm được gì. Hoặc nếu nó không được nhắc nhở, tinh chỉnh hoặc huấn luyện theo một cách hơi khác, thì nó sẽ không thể làm được bất cứ điều gì. Đó không phải là tuyên bố rằng LLM có thể làm bất cứ điều gì bây giờ hoặc họ sẽ hoàn toàn có thể làm bất cứ điều gì vào một thời điểm nào đó trong tương lai. Tôi chỉ hoài nghi về những danh sách khó khăn này - tôi nghi ngờ những người hay hoài nghi.”
Ít nhất, Amodei đề xuất, chúng ta sẽ không thấy lợi nhuận giảm dần trong ba hoặc bốn năm tới - nếu vượt quá thời điểm đó thì bạn sẽ cần nhiều hơn một triệu triệu thông số AI để dự đoán.
Tham khảo bài viết gốc tại đây:
Phát biểu trên sân khấu tại TechCrunch Disrupt, Amodei giải thích rằng ông không thấy bất kỳ rào cản nào đối với công nghệ chủ chốt của công ty mình.
Ông nói: “10 năm qua, đã có sự gia tăng đáng kể về quy mô mà chúng tôi sử dụng để đào tạo mạng lưới thần kinh và chúng tôi tiếp tục mở rộng quy mô, đồng thời chúng tiếp tục hoạt động ngày càng tốt hơn”. “Đó là cơ sở cho cảm giác của tôi rằng những gì chúng ta sẽ thấy trong 2, 3, 4 năm tới… những gì chúng ta thấy ngày nay sẽ nhạt nhòa so với những gì chúng ta thấy.”
Khi được hỏi liệu anh ấy có nghĩ rằng chúng ta sẽ thấy một mô hình hàng triệu tham số vào năm tới hay không (có tin đồn rằng chúng ta sẽ thấy các mô hình hàng trăm nghìn tỷ tham số trong năm nay), anh ấy nói rằng điều đó nằm ngoài các quy luật chia tỷ lệ dự kiến, mà anh ấy mô tả gần giống như bình phương của máy tính. . Nhưng chắc chắn, ông nói, chúng ta có thể mong đợi các mô hình vẫn phát triển.
Tuy nhiên, một số nhà nghiên cứu đã gợi ý rằng cho dù các mô hình dựa trên máy biến áp này có lớn đến đâu thì chúng vẫn có thể gặp một số nhiệm vụ khó khăn, nếu không nói là không thể. Yejin Choi đã chỉ ra rằng một số LLM gặp rất nhiều khó khăn khi nhân hai số có ba chữ số, điều này hàm ý rằng sâu trong lòng những mô hình có năng lực cao này có sự bất lực nhất định.
“Bạn có nghĩ rằng chúng ta nên cố gắng xác định những loại giới hạn cơ bản đó không?” hỏi người điều hành (chính tôi).
“Ừ, nên tôi không chắc có cái nào không,” Amodei trả lời.
“Ngoài ra, trong phạm vi hiện có, tôi không chắc liệu có cách nào tốt để đo lường chúng hay không,” ông tiếp tục. “Tôi nghĩ kinh nghiệm mở rộng quy mô trong nhiều năm đã dạy tôi rất hoài nghi nhưng cũng hoài nghi về tuyên bố rằng LLM không thể làm được gì. Hoặc nếu nó không được nhắc nhở, tinh chỉnh hoặc huấn luyện theo một cách hơi khác, thì nó sẽ không thể làm được bất cứ điều gì. Đó không phải là tuyên bố rằng LLM có thể làm bất cứ điều gì bây giờ hoặc họ sẽ hoàn toàn có thể làm bất cứ điều gì vào một thời điểm nào đó trong tương lai. Tôi chỉ hoài nghi về những danh sách khó khăn này - tôi nghi ngờ những người hay hoài nghi.”
Ít nhất, Amodei đề xuất, chúng ta sẽ không thấy lợi nhuận giảm dần trong ba hoặc bốn năm tới - nếu vượt quá thời điểm đó thì bạn sẽ cần nhiều hơn một triệu triệu thông số AI để dự đoán.
Tham khảo bài viết gốc tại đây:
