ChatGPT mới được giới thiệu cách đây gần chục tuần, nhưng AI đã thu được sự cường điệu đáng giá cả đời người. Ai cũng đoán được liệu công nghệ đặc biệt này sẽ mở ra bộ kimono AI mãi mãi hay chỉ là một đốm sáng trước khi mùa đông AI tiếp theo bắt đầu, nhưng có một điều chắc chắn: Nó đã bắt đầu một cuộc trò chuyện quan trọng về AI, bao gồm cả mức độ minh bạch mà chúng ta nên mong đợi khi làm việc với AI và cách nhận biết khi nào nó nói dối.
Kể từ khi được ra mắt vào ngày 30 tháng 11, mô hình ngôn ngữ mới nhất của OpenAI, được đào tạo trên một kho kiến thức rất lớn của con người, đã thể hiện khả năng kỳ lạ để tạo ra các phản hồi hấp dẫn đối với các lời nhắc dựa trên văn bản. Nó không chỉ đọc rap như Snoop Dogg và gieo vần như Nick **** (với sự thất vọng lớn của người viết nhạc), mà còn giải các bài toán phức tạp và viết mã máy tính.
Giờ đây, ChatGPT có thể tạo ra những bài viết tầm thường và (hầu hết) đúng, thời đại của bài luận của học sinh đã chính thức được tuyên bố kết thúc. “Không ai chuẩn bị cho việc AI sẽ biến đổi giới học thuật như thế nào,” Stephen Marche viết trong “Bài luận về trường đại học đã chết,” được xuất bản vào tháng trước. Marche viết: “Theo kinh nghiệm của tôi với tư cách là một cựu giáo sư của Shakespeare, tôi cho rằng sẽ mất 10 năm để giới học thuật đối mặt với thực tế mới này: hai năm để sinh viên tìm ra công nghệ, ba năm nữa để các giáo sư nhận ra sinh viên đó. đang sử dụng công nghệ, và sau đó 5 năm để các nhà quản lý trường đại học quyết định phải làm gì với nó, nếu có. Giáo viên đã là một trong số những người làm việc quá sức và bị trả lương thấp nhất trên thế giới. Họ đã đối phó với một ngành nhân văn đang gặp khủng hoảng. Và bây giờ điều này. Tôi cảm thấy cho họ.
Có thể là Marche đã hơi sai thời điểm. Đối với những người mới bắt đầu, các trường học đã bắt đầu đối phó với mối đe dọa đạo văn do ChatGPT gây ra, với các lệnh cấm được áp dụng tại các khu học chánh công lập ở Seattle, Washington và Thành phố New York. Và nhờ vào sự phát triển không ngừng của công nghệ đã mang lại cho chúng tôi ChatGPT, chúng tôi đang có khả năng phát hiện khi AI tổng quát đang được sử dụng.
Cuối tuần qua, tin tức bắt đầu lan truyền về một công cụ có thể phát hiện thời điểm ChatGPT được sử dụng để tạo một đoạn văn bản nhất định. Được đặt tên là GPTZero, công cụ này được viết bởi Edward Tian, một chuyên gia khoa học máy tính tại Đại học Princeton ở New Jersey.
“Tôi đã dành cả năm mới để xây dựng GPTZero — một ứng dụng có thể phát hiện nhanh chóng và hiệu quả xem một bài luận là ChatGPT hay do con người viết,” Tian viết trên Twitter . “[T]động lực của anh ấy ở đây là gia tăng đạo văn AI. [T] nghĩ rằng các giáo viên trung học có muốn học sinh sử dụng ChatGPT để viết bài luận lịch sử của họ không? [L]chắc là không.”
Công cụ này hoạt động bằng cách phân tích hai đặc điểm của văn bản: mức độ “lộn xộn” và mức độ “bùng nổ”, theo một bài báo trên NPR . Tian xác định rằng ChatGPT có xu hướng tạo văn bản có mức độ phức tạp thấp hơn so với văn bản do con người tạo ra. Anh ấy cũng nhận thấy rằng ChatGPT luôn tạo ra các câu có độ dài nhất quán hơn và ít “lố” hơn so với con người.
GPTZero không hoàn hảo (không có AI), nhưng trong các cuộc biểu tình, nó dường như hoạt động. Vào Chủ nhật, Tian đã thông báo trên substack của mình rằng anh ấy đang đàm phán với hội đồng nhà trường và quỹ học bổng để cung cấp một phiên bản mới của công cụ, được gọi là GPTZeroX, cho 300.000 trường học và quỹ học bổng. “Nếu tổ chức của bạn có thể quan tâm, xin vui lòng cho chúng tôi biết,” anh ấy viết.
Peter Relan, đồng sáng lập và chủ tịch của Got It AI , một công ty ở Thung lũng Silicon chuyên phát triển đàm thoại tùy chỉnh cho biết: “Bất kỳ mô hình ngôn ngữ lớn nào được cung cấp đầu vào hoặc lời nhắc – đó không phải là một sự lựa chọn – nó sẽ gây ảo giác. Giải pháp AI cho khách hàng.
Internet có rất nhiều ví dụ về ChatGPT đang đi chệch hướng. Người mẫu sẽ cung cấp cho bạn văn bản được viết một cách tinh xảo–và sai–về kỷ lục đi bộ qua Kênh tiếng Anh hoặc sẽ viết một bài luận thuyết phục về lý do tại sao mayonnaise là một loại gia vị phân biệt chủng tộc , nếu được gợi ý đúng cách.
Nói một cách đại khái, tỷ lệ ảo giác đối với ChatGPT là 15% đến 20%, Relan nói. “Vì vậy, 80% thời gian là nó hoạt động tốt và 20% thời gian là nó bịa chuyện,” anh nói với Datanami. “Chìa khóa ở đây là tìm ra thời điểm nó [ảo giác] và đảm bảo rằng bạn có câu trả lời thay thế hoặc phản hồi mà bạn cung cấp cho người dùng, so với ảo giác của nó.”
Got It AI tuần trước đã công bố bản xem trước riêng tư cho một thành phần kiểm tra sự thật mới của Autonomous Articlebot, một trong hai sản phẩm của công ty. Giống như ChatGPT, trình kiểm tra sự thật của công ty cũng dựa trên mô hình ngôn ngữ lớn được đào tạo để phát hiện khi ChatGPT (hoặc các mô hình ngôn ngữ lớn khác) nói dối.
Theo Relan, công cụ kiểm tra sự thật mới có độ chính xác 90% vào lúc này. Vì vậy, nếu ChatGPT hoặc một mô hình ngôn ngữ lớn khác được sử dụng để tạo phản hồi 100 lần và 20 lần trong số đó là sai, người kiểm tra sự thật sẽ có thể phát hiện ra 18 trong số những điều bịa đặt đó trước khi câu trả lời được gửi đến người dùng. Điều đó làm tăng tỷ lệ chính xác của ChatGPT lên 98% một cách hiệu quả, Relan nói.
“Bây giờ bạn đang ở trong phạm vi có thể chấp nhận được. Chúng tôi đang nhắm đến 95% tiếp theo,” anh ấy nói. “Nếu bạn có thể phát hiện ra 95% những ảo giác đó, thì bạn chỉ còn một trong số 100 phản ứng là không chính xác. Bây giờ bạn đang ở trong một hệ thống cấp doanh nghiệp thực sự.”
OpenAI, nhà sản xuất ChatGPT, vẫn chưa phát hành API cho mô hình ngôn ngữ lớn đã thu hút sự chú ý của thế giới. Tuy nhiên, mô hình cơ bản được sử dụng bởi ChatGPT được biết đến là GPT-3, có sẵn API. Trình kiểm tra sự thật của Got It AI hiện có thể được sử dụng với bản phát hành mới nhất của GPT-3, có tên là davinci-003, được phát hành vào ngày 28 tháng 11.
Relan nói: “Mô hình gần nhất mà chúng tôi tìm thấy trong một API là GPT-3 davinci. “Đó là những gì chúng tôi nghĩ gần giống với những gì ChatGPT đang sử dụng ở hậu trường.”
Relan nói, vấn đề ảo giác sẽ không bao giờ biến mất hoàn toàn với các hệ thống AI đàm thoại, nhưng nó có thể được giảm thiểu và OpenAI đang đạt được tiến bộ trên mặt trận đó. Ví dụ: tỷ lệ lỗi đối với GPT-3.5 là gần 30%, do đó, tỷ lệ 20% với ChatGPT–điều mà Relan quy cho việc OpenAI áp dụng vòng lặp phản hồi của con người học tăng cường (RLHF)—đã là một cải tiến lớn.
Relan nói: “Tôi tin rằng OpenAI… sẽ giải quyết được một số xu hướng gây ảo giác của nền tảng cốt lõi. “Nhưng đó là một mô hình ngẫu nhiên. Nó sẽ thực hiện khớp mẫu và tìm ra thứ gì đó, và đôi khi nó sẽ tạo ra thứ gì đó. Đó không phải là thử thách của chúng tôi. Đó là thách thức của OpenAI: Làm thế nào để giảm tỷ lệ ảo giác của nó từ 20% xuống 10% xuống 5% xuống còn rất ít theo thời gian.”
Bài viết đăng trên Artificialintelligence-News được dịch bởi Google Dịch
Giờ đây, ChatGPT có thể tạo ra những bài viết tầm thường và (hầu hết) đúng, thời đại của bài luận của học sinh đã chính thức được tuyên bố kết thúc. “Không ai chuẩn bị cho việc AI sẽ biến đổi giới học thuật như thế nào,” Stephen Marche viết trong “Bài luận về trường đại học đã chết,” được xuất bản vào tháng trước. Marche viết: “Theo kinh nghiệm của tôi với tư cách là một cựu giáo sư của Shakespeare, tôi cho rằng sẽ mất 10 năm để giới học thuật đối mặt với thực tế mới này: hai năm để sinh viên tìm ra công nghệ, ba năm nữa để các giáo sư nhận ra sinh viên đó. đang sử dụng công nghệ, và sau đó 5 năm để các nhà quản lý trường đại học quyết định phải làm gì với nó, nếu có. Giáo viên đã là một trong số những người làm việc quá sức và bị trả lương thấp nhất trên thế giới. Họ đã đối phó với một ngành nhân văn đang gặp khủng hoảng. Và bây giờ điều này. Tôi cảm thấy cho họ.
Có thể là Marche đã hơi sai thời điểm. Đối với những người mới bắt đầu, các trường học đã bắt đầu đối phó với mối đe dọa đạo văn do ChatGPT gây ra, với các lệnh cấm được áp dụng tại các khu học chánh công lập ở Seattle, Washington và Thành phố New York. Và nhờ vào sự phát triển không ngừng của công nghệ đã mang lại cho chúng tôi ChatGPT, chúng tôi đang có khả năng phát hiện khi AI tổng quát đang được sử dụng.
Cuối tuần qua, tin tức bắt đầu lan truyền về một công cụ có thể phát hiện thời điểm ChatGPT được sử dụng để tạo một đoạn văn bản nhất định. Được đặt tên là GPTZero, công cụ này được viết bởi Edward Tian, một chuyên gia khoa học máy tính tại Đại học Princeton ở New Jersey.
“Tôi đã dành cả năm mới để xây dựng GPTZero — một ứng dụng có thể phát hiện nhanh chóng và hiệu quả xem một bài luận là ChatGPT hay do con người viết,” Tian viết trên Twitter . “[T]động lực của anh ấy ở đây là gia tăng đạo văn AI. [T] nghĩ rằng các giáo viên trung học có muốn học sinh sử dụng ChatGPT để viết bài luận lịch sử của họ không? [L]chắc là không.”
Công cụ này hoạt động bằng cách phân tích hai đặc điểm của văn bản: mức độ “lộn xộn” và mức độ “bùng nổ”, theo một bài báo trên NPR . Tian xác định rằng ChatGPT có xu hướng tạo văn bản có mức độ phức tạp thấp hơn so với văn bản do con người tạo ra. Anh ấy cũng nhận thấy rằng ChatGPT luôn tạo ra các câu có độ dài nhất quán hơn và ít “lố” hơn so với con người.
GPTZero không hoàn hảo (không có AI), nhưng trong các cuộc biểu tình, nó dường như hoạt động. Vào Chủ nhật, Tian đã thông báo trên substack của mình rằng anh ấy đang đàm phán với hội đồng nhà trường và quỹ học bổng để cung cấp một phiên bản mới của công cụ, được gọi là GPTZeroX, cho 300.000 trường học và quỹ học bổng. “Nếu tổ chức của bạn có thể quan tâm, xin vui lòng cho chúng tôi biết,” anh ấy viết.
Theo dõi ảo giác
Trong khi đó, các nhà phát triển khác đang xây dựng các công cụ bổ sung để trợ giúp giải quyết một vấn đề khác đã xuất hiện cùng với sự nổi tiếng vượt bậc của ChatGPT: ảo giác.Peter Relan, đồng sáng lập và chủ tịch của Got It AI , một công ty ở Thung lũng Silicon chuyên phát triển đàm thoại tùy chỉnh cho biết: “Bất kỳ mô hình ngôn ngữ lớn nào được cung cấp đầu vào hoặc lời nhắc – đó không phải là một sự lựa chọn – nó sẽ gây ảo giác. Giải pháp AI cho khách hàng.
Internet có rất nhiều ví dụ về ChatGPT đang đi chệch hướng. Người mẫu sẽ cung cấp cho bạn văn bản được viết một cách tinh xảo–và sai–về kỷ lục đi bộ qua Kênh tiếng Anh hoặc sẽ viết một bài luận thuyết phục về lý do tại sao mayonnaise là một loại gia vị phân biệt chủng tộc , nếu được gợi ý đúng cách.
Nói một cách đại khái, tỷ lệ ảo giác đối với ChatGPT là 15% đến 20%, Relan nói. “Vì vậy, 80% thời gian là nó hoạt động tốt và 20% thời gian là nó bịa chuyện,” anh nói với Datanami. “Chìa khóa ở đây là tìm ra thời điểm nó [ảo giác] và đảm bảo rằng bạn có câu trả lời thay thế hoặc phản hồi mà bạn cung cấp cho người dùng, so với ảo giác của nó.”
Got It AI tuần trước đã công bố bản xem trước riêng tư cho một thành phần kiểm tra sự thật mới của Autonomous Articlebot, một trong hai sản phẩm của công ty. Giống như ChatGPT, trình kiểm tra sự thật của công ty cũng dựa trên mô hình ngôn ngữ lớn được đào tạo để phát hiện khi ChatGPT (hoặc các mô hình ngôn ngữ lớn khác) nói dối.
Theo Relan, công cụ kiểm tra sự thật mới có độ chính xác 90% vào lúc này. Vì vậy, nếu ChatGPT hoặc một mô hình ngôn ngữ lớn khác được sử dụng để tạo phản hồi 100 lần và 20 lần trong số đó là sai, người kiểm tra sự thật sẽ có thể phát hiện ra 18 trong số những điều bịa đặt đó trước khi câu trả lời được gửi đến người dùng. Điều đó làm tăng tỷ lệ chính xác của ChatGPT lên 98% một cách hiệu quả, Relan nói.
“Bây giờ bạn đang ở trong phạm vi có thể chấp nhận được. Chúng tôi đang nhắm đến 95% tiếp theo,” anh ấy nói. “Nếu bạn có thể phát hiện ra 95% những ảo giác đó, thì bạn chỉ còn một trong số 100 phản ứng là không chính xác. Bây giờ bạn đang ở trong một hệ thống cấp doanh nghiệp thực sự.”
OpenAI, nhà sản xuất ChatGPT, vẫn chưa phát hành API cho mô hình ngôn ngữ lớn đã thu hút sự chú ý của thế giới. Tuy nhiên, mô hình cơ bản được sử dụng bởi ChatGPT được biết đến là GPT-3, có sẵn API. Trình kiểm tra sự thật của Got It AI hiện có thể được sử dụng với bản phát hành mới nhất của GPT-3, có tên là davinci-003, được phát hành vào ngày 28 tháng 11.
Relan nói: “Mô hình gần nhất mà chúng tôi tìm thấy trong một API là GPT-3 davinci. “Đó là những gì chúng tôi nghĩ gần giống với những gì ChatGPT đang sử dụng ở hậu trường.”
Relan nói, vấn đề ảo giác sẽ không bao giờ biến mất hoàn toàn với các hệ thống AI đàm thoại, nhưng nó có thể được giảm thiểu và OpenAI đang đạt được tiến bộ trên mặt trận đó. Ví dụ: tỷ lệ lỗi đối với GPT-3.5 là gần 30%, do đó, tỷ lệ 20% với ChatGPT–điều mà Relan quy cho việc OpenAI áp dụng vòng lặp phản hồi của con người học tăng cường (RLHF)—đã là một cải tiến lớn.
Relan nói: “Tôi tin rằng OpenAI… sẽ giải quyết được một số xu hướng gây ảo giác của nền tảng cốt lõi. “Nhưng đó là một mô hình ngẫu nhiên. Nó sẽ thực hiện khớp mẫu và tìm ra thứ gì đó, và đôi khi nó sẽ tạo ra thứ gì đó. Đó không phải là thử thách của chúng tôi. Đó là thách thức của OpenAI: Làm thế nào để giảm tỷ lệ ảo giác của nó từ 20% xuống 10% xuống 5% xuống còn rất ít theo thời gian.”
Bài viết đăng trên Artificialintelligence-News được dịch bởi Google Dịch
