Thoại Viết Hoàng
Writer
Tìm kiếm do AI cung cấp của Google không hiểu địa lý. Hoặc, rõ ràng, bảng chữ cái. Và chắc chắn không phải cả hai cùng một lúc.
Mọi chuyện bắt đầu khi một người dùng Bluesky tuyên bố rằng Google hiện đã "chết". Chúng bao gồm một ảnh chụp màn hình tính năng đoạn trích nổi bật của Google, trên công cụ tìm kiếm thông thường của nó, tuyên bố rằng không có quốc gia nào ở Châu Phi bắt đầu bằng chữ "K." Xét rằng đất nước Kenya tồn tại, điều này rõ ràng là không đúng.
Thật vậy, nếu bạn yêu cầu công cụ tìm kiếm "các quốc gia ở Châu Phi bắt đầu bằng chữ k", thì nó sẽ đưa ra tuyên bố hoàn toàn sai lầm này:
Và để làm cho vấn đề tồi tệ hơn, tuyên bố nổi bật này thực sự đến từ một bài đăng blog kỳ lạ, dường như do AI tạo ra về cuộc trò chuyện giữa người dùng là con người và ChatGPT. Theo đoạn trích, nó đang vẽ bài đăng từ blog "Tin tức do AI cung cấp" tự xưng - chóng mặt chưa? - được đặt tên là Tâm trí mới nổi.
Về bản thân, đây là một lỗi nghiêm trọng thay mặt cho công cụ tìm kiếm của Google và là một ví dụ đáng ngại về tài liệu kém chất lượng do AI tạo ra lọt vào các kết quả hàng đầu của thuật toán tìm kiếm được sử dụng nhiều nhất trên thế giới.
Nhưng khi chúng tôi tự mình kiểm tra trục trặc, chúng tôi nhận ra rằng không chỉ tìm kiếm thông thường của Google có thông tin xấu này. Tìm kiếm "SGE" do AI truyền vào của Google đã đi xa đến mức hút sạch rác ChatGPT và diễn giải nó cho người dùng - một dấu hiệu rõ ràng rằng tính năng được thổi phồng nhiều vẫn chưa biết cách lọc thông tin sai lệch trắng trợn.
Đây là những gì SGE đã nói với chúng tôi khi chúng tôi yêu cầu họ cung cấp cho chúng tôi "các quốc gia ở Châu Phi bắt đầu bằng chữ K", một lần nữa tham khảo bài đăng Emergent Mind nhếch nhác đó:
"Không có quốc gia nào ở Châu Phi bắt đầu bằng chữ 'K'. Gần nhất là Kenya, quốc gia bắt đầu bằng âm 'K'."
Khá xấu! Tuy nhiên, theo một cách nào đó, lỗi này hơi khó hiểu; một trang web có thông tin xấu và giống như tìm kiếm thông thường của Google, SGE đã lấy thông tin xấu đó theo mệnh giá.
Nhưng khi chúng tôi thử nghiệm bot trên một loạt các truy vấn tương tự, mọi thứ chỉ trở nên tồi tệ hơn.
Chẳng hạn, khi được yêu cầu cung cấp danh sách "các quốc gia ở Bắc Mỹ bắt đầu bằng chữ M", Google SGE đã vô cùng bối rối:
"Đây là một số quốc gia ở Bắc Mỹ bắt đầu bằng chữ M:
• Mexico: 758.249 dặm vuông
• Saint Kitts và Nevis: Quốc gia nhỏ nhất ở Bắc Mỹ
• El Salvador: Quốc gia nhỏ nhất trên đất liền
• Greenland: Một lãnh thổ phụ thuộc của Đan Mạch, nhưng sẽ là quốc gia lớn thứ ba trong lục địa
• Hoa Kỳ: 3.617.827 dặm vuông
• Quận Columbia: Một phần của Hoa Kỳ"
Vì chúng tôi chắc chắn rằng không cần phải nói, danh sách này hoàn toàn không chính xác. Chỉ một trong số các quốc gia này, Mexico, thậm chí bắt đầu bằng chữ cái chính xác và một trong những địa phương được liệt kê — Washington, DC — thậm chí không phải là một quốc gia.
Và, để đối chiếu với sai lầm của Kenya, cũng không rõ tại sao AI lại đưa ra những kết luận này. Rốt cuộc, mọi liên kết mà bot Google cung cấp dưới dạng dữ liệu nguồn của nó đều quay trở lại các trang web hợp pháp hơn: Tạp chí Dân số Thế giới, trang web chính thức của USGS và, theo một cách ít chính thức hơn nhưng không phải do AI tạo ra ở cấp độ xấu , Wikipedia.
Nghĩ như vậy, có vẻ như vấn đề ở đây không chỉ là về thông tin xấu. Có vẻ như SGE đang gặp phải tình trạng không thể phân tích cú pháp thông qua loại câu hỏi tổ chức, phân lớp cụ thể này.
Đây là một ví dụ khác về việc AI đơn giản là không hiểu bảng chữ cái. Ví dụ: khi được hỏi về "các quốc gia ở Châu Âu theo thứ tự bảng chữ cái", bot Google đã trả lời bằng một dòng tuyệt đối sau:
Dưới đây là một số quốc gia ở châu Âu theo thứ tự bảng chữ cái:
Hungary: Là thành viên của Khu vực Schengen từ năm 2007
Pháp: Là thành viên của EU từ năm 1958
Bỉ: Một quốc gia ở Tây Âu nổi tiếng với những thị trấn thời trung cổ và kiến trúc thời Phục hưng
Albania: Là thành viên của NATO từ năm 2009
Nga: Quốc gia lớn nhất châu Âu
Thành phố Vatican: Quốc gia nhỏ nhất châu Âu, với diện tích khoảng 0,44 km2
À vâng, các HFB cũ.
Công bằng mà nói, bot đã làm tốt hơn nhiều với một số yêu cầu tương tự khác. Nó có thể cho chúng tôi biết chính xác quốc gia nào ở Châu Âu bắt đầu bằng chữ cái "G" và cũng bị bỏ qua khi được yêu cầu cung cấp danh sách các quốc gia ở Châu Á bắt đầu bằng chữ cái "C" và "J." Cũng có một số trường hợp AI tìm kiếm gần như đã vượt qua bài kiểm tra, nhưng không hiểu sao lại thêm một mục không chính xác vào cuối. Ví dụ:
"Đây là một số quốc gia ở châu Á bắt đầu bằng chữ M:
Malaysia: Một quốc gia ở Châu Á
Maldives: Quốc gia nhỏ nhất châu Á
Mông Cổ: Một quốc gia ở Châu Á
Myanmar: Một quốc gia ở Châu Á
Nepal: Một quốc gia ở châu Á"
Như câu nói: gần, nhưng không có xì gà. Và trên lưu ý đó, chúng tôi đã tìm ra lý do tại sao Google SGE không nghĩ rằng bất kỳ quốc gia nào ở Châu Phi bắt đầu bằng chữ "K." Đó là bởi vì nó bắt đầu bằng chữ "B," đồ ngốc! Ít nhất, theo AI của Google:
"Đây là một số quốc gia ở Châu Phi bắt đầu bằng chữ B:
Benin: Một quốc gia ở Châu Phi
Botswana: Một quốc gia ở Châu Phi
Burkina Faso: Một quốc gia không giáp biển ở Tây Phi nổi tiếng với nghệ thuật và hàng thủ công truyền thống
Burundi: Một quốc gia nhỏ, không giáp biển ở Đông Phi nổi tiếng với những ngọn đồi thoai thoải, hồ nước và nền văn hóa
Kenya: Một quốc gia ở Đông Phi có chung biên giới với Tanzania, Uganda, Nam Sudan, Ethiopia và Somalia"
Khi chúng tôi liên hệ với Google, một phát ngôn viên đã nhấn mạnh rằng AI vẫn đang trong quá trình thử nghiệm.
Người phát ngôn nói với chúng tôi qua email: "Chúng tôi đã xây dựng các biện pháp bảo vệ mạnh mẽ để giảm thiểu sự không chính xác, nhưng giống như tất cả các trải nghiệm dựa trên LLM, AI tổng quát trong Tìm kiếm là thử nghiệm và có thể mắc lỗi". "Nó được đào tạo để chứng thực các phản hồi bằng các tài nguyên từ web mở, nhưng đôi khi các phản hồi có thể phản ánh những điểm không chính xác tồn tại trên web nói chung. Chúng tôi đã triển khai thử nghiệm này dưới dạng thử nghiệm trong Phòng thí nghiệm tìm kiếm để bắt đầu và chúng tôi sẽ tiếp tục cải thiện và tinh chỉnh trải nghiệm."
Điều đáng chú ý là Google SGE không phải là sản phẩm AI duy nhất do LLM cung cấp gặp khó khăn với các chữ cái. Ví dụ: yêu cầu ChatGPT lặp lại các chữ cái sẽ phá vỡ bộ não kỹ thuật số nhỏ bé của nó và khi được nhắc với các câu hỏi tương tự về địa lý theo bảng chữ cái, bot do OpenAI tạo ra không hoạt động tốt hơn nhiều so với đối tác do Google tạo ra. Khi được yêu cầu cung cấp danh sách các quốc gia ở Bắc Mỹ bắt đầu bằng chữ "M", ChatGPT đã trả lời:
"Chắc chắn rồi! Có ba quốc gia ở Bắc Mỹ bắt đầu bằng chữ 'M':
Mexico
Hợp chủng quốc Hoa Kỳ (Hoa Kỳ) - Một số người có thể gọi nó một cách thông tục là "Mỹ", nhưng tên chính thức của nó bắt đầu bằng chữ "U."
Canada
Đây là ba quốc gia nằm ở Bắc Mỹ bắt đầu bằng chữ 'M'."
Hoàn toàn từ salad, nhưng cảm ơn!
Tất nhiên, ở mức độ bề ngoài, điểm mù AI kỳ lạ này hầu hết chỉ là ngớ ngẩn và kỳ lạ. Nhưng đây chỉ là một ví dụ về những gì có khả năng xảy ra, và khi một công nghệ đầy cạm bẫy đang được tích hợp vào công cụ tìm kiếm được sử dụng nhiều nhất trên web, đó có lẽ không phải là điều gì đó có thể xem nhẹ.
Xét cho cùng, nếu sự kỳ lạ này của SGE làm sáng tỏ bất cứ điều gì, thì đó là ngay cả khi có quyền truy cập vào tất cả thông tin trong thế giới kỹ thuật số, AI vẫn có thể rất, rất ngu ngốc. Và khi các chương trình LLM ngày càng được tích hợp vào mọi góc của trang web, đó là điều cần lưu ý.
Mọi chuyện bắt đầu khi một người dùng Bluesky tuyên bố rằng Google hiện đã "chết". Chúng bao gồm một ảnh chụp màn hình tính năng đoạn trích nổi bật của Google, trên công cụ tìm kiếm thông thường của nó, tuyên bố rằng không có quốc gia nào ở Châu Phi bắt đầu bằng chữ "K." Xét rằng đất nước Kenya tồn tại, điều này rõ ràng là không đúng.
Thật vậy, nếu bạn yêu cầu công cụ tìm kiếm "các quốc gia ở Châu Phi bắt đầu bằng chữ k", thì nó sẽ đưa ra tuyên bố hoàn toàn sai lầm này:
Về bản thân, đây là một lỗi nghiêm trọng thay mặt cho công cụ tìm kiếm của Google và là một ví dụ đáng ngại về tài liệu kém chất lượng do AI tạo ra lọt vào các kết quả hàng đầu của thuật toán tìm kiếm được sử dụng nhiều nhất trên thế giới.
Nhưng khi chúng tôi tự mình kiểm tra trục trặc, chúng tôi nhận ra rằng không chỉ tìm kiếm thông thường của Google có thông tin xấu này. Tìm kiếm "SGE" do AI truyền vào của Google đã đi xa đến mức hút sạch rác ChatGPT và diễn giải nó cho người dùng - một dấu hiệu rõ ràng rằng tính năng được thổi phồng nhiều vẫn chưa biết cách lọc thông tin sai lệch trắng trợn.
Đây là những gì SGE đã nói với chúng tôi khi chúng tôi yêu cầu họ cung cấp cho chúng tôi "các quốc gia ở Châu Phi bắt đầu bằng chữ K", một lần nữa tham khảo bài đăng Emergent Mind nhếch nhác đó:
"Không có quốc gia nào ở Châu Phi bắt đầu bằng chữ 'K'. Gần nhất là Kenya, quốc gia bắt đầu bằng âm 'K'."
Khá xấu! Tuy nhiên, theo một cách nào đó, lỗi này hơi khó hiểu; một trang web có thông tin xấu và giống như tìm kiếm thông thường của Google, SGE đã lấy thông tin xấu đó theo mệnh giá.
Nhưng khi chúng tôi thử nghiệm bot trên một loạt các truy vấn tương tự, mọi thứ chỉ trở nên tồi tệ hơn.
Chẳng hạn, khi được yêu cầu cung cấp danh sách "các quốc gia ở Bắc Mỹ bắt đầu bằng chữ M", Google SGE đã vô cùng bối rối:
"Đây là một số quốc gia ở Bắc Mỹ bắt đầu bằng chữ M:
• Mexico: 758.249 dặm vuông
• Saint Kitts và Nevis: Quốc gia nhỏ nhất ở Bắc Mỹ
• El Salvador: Quốc gia nhỏ nhất trên đất liền
• Greenland: Một lãnh thổ phụ thuộc của Đan Mạch, nhưng sẽ là quốc gia lớn thứ ba trong lục địa
• Hoa Kỳ: 3.617.827 dặm vuông
• Quận Columbia: Một phần của Hoa Kỳ"
Vì chúng tôi chắc chắn rằng không cần phải nói, danh sách này hoàn toàn không chính xác. Chỉ một trong số các quốc gia này, Mexico, thậm chí bắt đầu bằng chữ cái chính xác và một trong những địa phương được liệt kê — Washington, DC — thậm chí không phải là một quốc gia.
Và, để đối chiếu với sai lầm của Kenya, cũng không rõ tại sao AI lại đưa ra những kết luận này. Rốt cuộc, mọi liên kết mà bot Google cung cấp dưới dạng dữ liệu nguồn của nó đều quay trở lại các trang web hợp pháp hơn: Tạp chí Dân số Thế giới, trang web chính thức của USGS và, theo một cách ít chính thức hơn nhưng không phải do AI tạo ra ở cấp độ xấu , Wikipedia.
Nghĩ như vậy, có vẻ như vấn đề ở đây không chỉ là về thông tin xấu. Có vẻ như SGE đang gặp phải tình trạng không thể phân tích cú pháp thông qua loại câu hỏi tổ chức, phân lớp cụ thể này.
Đây là một ví dụ khác về việc AI đơn giản là không hiểu bảng chữ cái. Ví dụ: khi được hỏi về "các quốc gia ở Châu Âu theo thứ tự bảng chữ cái", bot Google đã trả lời bằng một dòng tuyệt đối sau:
Dưới đây là một số quốc gia ở châu Âu theo thứ tự bảng chữ cái:
Hungary: Là thành viên của Khu vực Schengen từ năm 2007
Pháp: Là thành viên của EU từ năm 1958
Bỉ: Một quốc gia ở Tây Âu nổi tiếng với những thị trấn thời trung cổ và kiến trúc thời Phục hưng
Albania: Là thành viên của NATO từ năm 2009
Nga: Quốc gia lớn nhất châu Âu
Thành phố Vatican: Quốc gia nhỏ nhất châu Âu, với diện tích khoảng 0,44 km2
À vâng, các HFB cũ.
Công bằng mà nói, bot đã làm tốt hơn nhiều với một số yêu cầu tương tự khác. Nó có thể cho chúng tôi biết chính xác quốc gia nào ở Châu Âu bắt đầu bằng chữ cái "G" và cũng bị bỏ qua khi được yêu cầu cung cấp danh sách các quốc gia ở Châu Á bắt đầu bằng chữ cái "C" và "J." Cũng có một số trường hợp AI tìm kiếm gần như đã vượt qua bài kiểm tra, nhưng không hiểu sao lại thêm một mục không chính xác vào cuối. Ví dụ:
"Đây là một số quốc gia ở châu Á bắt đầu bằng chữ M:
Malaysia: Một quốc gia ở Châu Á
Maldives: Quốc gia nhỏ nhất châu Á
Mông Cổ: Một quốc gia ở Châu Á
Myanmar: Một quốc gia ở Châu Á
Nepal: Một quốc gia ở châu Á"
Như câu nói: gần, nhưng không có xì gà. Và trên lưu ý đó, chúng tôi đã tìm ra lý do tại sao Google SGE không nghĩ rằng bất kỳ quốc gia nào ở Châu Phi bắt đầu bằng chữ "K." Đó là bởi vì nó bắt đầu bằng chữ "B," đồ ngốc! Ít nhất, theo AI của Google:
"Đây là một số quốc gia ở Châu Phi bắt đầu bằng chữ B:
Benin: Một quốc gia ở Châu Phi
Botswana: Một quốc gia ở Châu Phi
Burkina Faso: Một quốc gia không giáp biển ở Tây Phi nổi tiếng với nghệ thuật và hàng thủ công truyền thống
Burundi: Một quốc gia nhỏ, không giáp biển ở Đông Phi nổi tiếng với những ngọn đồi thoai thoải, hồ nước và nền văn hóa
Kenya: Một quốc gia ở Đông Phi có chung biên giới với Tanzania, Uganda, Nam Sudan, Ethiopia và Somalia"
Khi chúng tôi liên hệ với Google, một phát ngôn viên đã nhấn mạnh rằng AI vẫn đang trong quá trình thử nghiệm.
Người phát ngôn nói với chúng tôi qua email: "Chúng tôi đã xây dựng các biện pháp bảo vệ mạnh mẽ để giảm thiểu sự không chính xác, nhưng giống như tất cả các trải nghiệm dựa trên LLM, AI tổng quát trong Tìm kiếm là thử nghiệm và có thể mắc lỗi". "Nó được đào tạo để chứng thực các phản hồi bằng các tài nguyên từ web mở, nhưng đôi khi các phản hồi có thể phản ánh những điểm không chính xác tồn tại trên web nói chung. Chúng tôi đã triển khai thử nghiệm này dưới dạng thử nghiệm trong Phòng thí nghiệm tìm kiếm để bắt đầu và chúng tôi sẽ tiếp tục cải thiện và tinh chỉnh trải nghiệm."
Điều đáng chú ý là Google SGE không phải là sản phẩm AI duy nhất do LLM cung cấp gặp khó khăn với các chữ cái. Ví dụ: yêu cầu ChatGPT lặp lại các chữ cái sẽ phá vỡ bộ não kỹ thuật số nhỏ bé của nó và khi được nhắc với các câu hỏi tương tự về địa lý theo bảng chữ cái, bot do OpenAI tạo ra không hoạt động tốt hơn nhiều so với đối tác do Google tạo ra. Khi được yêu cầu cung cấp danh sách các quốc gia ở Bắc Mỹ bắt đầu bằng chữ "M", ChatGPT đã trả lời:
"Chắc chắn rồi! Có ba quốc gia ở Bắc Mỹ bắt đầu bằng chữ 'M':
Mexico
Hợp chủng quốc Hoa Kỳ (Hoa Kỳ) - Một số người có thể gọi nó một cách thông tục là "Mỹ", nhưng tên chính thức của nó bắt đầu bằng chữ "U."
Canada
Đây là ba quốc gia nằm ở Bắc Mỹ bắt đầu bằng chữ 'M'."
Hoàn toàn từ salad, nhưng cảm ơn!
Tất nhiên, ở mức độ bề ngoài, điểm mù AI kỳ lạ này hầu hết chỉ là ngớ ngẩn và kỳ lạ. Nhưng đây chỉ là một ví dụ về những gì có khả năng xảy ra, và khi một công nghệ đầy cạm bẫy đang được tích hợp vào công cụ tìm kiếm được sử dụng nhiều nhất trên web, đó có lẽ không phải là điều gì đó có thể xem nhẹ.
Xét cho cùng, nếu sự kỳ lạ này của SGE làm sáng tỏ bất cứ điều gì, thì đó là ngay cả khi có quyền truy cập vào tất cả thông tin trong thế giới kỹ thuật số, AI vẫn có thể rất, rất ngu ngốc. Và khi các chương trình LLM ngày càng được tích hợp vào mọi góc của trang web, đó là điều cần lưu ý.
