Thoại Viết Hoàng
Writer
Các nhà nghiên cứu đã sử dụng fMRI để kiểm tra ý tưởng về việc ra quyết định phức tạp
Làm thế nào để bộ não con người điều hướng các tình huống phức tạp - chẳng hạn như lái xe qua giao thông ở Quảng trường Harvard lúc 5 giờ chiều?
Một lý thuyết nhận được sự ủng hộ của các nhà tâm lý học và nhà thần kinh học là bộ não tạo ra các mô hình nhân quả của thế giới giúp lập kế hoạch và thực hiện. Nó giống như chạy các mô phỏng tinh thần để xem kết quả nào là tốt hay xấu. Momchil Tomov, cộng tác viên tâm lý học tại Phòng thí nghiệm khoa học thần kinh nhận thức tính toán của Giáo sư Samuel Gershman, giải thích: “Bạn học mô hình bên trong của môi trường. Bạn có thể sử dụng mô hình này để dự đoán điều gì sẽ xảy ra nếu bạn thực hiện các hướng hành động khác nhau.
Trong những thập kỷ gần đây, các nhà khoa học máy tính đã phát triển những ý tưởng này thành một hệ thống có tên là Học tăng cường (viết tắt là RL). Các nhà nghiên cứu như Tomov làm việc tại điểm giao nhau giữa tâm lý học và công nghệ thậm chí đã giới thiệu các mô hình máy tính cố gắng nắm bắt cách RL diễn ra trong não. Trong một bài báo mới được xuất bản trên Neuron, Tomov và các đồng tác giả của ông đã sử dụng cộng hưởng từ chức năng (fMRI) để so sánh lý thuyết thuật toán của họ với hình ảnh trong thế giới thực.
Tại sao tạo ra các thuật toán cố gắng chính thức hóa suy nghĩ và ra quyết định của con người? Tomov, người đã lấy bằng Tiến sĩ, cho biết: “Thật khó để nghiên cứu các quá trình nhận thức mà không có một mô hình tính toán chính xác ánh xạ đầu vào thành đầu ra. về sinh học thần kinh tại Harvard vào năm 2019 và làm việc với Gershman với tư cách là một postdoc cho đến năm 2021.
Các nhà nghiên cứu cũng hy vọng công việc của họ dẫn đến những tiến bộ trong RL, có thể điều hướng các môi trường phức tạp và được coi là một trong những câu chuyện thành công lớn nhất về trí tuệ nhân tạo. Trên thực tế, nó đã đánh bại con người trong các lĩnh vực bao gồm trò chơi cờ bàn và trò chơi điện tử, nhưng cho đến gần đây nó đã chứng tỏ là một người học hơi chậm. Tomov cho biết: “Các thuật toán giống con người hơn có thể hoạt động tốt hơn trong một số lĩnh vực nhất định so với máy học truyền thống.
Thí nghiệm của nhóm dựa trên công trình trước đó của hai trong số các đồng tác giả nghiên cứu. Thomas Pouncy, một nhà nghiên cứu tiến sĩ khác trong phòng thí nghiệm của Gershman, đã phác thảo vào năm 2021 một hệ thống RL dựa trên lý thuyết, phức tạp hơn. Một mô hình RL dựa trên lý thuyết tính toán đã được giới thiệu trong một bài báo tiếp theo của nhà nghiên cứu sau tiến sĩ Pedro Tsividis của MIT. Nó tỏ ra nhanh hơn nhiều so với các lần lặp lại trước đây trong việc học các trò chơi điện tử mới. Về tốc độ, Tomov cho biết, nó rất gần với khả năng của con người để thực hiện một nhiệm vụ như vậy.
Toàn bộ quá trình đã khiến các nhà nghiên cứu đưa ra giả thuyết về cấu trúc thần kinh của quá trình ra quyết định và học tập của con người. Trong nghiên cứu mới, các nhà nghiên cứu đã thử nghiệm thuật toán của họ trên 32 tình nguyện viên đã chơi và cuối cùng thành thạo các trò chơi điện tử kiểu Atari trong khi kết nối với máy quét fMRI, máy đo những thay đổi nhỏ trong lưu lượng máu đi kèm với hoạt động của não.
Như các nhà nghiên cứu mong đợi, điều này mang lại bằng chứng về các mô hình dựa trên lý thuyết hoạt động ở vỏ não trước trán ở phía trước của não với các cập nhật lý thuyết xảy ra ở vỏ não sau hoặc mặt sau của não. Trường hợp các giả thuyết của họ - và thuật toán của họ - khác nhau ở chi tiết. Các nhà nghiên cứu đặc biệt mong đợi tìm thấy bằng chứng về các mô hình dựa trên lý thuyết trong vỏ não quỹ đạo. Thay vào đó, họ tìm thấy chúng ở hồi trán phía dưới. Tomov cho biết, điều này có ý nghĩa sau khi nghiên cứu trước đây từ phòng thí nghiệm của Gershman cho thấy nếp cuộn phía trước kém hơn liên quan đến việc học “các quy tắc nhân quả chi phối thế giới”.
Nhiều điều ngạc nhiên hơn đã được tìm thấy ở phía sau não, nơi vỏ não chẩm và đường dẫn truyền não thất - cả hai đều là trung tâm của quá trình xử lý hình ảnh - dường như có liên quan khi các mô hình đó yêu cầu cập nhật. Tomov tóm tắt: “Bất cứ khi nào bạn nhận được thông tin đáng ngạc nhiên không phù hợp với lý thuyết hiện tại của mình, thì đó là lúc chúng ta không chỉ thấy tín hiệu cập nhật trong đường dẫn khí ở bụng, mà còn, đó là khi lý thuyết được kích hoạt ở nếp cuộn phía trước phía dưới”.
Cuối cùng, quét fMRI cho thấy luồng thông tin định hướng trong não. Tomov và các đồng tác giả của ông đã đưa ra giả thuyết rằng thông tin chảy từ dưới lên. Thay vào đó, nó dường như chảy từ trên xuống trong khi chơi trò chơi.
Ông nói: “Gần như thể nó đến từ mô hình, được lưu trữ ở đâu đó trong vỏ não trước trán, chảy xuống vùng thị giác phía sau. “Nhưng sau đó, khi có sự khác biệt — khi cập nhật xảy ra — mô hình luồng thông tin bị đảo lộn. Bây giờ thông tin chảy từ dưới lên, từ các khu vực phía sau đến các khu vực phía trước.”
Tomov đã học RL dựa trên lý thuyết với Gershman trong bốn năm. Hai năm trước, anh bắt đầu áp dụng những ý tưởng này vào ô tô tự lái với tư cách là nhân viên chính thức của một liên doanh ở Boston. “Làm thế nào để bạn đi từ đây đến ngã tư tiếp theo và rẽ trái mà không đụng phải ai?” anh ấy hỏi. “Về cơ bản, có mô hình nội bộ này của thế giới với các trình điều khiển khác và dự đoán về những gì chúng sẽ làm.”
Tham khảo bài viết gốc tại đây:
Một lý thuyết nhận được sự ủng hộ của các nhà tâm lý học và nhà thần kinh học là bộ não tạo ra các mô hình nhân quả của thế giới giúp lập kế hoạch và thực hiện. Nó giống như chạy các mô phỏng tinh thần để xem kết quả nào là tốt hay xấu. Momchil Tomov, cộng tác viên tâm lý học tại Phòng thí nghiệm khoa học thần kinh nhận thức tính toán của Giáo sư Samuel Gershman, giải thích: “Bạn học mô hình bên trong của môi trường. Bạn có thể sử dụng mô hình này để dự đoán điều gì sẽ xảy ra nếu bạn thực hiện các hướng hành động khác nhau.
Trong những thập kỷ gần đây, các nhà khoa học máy tính đã phát triển những ý tưởng này thành một hệ thống có tên là Học tăng cường (viết tắt là RL). Các nhà nghiên cứu như Tomov làm việc tại điểm giao nhau giữa tâm lý học và công nghệ thậm chí đã giới thiệu các mô hình máy tính cố gắng nắm bắt cách RL diễn ra trong não. Trong một bài báo mới được xuất bản trên Neuron, Tomov và các đồng tác giả của ông đã sử dụng cộng hưởng từ chức năng (fMRI) để so sánh lý thuyết thuật toán của họ với hình ảnh trong thế giới thực.
Tại sao tạo ra các thuật toán cố gắng chính thức hóa suy nghĩ và ra quyết định của con người? Tomov, người đã lấy bằng Tiến sĩ, cho biết: “Thật khó để nghiên cứu các quá trình nhận thức mà không có một mô hình tính toán chính xác ánh xạ đầu vào thành đầu ra. về sinh học thần kinh tại Harvard vào năm 2019 và làm việc với Gershman với tư cách là một postdoc cho đến năm 2021.
Các nhà nghiên cứu cũng hy vọng công việc của họ dẫn đến những tiến bộ trong RL, có thể điều hướng các môi trường phức tạp và được coi là một trong những câu chuyện thành công lớn nhất về trí tuệ nhân tạo. Trên thực tế, nó đã đánh bại con người trong các lĩnh vực bao gồm trò chơi cờ bàn và trò chơi điện tử, nhưng cho đến gần đây nó đã chứng tỏ là một người học hơi chậm. Tomov cho biết: “Các thuật toán giống con người hơn có thể hoạt động tốt hơn trong một số lĩnh vực nhất định so với máy học truyền thống.
Thí nghiệm của nhóm dựa trên công trình trước đó của hai trong số các đồng tác giả nghiên cứu. Thomas Pouncy, một nhà nghiên cứu tiến sĩ khác trong phòng thí nghiệm của Gershman, đã phác thảo vào năm 2021 một hệ thống RL dựa trên lý thuyết, phức tạp hơn. Một mô hình RL dựa trên lý thuyết tính toán đã được giới thiệu trong một bài báo tiếp theo của nhà nghiên cứu sau tiến sĩ Pedro Tsividis của MIT. Nó tỏ ra nhanh hơn nhiều so với các lần lặp lại trước đây trong việc học các trò chơi điện tử mới. Về tốc độ, Tomov cho biết, nó rất gần với khả năng của con người để thực hiện một nhiệm vụ như vậy.
Toàn bộ quá trình đã khiến các nhà nghiên cứu đưa ra giả thuyết về cấu trúc thần kinh của quá trình ra quyết định và học tập của con người. Trong nghiên cứu mới, các nhà nghiên cứu đã thử nghiệm thuật toán của họ trên 32 tình nguyện viên đã chơi và cuối cùng thành thạo các trò chơi điện tử kiểu Atari trong khi kết nối với máy quét fMRI, máy đo những thay đổi nhỏ trong lưu lượng máu đi kèm với hoạt động của não.
Như các nhà nghiên cứu mong đợi, điều này mang lại bằng chứng về các mô hình dựa trên lý thuyết hoạt động ở vỏ não trước trán ở phía trước của não với các cập nhật lý thuyết xảy ra ở vỏ não sau hoặc mặt sau của não. Trường hợp các giả thuyết của họ - và thuật toán của họ - khác nhau ở chi tiết. Các nhà nghiên cứu đặc biệt mong đợi tìm thấy bằng chứng về các mô hình dựa trên lý thuyết trong vỏ não quỹ đạo. Thay vào đó, họ tìm thấy chúng ở hồi trán phía dưới. Tomov cho biết, điều này có ý nghĩa sau khi nghiên cứu trước đây từ phòng thí nghiệm của Gershman cho thấy nếp cuộn phía trước kém hơn liên quan đến việc học “các quy tắc nhân quả chi phối thế giới”.
Nhiều điều ngạc nhiên hơn đã được tìm thấy ở phía sau não, nơi vỏ não chẩm và đường dẫn truyền não thất - cả hai đều là trung tâm của quá trình xử lý hình ảnh - dường như có liên quan khi các mô hình đó yêu cầu cập nhật. Tomov tóm tắt: “Bất cứ khi nào bạn nhận được thông tin đáng ngạc nhiên không phù hợp với lý thuyết hiện tại của mình, thì đó là lúc chúng ta không chỉ thấy tín hiệu cập nhật trong đường dẫn khí ở bụng, mà còn, đó là khi lý thuyết được kích hoạt ở nếp cuộn phía trước phía dưới”.
Cuối cùng, quét fMRI cho thấy luồng thông tin định hướng trong não. Tomov và các đồng tác giả của ông đã đưa ra giả thuyết rằng thông tin chảy từ dưới lên. Thay vào đó, nó dường như chảy từ trên xuống trong khi chơi trò chơi.
Ông nói: “Gần như thể nó đến từ mô hình, được lưu trữ ở đâu đó trong vỏ não trước trán, chảy xuống vùng thị giác phía sau. “Nhưng sau đó, khi có sự khác biệt — khi cập nhật xảy ra — mô hình luồng thông tin bị đảo lộn. Bây giờ thông tin chảy từ dưới lên, từ các khu vực phía sau đến các khu vực phía trước.”
Tomov đã học RL dựa trên lý thuyết với Gershman trong bốn năm. Hai năm trước, anh bắt đầu áp dụng những ý tưởng này vào ô tô tự lái với tư cách là nhân viên chính thức của một liên doanh ở Boston. “Làm thế nào để bạn đi từ đây đến ngã tư tiếp theo và rẽ trái mà không đụng phải ai?” anh ấy hỏi. “Về cơ bản, có mô hình nội bộ này của thế giới với các trình điều khiển khác và dự đoán về những gì chúng sẽ làm.”
Tham khảo bài viết gốc tại đây:
