Thoại Viết Hoàng
Writer
Âm nhạc bạn nghe tạo ra các mẫu não cụ thể mà AI có thể sử dụng để tạo ra âm thanh tương tự.
Google không phải là người mới trong việc sử dụng AI để tạo nhạc, họ đã ra mắt MusicLM vào tháng 1 để tạo nhạc từ văn bản. Giờ đây, Google đã tăng cường khả năng và đang sử dụng AI để đọc não bộ của bạn -- và tạo ra âm thanh dựa trên hoạt động não bộ của bạn.
Trong một bài báo nghiên cứu mới, Brain2Music, Google sử dụng AI để tái tạo lại âm nhạc từ hoạt động của não như được thấy thông qua dữ liệu hình ảnh cộng hưởng từ chức năng (fMRI)
Các nhà nghiên cứu đã nghiên cứu dữ liệu fMRI được thu thập từ năm đối tượng thử nghiệm đã nghe cùng một đoạn nhạc dài 15 giây thuộc các thể loại khác nhau, bao gồm blues, cổ điển, đồng quê, disco, hip-hop, jazz, metal, pop, reggae và rock.
Sau đó, họ sử dụng dữ liệu đó để đào tạo một mạng lưới thần kinh sâu nhằm tìm hiểu về mối quan hệ giữa các kiểu hoạt động của não và các yếu tố khác nhau của âm nhạc, chẳng hạn như nhịp điệu và cảm xúc.Sau khi được đào tạo, mô hình có thể tái tạo âm nhạc từ fMRI bằng cách sử dụng MusicLM. Vì MusicLM tạo nhạc từ văn bản nên nó được tạo điều kiện để tạo nhạc tương tự như tác nhân kích thích âm nhạc gốc ở cấp độ ngữ nghĩa.
Khi được đưa vào thử nghiệm, âm nhạc được tạo giống với âm nhạc kích thích mà người tham gia đã nghe ban đầu ở các đặc điểm như thể loại, nhạc cụ, tâm trạng, v.v.
Trên trang web của trang nghiên cứu, bạn có thể nghe một số đoạn phim về các tác nhân kích thích âm nhạc gốc và so sánh chúng với các bản dựng lại mà MusicLM đã tạo. Kết quả là khá đáng kinh ngạc.
Đối với một clip, yếu tố kích thích là clip dài 15 giây của bài hát mang tính biểu tượng "Oops!...I Did It Again" của Britney Spears. Ba bản dựng lại có bản chất vui tươi và lạc quan, giống như bản gốc.
Tất nhiên, âm thanh không giống với âm thanh gốc vì nghiên cứu tập trung vào các yếu tố khác nhau của âm nhạc, không phải thành phần trữ tình.
Về cơ bản, mô hình có thể đọc suy nghĩ của bạn (về mặt kỹ thuật là các mẫu não của bạn) để tạo ra âm nhạc tương tự như những gì bạn đang nghe.
Trong một bài báo nghiên cứu mới, Brain2Music, Google sử dụng AI để tái tạo lại âm nhạc từ hoạt động của não như được thấy thông qua dữ liệu hình ảnh cộng hưởng từ chức năng (fMRI)
Các nhà nghiên cứu đã nghiên cứu dữ liệu fMRI được thu thập từ năm đối tượng thử nghiệm đã nghe cùng một đoạn nhạc dài 15 giây thuộc các thể loại khác nhau, bao gồm blues, cổ điển, đồng quê, disco, hip-hop, jazz, metal, pop, reggae và rock.
Sau đó, họ sử dụng dữ liệu đó để đào tạo một mạng lưới thần kinh sâu nhằm tìm hiểu về mối quan hệ giữa các kiểu hoạt động của não và các yếu tố khác nhau của âm nhạc, chẳng hạn như nhịp điệu và cảm xúc.Sau khi được đào tạo, mô hình có thể tái tạo âm nhạc từ fMRI bằng cách sử dụng MusicLM. Vì MusicLM tạo nhạc từ văn bản nên nó được tạo điều kiện để tạo nhạc tương tự như tác nhân kích thích âm nhạc gốc ở cấp độ ngữ nghĩa.
Khi được đưa vào thử nghiệm, âm nhạc được tạo giống với âm nhạc kích thích mà người tham gia đã nghe ban đầu ở các đặc điểm như thể loại, nhạc cụ, tâm trạng, v.v.
Trên trang web của trang nghiên cứu, bạn có thể nghe một số đoạn phim về các tác nhân kích thích âm nhạc gốc và so sánh chúng với các bản dựng lại mà MusicLM đã tạo. Kết quả là khá đáng kinh ngạc.
Đối với một clip, yếu tố kích thích là clip dài 15 giây của bài hát mang tính biểu tượng "Oops!...I Did It Again" của Britney Spears. Ba bản dựng lại có bản chất vui tươi và lạc quan, giống như bản gốc.
Tất nhiên, âm thanh không giống với âm thanh gốc vì nghiên cứu tập trung vào các yếu tố khác nhau của âm nhạc, không phải thành phần trữ tình.
Về cơ bản, mô hình có thể đọc suy nghĩ của bạn (về mặt kỹ thuật là các mẫu não của bạn) để tạo ra âm nhạc tương tự như những gì bạn đang nghe.
