Muse Image là gì mà khiến mô hình xử lý ảnh mới của Meta gây bất ngờ?

[Thoại Viết Hoàng]

Phòng thí nghiệm Siêu trí tuệ của Meta đã cho ra mắt mô hình tạo hình ảnh Muse Image và đồng thời giới thiệu trước Muse Video. Hiện tại, Muse Image đã được tích hợp vào các ứng dụng AI của Meta, trên web và một số nền tảng mạng xã hội khu vực, trong khi Muse Video sẽ sớm được cung cấp cho người sáng tạo nội dung.

Điểm mấu chốt của bản cập nhật này nằm ở việc giới thiệu cơ chế tác nhân thông minh vào Muse Image.Nó thay đổi cách tiếp cận truyền thống vốn chỉ đơn thuần chuyển đổi văn bản thành pixel, thay vào đó lựa chọn hoạt động như một tác nhân trí tuệ nhân tạo.

Một mô hình xử lý ảnh thô có khả năng tìm kiếm thông tin và viết mã.​

Muse Image cung cấp nhiều công cụ khác nhau để tạo ra hình ảnh.

Bước đầu tiên là viết mã. Trong quá trình huấn luyện, mô hình học cách tạo ra các biểu đồ và mã QR chính xác bằng cách viết mã.

Nó cũng có thể kết hợp các hình ảnh được tạo ra với mã lập trình để tạo ra ảnh GIF động và các trang web có hình ảnh nhúng.

Nó thậm chí có thể chạy các trò chơi nhỏ tương tác. Ví dụ, nó có thể tạo ra một trò chơi tương tác hoàn chỉnh bằng HTML và JS dựa trên ảnh thú cưng của người dùng.

Thứ hai, đó là khả năng tìm kiếm trên web. Muse Image có thể thu thập thông tin và hình ảnh tham khảo theo thời gian thực bằng cách tìm kiếm trên web. Điều này cho phép nó cải thiện đáng kể độ chính xác của hình ảnh khi xử lý các yêu cầu liên quan đến sự kiện tin tức hoặc kiến thức thông thường.

Tự tìm ra lỗi và sửa.​

Trong quá trình huấn luyện học tăng cường, Muse Image đã thể hiện khả năng tự sửa lỗi. Khi phát hiện sai lệch về chi tiết hình ảnh trong quá trình xử lý, nó chủ động thực hiện các chỉnh sửa cục bộ; nếu phát hiện hướng hình ảnh hoàn toàn sai, nó sẽ tạo lại hình ảnh hoặc gọi các công cụ hỗ trợ. Hành vi tự sửa lỗi này không được thiết lập thủ công; đó là kết quả của quá trình học tập tự chủ của mô hình nhằm theo đuổi chất lượng tạo hình cao hơn.

Càng suy nghĩ lâu, càng vẽ tốt hơn.​

Tương tự như các mô hình ngôn ngữ lớn, Muse Image cũng hỗ trợ mở rộng quy mô tính toán trong giai đoạn suy luận. Nói cách khác, việc cho mô hình nhiều thời gian hơn để suy nghĩ cho phép nó thực hiện nhiều bước suy luận hơn, sử dụng nhiều công cụ hơn và trải qua nhiều lần tự sửa lỗi, dẫn đến hình ảnh chất lượng cao hơn. Các thí nghiệm cho thấy đầu vào suy luận này thể hiện mối quan hệ tỷ lệ tuyến tính logarit gần đúng với chất lượng hình ảnh.

Chỉnh sửa đa vòng chính xác và ghép ảnh.​

Về khả năng chỉnh sửa ảnh, Muse Image thể hiện tính thực tiễn cao. Nó hỗ trợ chỉnh sửa hội thoại nhiều bước, cho phép người dùng liên tục đưa ra phản hồi. Ví dụ, người dùng có thể chuyển đổi ảnh phòng khách thành phong cách kết hợp giữa thẩm mỹ Scandinavia và Nhật Bản, sau đó yêu cầu giữ lại các thiết bị chiếu sáng trong ảnh đầu tiên, và cuối cùng là yêu cầu phần mềm xuất ra ảnh so sánh trước và sau khi chỉnh sửa.

Ngoài ra, nó hỗ trợ tổng hợp hình ảnh đa tham chiếu. Người dùng có thể nhập văn bản và nhiều hình ảnh tham chiếu cùng lúc vào ô nhập liệu, cho phép mô hình kết hợp các nhân vật, quần áo, xe đạp và phong cách nền cụ thể vào cùng một tác phẩm nghệ thuật.

Trong các tiêu chuẩn đánh giá chính thống về tạo và chỉnh sửa hình ảnh, Muse Image hiện đứng thứ hai về mức độ ưa thích của người dùng trên Arena.

Xem trước đồng bộ video Muse​

Ngoài mô hình hình ảnh, Meta cũng giới thiệu bản xem trước kỹ thuật của Muse Video. Mô hình hoạt động tốt về khả năng khớp từ khóa, chi tiết hình ảnh và tính nhất quán về thời gian, nhưng vẫn còn chỗ để cải thiện về đồng bộ hóa âm thanh-hình ảnh và thể hiện các định luật vật lý chi phối chuyển động nhanh. Trong lĩnh vực tạo video, Muse Video hiện xếp thứ ba.

Tích hợp với các sản phẩm Meta​

Muse Image được tích hợp sâu rộng với hệ sinh thái Meta. Kết hợp với các tính năng xã hội của Meta AI, người dùng có thể tạo hình ảnh cùng bạn bè hoặc tái tạo ảnh từ tài khoản Instagram của họ. Ví dụ như tạo tài liệu tiếp thị cho các doanh nghiệp nhỏ, tạo hình ảnh trong Meta AI bằng cách nhắc đến các tài khoản Instagram công khai thông qua @mention, và sử dụng các hiệu ứng cài đặt sẵn được cá nhân hóa trực tiếp trong Instagram.

Tham khảo: https://ai.meta.com/blog/introducing-muse-image-muse-video-msl/