Theo trang công nghệ The Verge, các nhà nghiên cứu của Apple đã phát hành một mô hình mới cho phép người dùng mô tả bằng ngôn ngữ đơn giản những gì họ muốn thay đổi trong ảnh mà không cần chạm vào phần mềm chỉnh sửa ảnh.
Mô hình chỉnh sửa ảnh MGIE (MLLM-Guided Image Editing) mà Apple hợp tác với Đại học California, Santa Barbara, có thể cắt, thay đổi kích thước, lật và thêm bộ lọc vào hình ảnh thông qua lời nhắc văn bản.
MGIE có thể được áp dụng cho các tác vụ chỉnh sửa hình ảnh đơn giản và phức tạp hơn như sửa đổi các đối tượng cụ thể trong ảnh để làm cho chúng có hình dạng khác hoặc sáng hơn. Mô hình này kết hợp hai cách sử dụng khác nhau của các mô hình ngôn ngữ đa phương thức. Đầu tiên, nó học cách diễn giải lời nhắc của người dùng. Sau đó, nó "tưởng tượng" nội dung chỉnh sửa sẽ trông như thế nào (ví dụ: yêu cầu bầu trời xanh hơn trong ảnh sẽ tăng độ sáng trên phần bầu trời của ảnh).
Khi chỉnh sửa ảnh bằng MGIE, người dùng chỉ cần gõ những gì họ muốn thay đổi về bức ảnh. Bài nghiên cứu giới thiệu về MGIE của Apple đã sử dụng ví dụ về chỉnh sửa hình ảnh một chiếc bánh pizza pepperoni. Nhập lời nhắc “làm cho nó khỏe mạnh hơn” sẽ thêm rau củ phủ lên trên. Bức ảnh chụp những con hổ ở sa mạc Sahara có vẻ tối nhưng sau khi yêu cầu mô hình “thêm độ tương phản để mô phỏng nhiều ánh sáng hơn”, bức ảnh có vẻ sáng hơn.
Ảnh chụp màn hình một số ví dụ về chỉnh sửa ảnh của MGIE
“Thay vì hướng dẫn ngắn gọn nhưng mơ hồ, MGIE đưa ra ý định nhận thức trực quan rõ ràng và dẫn đến việc chỉnh sửa hình ảnh hợp lý. Chúng tôi tiến hành nghiên cứu sâu rộng từ nhiều khía cạnh chỉnh sửa khác nhau và chứng minh rằng MGIE của chúng tôi cải thiện hiệu suất một cách hiệu quả trong khi vẫn duy trì hiệu quả cạnh tranh”, các nhà nghiên cứu cho biết trong bài nghiên cứu công bố về MGIE.
Apple đã cung cấp MGIE thông qua GitHub để tải về nhưng công ty hiện chưa công bố chi tiết gì về kế hoạch ra mắt mô hình này ngoài phạm vi nghiên cứu.
Một số nền tảng tạo hình ảnh, như DALL-E 3 của OpenAI, có thể thực hiện các tác vụ chỉnh sửa ảnh đơn giản trên ảnh thông qua lời nhắc văn bản. Adobe, nhà sáng tạo Photoshop, phần mềm mà hầu hết mọi người tìm đến để chỉnh sửa hình ảnh, cũng có mô hình chỉnh sửa AI của riêng mình. Mô hình Firefly AI của Adobe hỗ trợ tính năng tạo màu tổng quát, giúp thêm nền cho ảnh.
Apple chưa phải là ông lớn trong lĩnh vực AI tạo sinh, không giống như Microsoft, Meta hay Google, nhưng CEO Tim Cook của Apple cho biết công ty muốn bổ sung thêm nhiều tính năng AI cho các thiết bị của mình trong năm nay. Vào tháng 12, các nhà nghiên cứu của Apple đã phát hành một khung (framework) máy học nguồn mở có tên MLX để giúp đào tạo các mô hình AI trên chip Apple Silicon dễ dàng hơn.
MGIE có thể được áp dụng cho các tác vụ chỉnh sửa hình ảnh đơn giản và phức tạp hơn như sửa đổi các đối tượng cụ thể trong ảnh để làm cho chúng có hình dạng khác hoặc sáng hơn. Mô hình này kết hợp hai cách sử dụng khác nhau của các mô hình ngôn ngữ đa phương thức. Đầu tiên, nó học cách diễn giải lời nhắc của người dùng. Sau đó, nó "tưởng tượng" nội dung chỉnh sửa sẽ trông như thế nào (ví dụ: yêu cầu bầu trời xanh hơn trong ảnh sẽ tăng độ sáng trên phần bầu trời của ảnh).
Khi chỉnh sửa ảnh bằng MGIE, người dùng chỉ cần gõ những gì họ muốn thay đổi về bức ảnh. Bài nghiên cứu giới thiệu về MGIE của Apple đã sử dụng ví dụ về chỉnh sửa hình ảnh một chiếc bánh pizza pepperoni. Nhập lời nhắc “làm cho nó khỏe mạnh hơn” sẽ thêm rau củ phủ lên trên. Bức ảnh chụp những con hổ ở sa mạc Sahara có vẻ tối nhưng sau khi yêu cầu mô hình “thêm độ tương phản để mô phỏng nhiều ánh sáng hơn”, bức ảnh có vẻ sáng hơn.
“Thay vì hướng dẫn ngắn gọn nhưng mơ hồ, MGIE đưa ra ý định nhận thức trực quan rõ ràng và dẫn đến việc chỉnh sửa hình ảnh hợp lý. Chúng tôi tiến hành nghiên cứu sâu rộng từ nhiều khía cạnh chỉnh sửa khác nhau và chứng minh rằng MGIE của chúng tôi cải thiện hiệu suất một cách hiệu quả trong khi vẫn duy trì hiệu quả cạnh tranh”, các nhà nghiên cứu cho biết trong bài nghiên cứu công bố về MGIE.
Apple đã cung cấp MGIE thông qua GitHub để tải về nhưng công ty hiện chưa công bố chi tiết gì về kế hoạch ra mắt mô hình này ngoài phạm vi nghiên cứu.
Một số nền tảng tạo hình ảnh, như DALL-E 3 của OpenAI, có thể thực hiện các tác vụ chỉnh sửa ảnh đơn giản trên ảnh thông qua lời nhắc văn bản. Adobe, nhà sáng tạo Photoshop, phần mềm mà hầu hết mọi người tìm đến để chỉnh sửa hình ảnh, cũng có mô hình chỉnh sửa AI của riêng mình. Mô hình Firefly AI của Adobe hỗ trợ tính năng tạo màu tổng quát, giúp thêm nền cho ảnh.
Apple chưa phải là ông lớn trong lĩnh vực AI tạo sinh, không giống như Microsoft, Meta hay Google, nhưng CEO Tim Cook của Apple cho biết công ty muốn bổ sung thêm nhiều tính năng AI cho các thiết bị của mình trong năm nay. Vào tháng 12, các nhà nghiên cứu của Apple đã phát hành một khung (framework) máy học nguồn mở có tên MLX để giúp đào tạo các mô hình AI trên chip Apple Silicon dễ dàng hơn.
