cpsmartyboy
Pearl
Instant Nerf của Nvidia là một mô hình neural rendering có thể tạo ra cảnh 3D từ các dữ liệu đầu vào ở định dạng 2D trong vài giây và hiển thị hình ảnh đó chỉ trong vòng vài mili giây.
Quá trình này được gọi là render nghịch đảo và cho phép AI tạo ra ánh sáng gần giống như thế giới thực, có thể sử dụng để biến một tập hợp các hình ảnh tĩnh thành cảnh 3D kỹ thuật số chỉ trong vài giây.
Nhóm nghiên cứu của Nvidia đã phát triển một cách tiếp cận hoàn toàn mới và nanh chóng. Có thể coi đây là một trong những mô hình neural rendering đầu tiên kết hợp việc huấn luyện mạng thần kinh cực nhanh và render (kết xuất nội dung) hình ảnh nhanh chóng.
Nvidia có cách giải thích khác đơn giản hơn. Cụ thể Nerf sử dụng các mạng thần kinh để trình diễn các cảnh 3D dựa trên dữ liệu hình ảnh 2D. Mạng thần kinh không yêu cầu quá nhiều hình ảnh được chụp từ nhiều vị trí xung quanh cảnh cũng như vị trí của máy ảnh cho mỗi bức ảnh đó.
Trong một phân cảnh khi có nhiều người và các yếu tố di chuyển, ảnh được chụp càng nhanh càng tốt. Nếu có quá nhiều chuyển động trong quá trình chụp ảnh 2D, cảnh 3D khi tạo ra từ AI có thể bị mờ.
Về cơ bản Nerf sẽ lấp chỗ trống để khiến cảnh quay mượt nhất có thể. Nó làm điều này bằng cách dự đoán màu sắc của ánh sáng tỏa ra theo bất kỳ hướng nào tại bất kỳ thời điểm nào trong không gian 3D.
Phiên bản của Nvidia hoạt động rất nhanh. Nó gần như tức thời và là kỹ thuật Nerf nhanh nhất cho đến nay vì nó có thể render một bức ảnh thành cảnh 3D chỉ trong vài mili giây.
David Lutebke, phó chủ tịch nghiên cứu đồ họa tại Nvidia chia sẻ: “Nếu như trình chiếu 3D truyền thống giống như hình ảnh vector thì Nerf giống như hình ảnh bitmap: chúng dày đặc và chộp theo cách ánh sáng tỏa ra từ một đối tượng hoặc trong một cảnh. Theo nghĩa đó, Nerf sẽ rất quan trọng đối với các hoạt cảnh 3D".
Nvidia cho biết, Nerf có thể dùng để tạo ra avatar hoặc thậm chí toàn cảnh cho thế giới ảo.
Nerf sẽ cắt giảm thời gian render theo hệ số 1.000 bằng cách sử dụng một kỹ thuật do Nvidia phát triển. Mô hình được phát triển bằng bộ công cụ Nvidia Cuda và thư viện Tiny CUDA Neural Networks.
Nvidia giải thích rằng, nó là một mạng thần kinh nhẹ và có thể dễ dàng đào tạo và chạy trên một GPU Nvidia duy nhất.
Phương thức render mới được kỳ vọng dùng để huấn luyện robot và công nghệ xe tự lái, qua đó giúp hệ thống có thể phân tích được kích thước, hình dạng của các vật thể trong thế giới thực bằng cách chụp hình ảnh 2D hoặc cảnh quay video của họ. Nó cũng có thể sử dụng trong kiến trúc và giải trí, giúp nhanh chóng tạo ra các màn trình diễn trên môi trường số.
Nhóm nghiên cứu của Nvidia đã phát triển một cách tiếp cận hoàn toàn mới và nanh chóng. Có thể coi đây là một trong những mô hình neural rendering đầu tiên kết hợp việc huấn luyện mạng thần kinh cực nhanh và render (kết xuất nội dung) hình ảnh nhanh chóng.
Nerf là gì?
Tên "Nerf" là viết tắt của Neural Radiance Fields, một phương thức tổng hợp góc nhìn từ những góc quay phức tạp nhờ tối ưu hóa các cảnh quay liên tục dù dữ liệu đầu vào không nhiều.Nvidia có cách giải thích khác đơn giản hơn. Cụ thể Nerf sử dụng các mạng thần kinh để trình diễn các cảnh 3D dựa trên dữ liệu hình ảnh 2D. Mạng thần kinh không yêu cầu quá nhiều hình ảnh được chụp từ nhiều vị trí xung quanh cảnh cũng như vị trí của máy ảnh cho mỗi bức ảnh đó.
Trong một phân cảnh khi có nhiều người và các yếu tố di chuyển, ảnh được chụp càng nhanh càng tốt. Nếu có quá nhiều chuyển động trong quá trình chụp ảnh 2D, cảnh 3D khi tạo ra từ AI có thể bị mờ.
Về cơ bản Nerf sẽ lấp chỗ trống để khiến cảnh quay mượt nhất có thể. Nó làm điều này bằng cách dự đoán màu sắc của ánh sáng tỏa ra theo bất kỳ hướng nào tại bất kỳ thời điểm nào trong không gian 3D.
Phiên bản của Nvidia hoạt động rất nhanh. Nó gần như tức thời và là kỹ thuật Nerf nhanh nhất cho đến nay vì nó có thể render một bức ảnh thành cảnh 3D chỉ trong vài mili giây.
David Lutebke, phó chủ tịch nghiên cứu đồ họa tại Nvidia chia sẻ: “Nếu như trình chiếu 3D truyền thống giống như hình ảnh vector thì Nerf giống như hình ảnh bitmap: chúng dày đặc và chộp theo cách ánh sáng tỏa ra từ một đối tượng hoặc trong một cảnh. Theo nghĩa đó, Nerf sẽ rất quan trọng đối với các hoạt cảnh 3D".
Nvidia cho biết, Nerf có thể dùng để tạo ra avatar hoặc thậm chí toàn cảnh cho thế giới ảo.
Nhanh hơn 1.000 lần
Trước Nerf, việc tạo ra một cảnh 3D mất nhiều giờ, tùy thuộc vào độ phức tạp và độ phân giải. Nhờ có sự hỗ trợ từ AI nên tốc độ render nội dung 3D chắc chắn sẽ được cải thiện nhưng chắc chắn vẫn sẽ mất hàng giờ để huấn luyện AI.Nerf sẽ cắt giảm thời gian render theo hệ số 1.000 bằng cách sử dụng một kỹ thuật do Nvidia phát triển. Mô hình được phát triển bằng bộ công cụ Nvidia Cuda và thư viện Tiny CUDA Neural Networks.
Nvidia giải thích rằng, nó là một mạng thần kinh nhẹ và có thể dễ dàng đào tạo và chạy trên một GPU Nvidia duy nhất.
Phương thức render mới được kỳ vọng dùng để huấn luyện robot và công nghệ xe tự lái, qua đó giúp hệ thống có thể phân tích được kích thước, hình dạng của các vật thể trong thế giới thực bằng cách chụp hình ảnh 2D hoặc cảnh quay video của họ. Nó cũng có thể sử dụng trong kiến trúc và giải trí, giúp nhanh chóng tạo ra các màn trình diễn trên môi trường số.
