Snapdragon 888 có thể thay đổi cuộc chơi camera như thế nào

Trong smartphone, ISP (Image Signal Processor: Bộ xử lý tín hiệu hình ảnh) đảm nhiệm các tác vụ xử lý hình ảnh cơ bản, như cân bằng trắng, tự động lấy nét và HDR. Những năm qua, các bộ xử lý này đã trở nên tiên tiến và đầy đủ hơn, với khả năng xử lý nhiều dữ liệu hơn cùng một lúc. Chính điều đó đã giúp chất lượng camera trên smartphone được cải thiện rất nhiều.

Năm ngoái, khả năng xử lý của ISP Spectra 480 có trong con chip Qualcomm Snapdragon 865 đã vượt qua mốc 2 gigapixel. Điều đó đồng nghĩa rằng nó có khả năng xử lý 2 tỉ pixel trong một giây, mang đến một số tính năng "không thể tin được" cho camera trên smartphone.

Khả năng xử lý rất nhiều dữ liệu cùng một lúc đó cho phép camera hỗ trợ chụp ảnh độ phân giải tối đa 200MP, quay video 8K và thực hiện "semantic segmentation" nhằm cải thiện ảnh bằng AI tốt hơn cùng nhiều thứ khác. Với mức cải thiện tốc độ tổng thể 40%, đây là một bản nâng cấp khá lớn so với Spectra 380 có trong Snapdragon 855.

Năm nay, Qualcomm lại tiếp tục đưa ISP có trong con chip Snapdragon 888 vừa ra mắt lên một tầm cao mới, với hiệu năng mạnh mẽ hơn 35% so với thế hệ năm ngoái. Nhưng Qualcomm sẽ làm gì với lượng băng thông 2,7 gigapixel đó của con chip? Mới đây, Android Authority đã có cơ hội trao đổi với Judd Heape – Phó Chủ tịch Quản lý Sản phẩm cho Camera tại Qualcomm – để làm rõ những vấn đề xung quanh điều này.

Ba camera cùng lúc

Một trong những thay đổi lớn nhất có trong con chip Snapdragon 888 đó chính là sự xuất hiện của bộ xử lý tín hiệu hình ảnh thứ ba. Kể từ khi ISP Spectra xuất hiện lần đầu, các SoC Snapdragon đều được trang bị 2 ISP. Điều đó có nghĩa là các chiếc smartphone sử dụng những con chip của Qualcomm đều có thể ghi từ 2 camera cùng 1 lúc, đồng thời, Qualcomm cũng sẽ tăng lượng băng thông cho 1 camera lên cao hơn. Với khả năng xử lý 4 pixel cùng 1 lúc của Snapdragon 865, hiệu năng ISP bên trong con chip này đã được tăng lên đáng kể, khoảng 40%. Tuy nhiên, năm nay, Qualcomm lại thực hiện một cách tiếp cận đơn giản hơn, đó là số lượng.

Với Snapdragon 888, Qualcomm bổ sung thêm một bộ xử lý tín hiệu hình ảnh (ISP) vào bên trong SoC. Đây là lần đầu tiên số lượng ISP có trong 1 con chip Qualcomm đạt đến con số 3. Nhờ đó, hàng loạt tính năng mới được mở ra, nhưng một trong những điều thú vị nhất là hỗ trợ ghi từ 3 camera cùng một lúc. Với việc hầu hết smartphone flagship ngày nay đều có ít nhất 3 camera phía sau, ISP thứ 3 cho phép người dùng quay từ 3 tiêu cự cùng một lúc, với các video tối đa lên đến 4K 10-bit 30fps. Chẳng hạn, bạn đang quay một phân cảnh và muốn chuyển đổi giữa 3 tiêu cự mà vẫn có thể chỉnh sửa, Snapdragon 888 sẽ hỗ trợ điều đó. Tuy nhiên, các OEM sẽ phải tự mình triển khai nó vào những thiết bị của mình.

Việc sử dụng 3 ISP cũng cải thiện khả năng zoom của camera trên smartphone. Con chip Snapdragon 865 ra mắt vào năm ngoái cho phép khả năng chuyển đổi zoom giữa các cảm biến trở nên mượt mà hơn, mang đến trải nghiệm đang sử dụng một camera zoom tele duy nhất chứ không phải 3 ống kính riêng biệt. Nhưng chỉ với 2 ISP, không hề dễ dàng để nhà sản xuất chip biết được bạn sẽ chuyển sang ống kính nào.

"Trước đây, chúng tôi phải đoán xem bạn sẽ chuyển sang ống kính nào", Judd Heape, Phó Giám đốc Quản lý Sản phẩm cho Camera tại Qualcomm, cho biết. "Giờ đây, chúng tôi không cần phải làm như vậy nữa."

Dù đạt được sự mượt mà khi chuyển đổi zoom giữa các ống kính, thế nhưng, bạn sẽ nhận thấy độ trễ khi ISP chuyển sang 1 cảm biến khác nếu thay đổi tiêu cự bất ngờ. Với 3 ISP, Qualcomm có thể kích hoạt cả 3 cảm biến hoạt động cùng một lúc.

Quay và phát lại cực nhanh

Dù các thiết bị sử dụng con chip Snapdragon 888 đều có thể quay 3 luồng video 4K HDR 10-bit 30fps do sự xuất hiện của ISP thứ ba, Qualcomm sẽ lựa chọn điều gì xảy ra nếu tất cả lưu lượng đó được đưa vào một nơi. Hầu hết những chiếc smartphone ngày nay đều có màn hình tần số quét cao, từ 90Hz, 120Hz cho đến 144Hz, và chúng ta vẫn chưa thể quay các video có tốc độ tương tự.

Với các ISP Spectra 580 có trong Snapdragon 888, con chip này có thể đạt được lưu lượng 2,7 Gpix/giây (Gigapixel trên mỗi giây). Với lượng dữ liệu nhiều như vậy, thiết bị có thể quay và phát lại một luồng video duy nhất ở 4K 120fps. Điều này đồng nghĩa rằng, nếu sử dụng một chiếc smartphone có màn hình 120Hz, bạn sẽ có thể quay và xem video ở tốc độ tương đương với màn hình.

Dĩ nhiên, cũng giống như các video HDR 10 và Dolby HDR, cả thiết bị xem video lẫn nền tảng đều phải hỗ trợ phát lại ở tốc độ 120fps. Hiện tại, YouTube chỉ hỗ trợ phát video 4K ở tốc độ tối đa 60fps. Nếu bạn chia sẻ trực tiếp với thiết bị khác, thiết bị đó cũng sẽ cần có màn hình 120Hz để trải nghiệm tối đa video. Tuy vậy, định dạng càng phổ biến, số lượng thiết bị và dịch vụ hỗ trợ nó sẽ ngày càng nhiều.

Video HDR điện toán

Dù camera trên smartphone giờ đây đã có thể tạo ra những bức ảnh có dải tần nhạy sáng (dynamic range) rộng đáng kinh ngạc nhờ vào quá trình HDR, thế nhưng, khả năng quay video trên smartphone lại không có những cải tiến tương tự. Thực tế, đây là một lý do lớn khiến khả năng quay video của Google Pixel 5 không tốt tương đương với khả năng chụp ảnh. Dù nhiếp ảnh điện toán đã phát triển nhanh chóng trong vài năm qua, thế nhưng đối với video điều này lại tương đối chậm chạp.

Giờ đây, Qualcomm kỳ vọng sẽ thay đổi điều đó với khả năng quay video HDR so le. Lưu ý, HDR so le này hoàn toàn khác biệt so với các video HDR 10 và Dolby HDR. Trong khi những tiêu chuẩn đó xác định độ sáng của màn hình cũng như mức độ chi tiết màu sắc có thể ghi lại ở vùng sáng và vùng tối, thì mục đích của video HDR so le là nhằm đạt được chất lượng tương tự ảnh HDR. Nó sử dụng quá trình xử lý đa phơi sáng (multi-exposure) nhằm mục đích giữ lại nhiều chi tiết vùng sáng (highlight) và vùng tối (shadow) nhất có thể.

Video HDR so le quay lại nhiều lần phơi sáng khác nhau cho mỗi khung hình, mỗi lần lại sử dụng tốc độ màn trập khác nhau. Thế nên, cảm biến có thể giữ lại chi tiết ở cả vùng sáng lẫn vùng tối, sau đó gộp lại thành một nhằm đạt được luồng video cân bằng hơn. Heape cho biết, về lý thuyết, Snapdragon 888 có thể thực hiện điều này ở tốc độ 60fps, ghi lại 120 khung hình/giây. Tuy nhiên, ông khuyến cáo các OEM nên sử dụng khả năng quay Computational HDR 30fps.

Hiện tại, Snapdragon 888 sẽ gộp hai mức phơi sáng trên mỗi khung hình. Trong tương lai, những con chip Snapdragon sẽ có thể thực hiện được nhiều hơn thể nhằm mang lại dải tần nhạy sáng tốt hơn nữa.

"Trong tương lai, chúng ta sẽ thấy khả năng gộp 3 hoặc nhiều mức phơi sáng trên mỗi khung hình", Heape cho hay.

Chụp những bức ảnh 84MP mà không có độ trễ màn trập

Trên smartphone, quay một video gần giống như hiển thị một luồng hình ảnh liên tục từ camera đến màn hình. Sự khác biệt duy nhất là những hình ảnh này được lưu trữ trong bộ nhớ smartphone. Dù vậy, hầu hết các chiếc smartphone đều vẫn sẽ tạm thời lưu trữ các khung hình trong bộ nhớ RAM nhằm ghi lại mọi khoảnh khắc trước, trong và sau khi nhấn nút chụp. Đây chính là công nghệ đứng đằng sau những tính năng như ảnh HDR, ảnh live,…

Năm ngoái, Qualcomm Snapdragon 865 đã mở khóa khả năng hiển thị và chụp ảnh 64MP mà không có bất kỳ độ trễ màn trập nào. Điều này có nghĩa là một chiếc smartphone sử dụng con chip này có thể hiện thị luồng hình ảnh tại tốc độ 30fps và không có bất kỳ độ trễ hay blackout này giữa quá trình nhấn nút chụp và lưu trữ hình ảnh trong bộ nhớ. Tuy nhiên, nếu chỉ hỗ trợ những hình ảnh 64MP, vậy làm thế nào để các chiếc điện thoại như Samsung Galaxy Note 20 Ultra có thể chụp được ảnh 108MP?

Heape cho hay: "Đối với những chiếc điện thoại sử dụng chip Snapdragon 865, những bức ảnh 108MP thực sự chỉ được hiển thị preview ở độ phân giải 1/4. Khi người dùng nhấp vào nút chụp, cảm biến sẽ chuyển sang chế độ 108MP cho 1 khung hình, đưa khung hình đó vào bộ nhớ và tiếp tục hiển thị cạnh ở độ phân giải 1/4. Do đó, Qualcomm không coi những bức ảnh 108MP này là không có độ trễ màn trập."

"Không có bất kỳ cảm biến hình ảnh, MIPI PHY interface hoặc ISP nào có thể thực sự hiển thị 108MP ở tốc độ 30fps (tương đương 3,2 Gpix/giây) trong chế độ ZSL hiện tại", Heape tiếp tục. "Nhưng điều đó không có nghĩa là sẽ không xảy ra trong tương lai."

Điều đó cho thấy, việc cải thiện 35% tốc độ trong ISP của Snapdragon 888 đã mở khóa khả năng chụp ảnh 84MP với độ trễ màn trập bằng không. Điều này có nghãi là người dùng sẽ thấy hình ảnh có độ phân giải đầy đủ trước khi nhấn nút chụp, tối đa lên đến 84MP. Dù Snapdragon 888 chưa hoàn toàn đạt được lưu lượng 3,2 Gpix/giây cần thiết để hiển thị hình ảnh 108MP ở độ phân giải đầy đủ, thế nhưng, những cải thiện trong 2 thế hệ gần đây đã giúp cho các bức ảnh 108MP ZSL trở nên khá hứa hẹn trong tương lai gần.

Tự động lấy nét thông minh hơn

Trong Snapdragon 888, Qualcomm đã cải thiện thứ mà họ gọi là "3 chữ A" – tự động phơi sáng (auto exposure), tự động cân bằng trắng (auto white balance) và tự động lấy nét (autofocus). Để làm được điều đó, công ty đã áp dụng máy học với một bộ hình ảnh khổng lồ nhằm huấn luyện Snapdragon 888 cần phải tạo ra hình ảnh như thế nào trong từng trường hợp. Tuy nhiên, đối với lấy nét tự động, Qualcomm còn thực hiện sâu hơn. Họ đã sử dụng người thật để đào tạo cho con chip này.

"Chúng tôi đã sử dụng AI và máy học để huấn luyện khả năng tự động phơi sáng, cân bằng trắng và tự động lấy nét", Heape cho hay. "Nhưng đối với lấy nét tự động, chúng tôi đã sử dụng người thật."

Qualcomm sử dụng các headset VR có công nghệ theo dõi mắt nhằm theo dõi vị trí mà một người nhìn vào khi hiển thị một hình ảnh nhất định. Thậm chí, một vật thể nằm ở tiền cảnh chưa chắc đã là chủ thể của bức ảnh. Con người khá giỏi trong việc phân biệt chủ thể thật trong một bối cảnh nhất định, thế nên, việc đào tạo con chip bằng cách sử dụng chuyển động mắt người cho phép Snapdragon 888 tập trung vào chủ thể thật chính xác hơn nhiều. Qualcomm cho biết, họ đã sử dụng hàng trăm chủ thể và hàng nghìn hình ảnh để có thể tạo ra tập dữ liệu này. Hi vọng, công ty sẽ cải thiện khả năng này hơn nữa trong những phiên bản Snapdragon tương lai.

Tự động lấy nét tốt hơn, kết hợp cùng với khả năng giảm nhiễu đa khung hình cũng như engine HDR của Qualcomm, cũng cho phép các cảm biến thực hiện một thứ mà những chiếc smartphone trước đây chưa thể làm được: lấy nét ở độ sáng chỉ .1 lux. Dù những thiết bị trước đây thường rất chật vật và không hoạt động hiệu quả ở mức độ tối như vậy, nhưng Qualcomm tự tin rằng kiến trúc ánh sáng yếu mới của mình có thể thực hiện điều đó.

Còn có rất nhiều cải tiến về camera trên các thiết bị sử dụng chip Snapdragon 888. Tuy nhiên, phần nhiều thay đổi đó liên quan đến các thành phần khác như engine AI Hexagon. Dẫu vậy, chỉ riêng ISP thứ 3 cũng đã giúp Snapdragon 888 đạt được những bước nhảy vọt về khả năng xử lý hình ảnh của mình.

Minh Hùng theo Android Authority