Apple Deep Fusion là gì? Deep Fusion hoạt động như thế nào?

iPhone 11 series với Deep Fusion là công nghệ của Apple được thiết kế giúp bạn chụp ảnh tốt hơn. Cách sử dụng Deep Fusion là một kỹ thuật mở rộng triết lý của Apple về nhiếp ảnh.

Apple Deep Fusion là gì? Deep Fusion hoạt động như thế nào?

Deep Fusion là gì?

Apple sắp ra mắt sớm về tính năng Deep Fusion mới trên iOS với bản cập nhật phần mềm cho người dùng beta. 
Deep Fusion là một kỹ thuật pha trộn nhiều mức phơi sáng với nhau ở cấp độ pixel để cung cấp cho người dùng mức độ chi tiết cao hơn khả năng sử dụng hình ảnh HDR tiêu chuẩn - đặc biệt là trong các hình ảnh có kết cấu rất phức tạp như da, quần áo hoặc giấy bạc.
Bản beta dành cho nhà phát triển phát hành hôm nay hỗ trợ iPhone 11, trong đó Deep Fusion sẽ cải thiện ảnh chụp trên camera rộng và iPhone 11 Pro và Pro Max, nơi nó sẽ phát trên ống kính tele và góc rộng nhưng không phải ống kính siêu rộng. 
Theo Apple, Deep Fusion yêu cầu A13 và sẽ không có sẵn trên bất kỳ iPhone cũ nào. 

Deep Fusion hoạt động như thế nào?

Trên ảnh chụp ống kính rộng, nó sẽ bắt đầu hoạt động ngay trên tầng khoảng 10 lux nơi Chế độ ban đêm hoạt động. Phần trên cùng của phạm vi cảnh mà nó hoạt động có thể thay đổi tùy theo nguồn sáng. 
Trên ống kính tele, nó sẽ hoạt động trong tất cả các tình huống sáng nhất trong đó Smart HDR sẽ đảm nhận, mang lại kết quả tốt hơn do có nhiều điểm nổi bật.
Apple đã cung cấp một vài hình ảnh mẫu cho thấy Deep Fusion đang hoạt động mà tôi đã nhúng ở đây. Họ chưa cung cấp bất kỳ ví dụ phi DF nào, nhưng chúng tôi sẽ thấy những ví dụ đó ngay khi bản beta ra mắt và mọi người cài đặt nó. 
Deep Fusion hoạt động theo cách này:
Máy ảnh chụp khung hình 'ngắn', ở giá trị EV âm. Về cơ bản, hình ảnh hơi tối hơn bạn muốn và lấy độ sắc nét từ khung hình này. Sau đó, nó sẽ chụp 3 ảnh EV0 thông thường và khung EV + 'dài', đăng ký căn chỉnh và trộn chúng lại với nhau. 
Điều này tạo ra hai ảnh 12MP - giá trị dữ liệu 24MP - được kết hợp thành một ảnh kết quả 12MP. Sự kết hợp của cả hai được thực hiện bằng cách sử dụng 4 mạng thần kinh riêng biệt có tính đến các đặc điểm nhiễu của cảm biến máy ảnh của Apple cũng như đối tượng trong ảnh. 
Sự kết hợp này được thực hiện trên cơ sở từng pixel. Một pixel được kéo tại một thời điểm để tạo ra sự kết hợp tốt nhất cho hình ảnh tổng thể. Các mô hình học máy nhìn vào bối cảnh của hình ảnh để xác định vị trí của chúng trên phổ tần số hình ảnh. 

Nguồn ảnh: Youtube

Bầu trời và các khu vực tần số thấp tương tự rộng lớn khác, tông màu da ở vùng tần số trung bình và các mặt hàng tần số cao như quần áo, giấy bạc...
Hệ thống sau đó kéo cấu trúc và âm lượng từ hình ảnh này sang hình ảnh khác dựa trên tỷ lệ. 
Kết quả tổng thể, Apple cho biết, kết quả là chuyển đổi da tốt hơn, chi tiết quần áo tốt hơn và độ sắc nét tốt hơn ở các cạnh của đối tượng chuyển động.
Hiện tại không có cách nào để tắt quy trình Deep Fusion nhưng, vì tính năng 'over crop' của các máy ảnh mới sử dụng Ultra Wide một 'hack' nhỏ để thấy sự khác biệt giữa các hình ảnh là bật nó lên, nó sẽ vô hiệu hóa Deep Fusion vì nó không sử dụng ống kính Ultra Wide.
Quá trình Deep Fusion cần khoảng 1 giây để xử lý. Nếu bạn nhanh chóng chụp và sau đó nhấn vào bản xem trước của hình ảnh, có thể mất khoảng nửa giây để hình ảnh cập nhật lên phiên bản mới. Hầu hết mọi người sẽ không nhận thấy quá trình xảy ra.

Vậy tại sao Deep Fusion không hoạt động với Capture Out of Frame?

Tính năng Capture Out of Frame hoạt động bằng cách sử dụng camera Ultra Wide để chụp phần còn lại của cảnh bên ngoài khung hình. 
Tuy nhiên, Deep Fusion không hoạt động với máy ảnh Ultra Wide do thiếu pixel lấy nét và ổn định hình ảnh quang học (đây cũng là lý do Chế độ ban đêm không hoạt động với ống kính Ultra Wide).
Vì vậy, nếu bạn muốn so sánh hiệu quả của Deep Fusion hiệu quả, hãy chụp ảnh với Deep Fusion, sau đó bật Capture Out of Frame và chụp cùng một bức ảnh.
Đây chỉ là một cái nhìn sớm về Deep Fusion và những gì nó có khả năng làm. Nhưng thử nghiệm sớm này cho một hình ảnh có độ nhiễu thấp hơn và chi tiết tốt hơn như Apple đã hứa.