애플 아이폰 11의 딥 퓨전 기술

출처(←클릭)

요즘 스마트폰 사진은 단순한 한 컷 노출 사진이 아니라 멀티샷 합성 사진으로 변해 가고 있습니다.이런 사진은 계산 사진(computational photography) 이라고도 합니다.최근 발매된 애플사 아이폰 11이 iOS 13.2 developer beta 업데이트를 통해 딥 퓨전 기술을 도입했는데 이런 것이 계산 사진이라고 할 수 있습니다.다만 아이폰 11에서 사용하는 딥 퓨전(Deep Fusion) 기술은 일반적인 중간 밝기의 이미지에서먄 적용되는 기술입니다.멀티샷 합성이라 시간이 약 1초 정도 걸리기 때문에 연사 모드에서는 적용되지 않고요.딥 퓨전을 통한 이미지는 디데일이 향상되고  노이즈가 줄어드는 효과가 있습니다.

딥 퓨전이 적용되는 과정은 다음과 같습니다.

1.셔터 버튼에 손대는 순간 카메라는 이미 빠른 셔터 속도로 네 컷을 찍어서 움직임을 정지시키고 이어서 네 컷의 표준 프레임(표준 컷)을 담는다.셔터 버튼을 누르면 좀 더 노출  시간이 긴 한 컷(장노출 컷)이 찍히는데 디테일을 포착하기 위한 것이다. 2.표준 컷 중 세 컷과 장노출 한 컷이 합쳐져서 “synthetic long(장노출 합성 컷)”이 만들어진다.이것은 Smart HDR과는 완전히 다르다. 3.딥 퓨전은 빠른 셔터 속도로 담은 컷 중에서 가장 디테일한 컷을 뽑아서 synthetic long(장노출 합성 컷)과 합친다.Smart HDR과는 달리 딥 퓨전은 단지 이들 두 프레임만 합친다.물론 synthetic long(장노출 합성 컷)은 이미 그 전 네 컷이 합쳐진 것이긴 하지만. 4.이미지는 픽셀 레벨에서 네번의 디테일 가공 단계를 거치는데 각 단계는 디테일을 향상시키도록 맞춰진 것으로서 하늘과 벽은 가장 낮은 밴드레벨이고 피부,머리카락,직물 등등은 가장 높은 밴드 레벨이다.이러한 과정을 통해 두 이미지를 어떻게 블렌딩할지 일련의 계산을 거치는데 한 이미지로부터는 디테일을 뽑아내고 다른 하나의 이미지로부터는 톤,컬러 및 밝기를 뽑아낸다. 5.최종 이미지가 생성된다.

※번역하기가 쉽지 않아 대충 알기 쉽게 했습니다.아래는 원문입니다.해석읻 되는 분은 원문을 보면 더 이해하기 쉬울 것입니다.

1.By the time you press the shutter button, the camera has already grabbed four frames at a fast shutter speed to freeze motion in the shot and four standard frames. When you press the shutter it grabs one longer-exposure shot to capture detail.

2.Those three regular shots and long-exposure shot are merged into what Apple calls a “synthetic long.” This is a major difference from Smart HDR.

3.Deep Fusion picks the short-exposure image with the most detail and merges it with the synthetic long exposure. Unlike Smart HDR, Deep Fusion merges these two frames, not more — although the synthetic long is already made of four previously-merged frames. All the component frames are also processed for noise differently than Smart HDR, in a way that’s better for Deep Fusion.

4.The images are run through four detail processing steps, pixel by pixel, each tailored to increasing amounts of detail — the sky and walls are in the lowest band, while skin, hair, fabrics, and so on are the highest level. This generates a series of weightings for how to blend the two images — taking detail from one and tone, color, and luminance from the other.

5.The final image is generated.