하나의 동영상을 휴대폰, 데스크톱, TV 등 다양한 디바이스로 시청할 수 있는 이유는 디바이스 내 소프트웨어에서 자체적으로 해상도를 조절해 디스플레이에 맞춰주기 때문입니다. 하지만 이런 방법으로 해상도를 조절하다 보면 화질 깨짐 현상이나 과하게 선명해지는 현상 등이 나타나 영상이 부자연스러워지곤 하는데요. 그래서 최근에는 업스케일링 기술에 AI를 적용해 이러한 문제점을 해소할 수 있는 솔루션이 등장하고 있습니다.

AI 기반의 업스케일링

엔비디아의 RTX 동영상 슈퍼레졸루션은 AI 기반의 영상 화질 개선 솔루션입니다. 엔비디아는 RTX 동영상 슈퍼레졸루션을 소개할 때 ‘눈 나쁜 사람이 안경을 쓰면 보이는 세상 처럼’이라는 표현을 사용하는데요. 실제로 엔비디아의 RTX 슈퍼레졸루션을 적용하게 되면, 영상의 화질을 해치지 않고 자연스럽게 해상도를 높일 수 있음은 물론, 디테일까지 선명하게 개선해줘 엔비디아의 표현처럼 안경을 쓴 세상과 같이 또렷한 화면으로 영상을 스트리밍 할 수 있게 됩니다.

특히 AI를 적용하지 않은 업스케일링은 인코딩 시 블록 아티팩트를 제거하지 않은 경우가 있어 영상에 깨짐 현상이 나타나기도 하는데요. 엔비디아의 RTX 동영상 슈퍼레졸루션은 블록 아티팩트를 제거하고, 저해상도 콘텐츠를 사용자의 디스플레이 해상도에 맞춰 최대 4K까지 업스케일링 할 수 있다고 합니다. 예를 들어, Twitch 영상의 비트레이트가 낮을 때 엔비디아의 RTX 동영상 슈퍼레졸루션을 적용하면 어떤 디스플레이에서도 깨끗하고 선명한 영상으로 시청할 수 있는 것입니다.

AI 기반의 동영상 기술을 개발하는 블루닷도 AI 업스케일링 기술을 개발합니다. 블루닷의 ‘DeepField-SR(딥필드 SR)’은 영상의 화소를 생성하는 AI 모델로, 영상의 노이즈와 코딩 아티팩트를 제거하면서 스케일을 향상시켜주는 AI 업스케일링 기능을 수행하는데요. 특히, 블루닷의 딥필드 SR은 AI가 영상 콘텐츠의 종류를 파악해 최적의 화소를 생성하기 때문에 자연스러운 화질 개선이 가능하며, 최대 8K 해상도까지 업스케일링 할 수 있습니다.

업스케일링 기술 속 AI의 역할은?

기존 업스케일링은 보간법(Interpolation Algorithm)을 기반으로 영상을 처리했습니다. 보간법은 이미 존재하고 있는 데이터를 기반으로 새로운 데이터 값을 추정하는 방법인데요. 업스케일링은 원본 영상 사이즈보다 크게 늘리는 기술이기 때문에 영상의 해상도가 커지면서 화소 사이 빈 공간이 발생하는데요, 이 때 보간법을 사용해 업스케일링 할 경우 기존에 알고 있는 화소 정보를 기반으로 새로운 화소 정보를 추측해 화소를 추가하며 화면의 해상도를 키웁니다.

그리고 AI 기반의 업스케일링은 학습된 AI 모델이 최적의 영상 화소를 생성해 빈 공간을 채우는 원리로 영상을 처리하는데요. 때문에 AI 업스케일링은 보간법 업스케일링보다 훨씬 자연스럽고 선명한 영상으로 화질을 개선하면서 해상도를 키워줍니다. 예를 들어, 블루닷의 딥필드 SR(DeepField-SR)은 수많은 영상 데이터로 학습한 업스케일링 AI로, 프레임마다 최적의 화소가 무엇인지를 자체적으로 판단하고 생성하기 때문에 영상의 해상도를 높여줌과 동시에 화질까지 개선해줄 수 있습니다.

멀티 디바이스 시대 속 빛나는 AI 업스케일링 기술

기존 보간법으로 처리되던 영상 업스케일링 기술에 AI를 더한 이유는 무엇일까요? 우리의 일상에 동영상이 자리잡았기 때문입니다. 우리는 출근하면서도, 밥을 먹으면서도, 그리고 자기 전에도 영상을 시청합니다. 게다가 최근 스마트 TV의 등장으로 이제는 휴대폰, 노트북, 그리고 TV에서 유튜브, OTT를 시청하는 사람들이 증가했는데요. 기존 노트북으로 영상을 시청했을 때는 HD, FHD 급의 화질로도 충분히 시청자들에게 만족스러운 영상 품질을 제공할 수 있었으나, 영상 시청 디바이스가 TV까지 확대되면서 이제는 4K 영상에 대한 수요도 증가하고 있는 추세입니다.

때문에 AI를 적용하지 않은 디바이스 내 업스케일링 기술로는 영상의 품질이 낮아 시청에 불편함이 발생하고, 특히 최근에는 75인치, 85인치 TV가 상용화되면서 4K, 8K 등 고해상도에 대한 니즈가 점차 증가하고 있어 더 이상 보간 알고리즘 기반의 업스케일링으로는 영상을 송출할 수 없는 상황에 이르렀습니다. 때문에 현재 AI 기반의 업스케일링 기술은 다양한 영상 스트리밍 서비스에서 활발하게 도입 중이며, 이들은 자연스러운 업스케일링과 노이즈 제거, 최적의 화소 생성으로 화질의 디테일까지 선명하게 개선하는 AI 기반의 업스케일링 기술을 적용한 영상을 송출해 시청자들의 시청 경험을 향상시킬 수 있기를 기대합니다.

오늘 소개한 블루닷의 동영상 슈퍼 레졸루션에 대해 더 알아보고 싶다면, 아래 링크를 통해 자세한 정보를 확인할 수 있습니다.