AI를 활용한 동영상 편집기술로 유명한 Runway 동영상 편집툴을 사용해봤습니다.
GEN-1에서 GEN-2로 명칭이 면경되어 수정하였습니다.
요약: Runway GEN-2 Video to Video, Stylization의 이미지, 프리셋, 프롬프트 기능의 적용
Runway는 GEN-2의 AI 기능으로 알게되었습니다. Stylization기능을 시연한 것으로 보고 너무 신기해서 꼭 알려드려야 겠다는 생각에 AI기술을 안내드리는 글도 적었었죠. GEN-1의 Video to Video기능을 써보면서 여러모로 충격적을 받아서 이건 꼭 시리즈로 안내를 드릴 수 밖에 없다고 생각이 들어 새로운 시리즈를 시작합니다. 오늘은 어떤 점이 Runway를 특별하게 만드는지, 그리고 가장 주목받았던 AI 기능인 Video to Video, Stylization기능(이미지, 프리셋, 프롬프트)를 써보면서 어떻게 각각 다른지 어떻게하면 조금 더 효과적으로 사용할 수 있는지 팁도 알려드리겠습니다.
Runway의 특징
Runway는 동영상 편집툴로 프로그램을 설치할 필요없이 웹상에서 편집이 가능합니다. 또한 Runway는 동명의 회사(이하 Runway사)의 GPU를 원격으로 사용하여 연산합니다. 이게 무슨 말이냐. 동영상 편집을 할때 컴퓨터의 성능에 제한이 없다는 점입니다. 다빈치 리졸브를 포함하여, 거의 모든 동영상 편집 프로그램들은 내 컴퓨터로 해당 프로그램을 돌립니다. 동영상 편집은 기본적으로 높은 사양을 요구합니다. 동영상은 1초에 대개 30-60장의 사진으로 구성되는데 여기에 편집을 하면, 동영상 프레임 한장 한장에 수많은 효과를 집어넣는 작업을 해야하기때문입니다. 포토샵과 같은 사진편집프로그램에서는 사진 한장을 편집하고자 컴퓨터를 쓰지만, 동영상에선 10초면 300장 1분이면 1,800장에 내가 원하는 효과를 때려넣고 보여줘야 하는 것이죠. 그렇기에 높은 그래픽카드 성능을 요구하고, 만약 컴퓨터가 이를 받쳐주지 못한다면 중간에 꺼져버리거나 아예 프로그램을 켜지도 못합니다.
하지만 Runway는 Runway사의 GPU를 사용하여 동영상 편집을 합니다. 내 컴퓨터로 동영상 편집을 하지만 효과를 넣는 작업은 내 컴퓨터가 아닌 Runway사의 컴퓨터로 효과를 넣습니다. 제 컴퓨터는 화면으로 그 결과물만 보는 것이지요. Runway를 사용한다면, 컴퓨터 성능이 부족해서 영상을 만들지 못하는 일은 일어나지 않는다는 것입니다. 영상에 넣을 효과를 고를때 컴퓨터와 타협하지 않아도 되는 것이지요. 영상편집을 노트북, 심지어 핸드폰로도 제한없이 할수있습니다! Remote GPU에 대한 이야기는 이만하고 어떤 효과를 넣을수있는지 보여드리겠습니다.
Runway GEN-2: Video to Video Stylization(AI로 동영상 스타일 바꾸기)
RUNWAY GEN-2의 가장 대표적인 기능이죠. Video to Video의 Stylization. 가지고 있는 동영상을 사진이나 텍스트를 이용해서 원하는 스타일로 변환시키는 것입니다. 동영상에 원하는 스타일을 집어넣는거죠! 생소하게 들리실수있는데, 내가 찍은 영상을 피카소의 "별이 빛나는 밤"처럼 바꿀수도, 혹은 날아다니는 새를 종이학으로 바꿔버릴수도 있습니다.
GEN-1: Video to Video Stylization는 3가지 방법으로 효과를 넣을수 있습니다. 사진 혹은 그림으로 넣는 방법(이미지, Image), 글로 써서 효과를 넣는 방법(텍스트, 프롬프트, Prompt), 그리고 Runway에서 미리 준비해놓은 프리셋(Preset)으로 넣는 방법이 있습니다. 하나하나 예시를 보고 어떻게 결과가 나오는지 알아봅시다.
먼저 아래 링크를 통해 Runway에 접속합니다. 만약에 아이디가 없으시다면 하나 생성하시면 됩니다.
Runway - Everything you need to make anything you want.
Explore more than 30+ AI powered creative tools to ideate, generate and edit content like never before.
runwayml.com
위의 안내를 따라 들어가셔서 AI Magic Tools에서 Video to Video를 선택하신 후, 효과를 적용하실 영상을 업로드 하시면 됩니다. 업로드는 간단하게 드래그앤 드롭으로도 가능합니다. 그러면 아래와 같은 화면이 나타납니다.
왼편엔 방금 업로드해서 효과를 적용하코자 하는 영상이 나오고, 오른편엔 효과설정을 할수있는 창이 나옵니다. 효과 종류는 Style Reference로 이미지 Image, 프리셋 Preset, 프롬프트 Prompt 세가지 종류가 있습니다. 그리고 아래는 원하는 Input을 정해주는 선택창과 얼마나 효과의 강도를 세게줄지 정할 수 있는 Style strength가 있습니다.
하나씩 적용해보고 어떤 결과가 나오는지 한번 확인해보시죠. 모든 효과는 아래의 갈매기가 날아다니는 영상으로 동일하게 사용하겠습니다.
이미지 Image
제가 적용한 이미지는 게임 Horizon에 나오는 기계로 만들어진 새, Storm bird의 사진을 이용했습니다. 해당이미지를 Upload하고 아래 Generate 버튼을 눌러 적용하면 바로 왼편에 효과가 적용된 영상을 볼수있습니다.
위와 같이 제가 입력한 사진의 스타일을 바로 본 영상의 갈매기에 적용시킨 모습을 볼수있습니다. 여러 마리의 갈매기가 날고 있는데 한마리씩 인식을 하고 효과를 적용한 것이 인상적이고, 전체적으로 사물의 구조를 이해해서 효과가 적용되었습니다. 그리고 없던 구름도 생겼네요.
프리셋 Preset
이번엔 프리셋 중에서 여러 기본 효과중에서 Paper origami 종이접기 효과를 한번 적용해보겠습니다.
너무나 종이접기 효과가 찰떡으로 적용된것같습니다. 갈매기의 날개 끝이 검은데, 날개의 흰부분과 검은부분을 하나의 물체로 인식하여 효과를 주었습니다. 배경 좌측하단에 있는 가로등과 전선도 인식되어 종이접기로 표현된것이 신기합니다.
프롬프트 Prompt
프롬프트 즉 명령어를 이용해서 효과를 적용하는 기능입니다. 저는 새들을 심슨가족 스타일로 바꿔달라고 적었습니다. (Change the birds into the simpson's style)
일단 가장 완성도가 낮은 결과물입니다. 새를 심슨가족의 캐릭터느낌으로 다시 재구성하지는 못하고, 피사체의 구분도 몸통과 날개의 구분이 확실치 않습니다. 다만, 굵은 펜선 같은 느낌의 테두리를 주었고, 색상은 노랗고 붉은 원색계열을 사용한 부분은 확실히 심슨가족의 이미지를 따온 것으로 보입니다. 심슨가족에서 새가 날아다니는 장면은 거의 없어서 효과가 제대로 적용되지 않았을수있습니다.
오늘은 Runway의 Video to Video, 스타일라이제이션 Stylization 기능을 써보았습니다. 생각보다 효과의 적용이 잘되어서 놀랐습니다. 기존의 프리미어나, 다빈치 리졸브와 같은 동영상 편집의 프로그램으로서 제공하지 않는 기능이라 신기하고 재미있게 써봤습니다. 여러 클립에 같은 효과를 주어서 하나의 멋들어진 영상을 만들 수 있을 것 같습니다.
효과를 잘 적용시키는 팁을 드리자면, 적용하려는 효과가 적용대상과 비슷해야 잘 적용이 됩니다. 피사체와 구조, 형태, 배치 등이 비슷해야 AI가 잘 인식해서 효과를 적용하는 것으로 보입니다. 프롬프트로 효과를 적용하는 경우에도 내가 주려는 효과의 데이터가 적용할 영상의 특징들이 비슷한지 생각해보고 적용하시면 잘 적용될것으로 보입니다.
제 경우에는 새의 영상이었으니, 새의 구조와 형태를 가진 사진을 넣으니 잘 인식되어 효과를 적용하였습니다. 프롬프트의 경우엔 심슨가족에서는 새가 날아다니는 장면은 많지 않고, 애니메이션에선 새의 형태도 캐릭터화되면서 실제 새의 모습과는 달라 적용되는데 어려움이 있었던 것 같습니다.
여러분들도 컴퓨터 성능걱정없이 AI로 여러 효과를 넣어보는 즐거운 경험을 해보시면 좋겠습니다. 한번 이것 저것 가져와서 PPAP해보세요~~
참조 Reference
1. Storm Bird at Image Abyss by ClintGaming009
https://pics.alphacoders.com/pictures/view/513477
2. The Simpson's by 20th Century Fox
3. PPAP(Pen Pineapple Apple Pen) by PIKOTARO
'Runway' 카테고리의 다른 글
| 대AI시대에 걸맞는 미래의 동영상 편집 "GEN-1" by Runway (1) | 2023.03.11 |
|---|
댓글