텍스트-투-비디오 vs 이미지-투-비디오, 대체 뭘 골라야 하나
결론부터: 이건 양자택일이 아니라 역할 분담의 문제다
결론부터 앞에 놓자. 텍스트-투-비디오와 이미지-투-비디오 중 뭐가 더 나은지 따지는 것 자체가 애초에 잘못된 질문이다. 이 둘은 경쟁 관계가 전혀 아니라, 같은 제작 라인 위의 두 공정이다 — 텍스트-투-비디오는 무(無)에서 세계를 만들어내는 일을 맡고, 이미지-투-비디오는 이미 확정된 세계를 계속 이어서 연기하게 하는 일을 맡는다. 진짜 물어야 할 질문은: 이 프로젝트의 이 단계에서, 어느 쪽을 써야 하는가다.
통제력 차이: 텍스트-투-비디오는 운에 맡기고, 이미지-투-비디오는 기준점을 준다
텍스트-투-비디오의 입력은 텍스트뿐이라, 모델이 구도·조명·주체의 생김새·카메라 움직임을 전부 동시에 결정해야 한다 — 자유도는 가장 높지만, 그만큼 최종 화면에 대한 통제력은 가장 낮다는 뜻이기도 하다. 같은 프롬프트를 열 번 돌려도 인물 생김새가 매번 달라질 수 있다. 캐릭터가 반복해서 등장해야 하는 프로젝트에는 재앙이다.
이미지-투-비디오는 반대다. 참조 이미지 한 장을 시작점으로 주면, 모델의 임무는 ‘이 그림을 움직이게 하는 것’으로 좁혀진다. 주체의 외형과 구도는 기본적으로 고정되고, 신경 써야 할 건 동작과 카메라 움직임뿐이다. 통제력의 대가는 사전 작업으로 이미지를 준비하는 공정이 하나 더 늘어난다는 것이고, 시작 이미지의 퀄리티가 완성작의 하한선을 그대로 결정한다 — 시작 이미지 자체가 구도가 어색하고 조명이 이상하면, 영상 생성 모델은 이걸 바로잡아주지 않고 그 문제를 그대로 애니메이션화할 뿐이다.
모델별로 이미지-투-비디오 성능 차이도 꽤 크다. Wan 3.0은 시작 이미지에 대한 재현도가 좋다는 평가를 받아서 기본적으로 보이는 그대로 나온다. MiniMax H3는 이미지-투-비디오에서 인물 일관성으로 평판이 좋다. Veo 3.1이 새로 추가한 첫·끝 프레임 및 다중 참조 이미지 제어는, 어떤 의미에서는 이미지-투-비디오의 통제력이라는 강점을 서사 연속성이 더 중요한 장면에도 끌어온 셈이다.
일관성 문제의 근원, 그리고 근본적으로 해결하는 법
일관성은 크리에이터들이 가장 많이 불평하는 문제다 — 앞 컷의 캐릭터가 다음 컷에서 얼굴이 바뀐다. 근원은 사실 단순하다. 순수 텍스트-투-비디오의 매 생성은 독립적인 샘플링이라, 모델에게는 컷을 가로지르는 기억이 없다. 너는 같은 캐릭터를 찍고 있다고 생각하지만, 모델 입장에서는 완전히 별개인 두 개의 작업일 뿐이다.
운에 맡기는 방식은 계속 다시 돌려서 운을 시험하는 것인데, 이건 근본 해결이 아니라 자기 위안이다. 진짜 근본적으로 해결하는 사고법은 두 가지다.
- 주체 참조 이미지 한 장을 고정해두고, 이후의 모든 컷을 그 이미지를 시작점으로 한 이미지-투-비디오로 진행한다. 매 컷마다 새로 텍스트-투-비디오를 돌려서 비슷한 걸 골라내는 방식이 아니다.
- 참조 이미지/캐릭터 일관성 기능을 지원하는 모델을 쓴다. 예를 들면 Runway Gen-4의 References, Veo 3.1의 다중 참조 이미지, Vidu Q3의 캐릭터+소품+장소를 한 프레임에 담는 참조 기능 등이다. 이런 기능들은 애초에 일관성 문제를 풀기 위해 설계된 것이라, 순수하게 외모를 프롬프트로 묘사하는 것보다 훨씬 믿을 만하다.
결국 일관성 문제는 프롬프트를 더 세밀하게 쓴다고 풀리는 게 아니라, 워크플로우 단계에서 미리 설계해둬야 하는 문제다 — 캐릭터 참조 이미지를 먼저 정하고, 그걸 중심으로 이후의 모든 생성을 짜야 한다.
시작 이미지는 어디서 구하나
다음은 꽤 현실적인 문제다. 시작 이미지는 어디서 구할까?
선택지는 크게 셋뿐이다. 하나는 직접 촬영하거나 기존 소재 사진을 찾는 것 — 사실감은 있지만 손에 쥔 게 뭐냐에 따라 제한된다. 둘은 디자이너에게 그림을 맡기는 것 — 퀄리티는 보장되지만 기간과 비용이 다 올라간다. 셋은 AI 이미지 툴로 바로 한 장을 생성하는 것 — 이 방법이 최근 몇 년 사이 가장 빠르게 자리를 잡았다. 프로젝트 일정이 촉박할 때는 PixPix를 열어서 시작 이미지를 뽑는다 — 구도와 조명을 텍스트-투-이미지 단계에서 반복적으로 조정하고 확인할 수 있고, 만족스러우면 그걸 가져가 이미지-투-비디오를 돌린다. 영상 모델 안에서 계속 뽑기를 돌리는 것보다 소재 비용도 아끼고 시간도 아낀다.
어떤 방법을 고를지는 프로젝트가 사실감을 얼마나 요구하느냐에 달려 있다. 다큐멘터리성 콘텐츠는 역시 실제 사진을 바탕에 깔아야 하고, 스타일화된 서사 콘텐츠는 AI 생성 이미지를 시작 이미지로 써도 기본적으로 문제없다. 게다가 오히려 스타일 통일을 제어하기 쉬워진다 — 같은 AI 이미지 생성의 화풍 파라미터로 여러 장의 시작 이미지를 한꺼번에 뽑으면, 여기저기서 긁어모은 소재 사진보다 스타일 일관성을 맞추기 훨씬 쉽다.
언제 반드시 텍스트-투-비디오를 써야 하나
이미지-투-비디오가 아무리 좋아도, 손이 닿지 않는 영역이 있다.
- 존재하지 않는 장면이나 생물을 무(無)에서 만들어야 할 때, 참조할 이미지가 없으니 텍스트에서 곧바로 생성하는 수밖에 없다.
- 카메라 움직임 자체를 서사 수단으로 강조할 때(예를 들어 여러 공간을 가로지르는 롱테이크), 이미지-투-비디오는 시작 구도를 고정시켜버려서 오히려 이런 대범위 카메라 워크의 자유도를 제한한다.
- 물리 시뮬레이션 계열 콘텐츠(충돌, 유체, 폭발), Sora 2 같은 물리에 강한 모델은 텍스트-투-비디오로 물리적 거동을 직접 묘사하는 게 시작 이미지를 찾는 것보다 대체로 더 직접적이다.
- 초기 아이디어 탐색 단계, 아직 시각적 방향을 정하지 못했을 때는 텍스트-투-비디오의 높은 자유도가 오히려 강점이다. 몇 가지 다른 가능성을 빠르게 확인하는 데 도움이 된다.
혼합 워크플로우: 첫·끝 프레임 + 텍스트-투-비디오 이어쓰기의 실전 경로
실제 프로젝트에서 노련한 방식은 둘 중 하나를 택하는 게 아니라, 첫·끝 프레임과 텍스트-투-비디오 이어쓰기를 결합한 혼합 프로세스다.
구체적인 방법: 먼저 텍스트-투-비디오나 AI 이미지 생성으로 첫 번째 키 프레임과 마지막 키 프레임의 화면을 확정하고, 이 두 프레임을 이미지-투-비디오의 첫·끝 프레임 입력으로 넣어(이 기능을 지원하는 모델, 예를 들면 Veo 3.1), 모델이 중간의 전환 애니메이션을 생성하게 한다. 한 구간의 길이가 부족하면, 이 구간의 마지막 프레임을 잘라내서 다음 구간의 시작 이미지로 쓰고, 다시 텍스트-투-비디오와 이미지-투-비디오를 결합해 다음 구간을 이어 쓴다 — 계주하듯 짧은 클립들을 이어 붙여 긴 서사를 완성하는 방식이다.
Kling 3.0의 연장(延长) 기능, Veo 3.1의 Flow 장면 확장은, 본질적으로 이런 계주식 논리를 제품화한 것이다. 직접 프레임을 잘라 이어 붙이지 않아도 된다.
모델별 선택 경로 요약표
귀찮으면 이것만 기억해도 된다.
- 캐릭터가 반복 등장해야 하고, 컷을 가로지르는 일관성이 최우선이라면 — 이미지-투-비디오로 시작, Wan 3.0, MiniMax H3, 혹은 참조 이미지 기능을 갖춘 Runway Gen-4를 고른다.
- 무(無)에서 세계를 만들어야 하고 물리 효과가 화려해야 한다면 — 텍스트-투-비디오, Sora 2나 Seedance 2.5를 우선으로 한다.
- 대사와 소리가 들어간 서사 단편이 필요하다면 — 텍스트-투-비디오로 시작, Veo 3.1의 다중 참조 이미지 능력으로 이후 컷의 일관성을 보완할 수 있다.
- 분 단위의 긴 서사, 미니드라마가 필요하다면 — 혼합 프로세스, Kling 3.0의 연장 기능이 현재 가장 성숙하다.