AI 영상 프롬프트, 어떻게 써야 하나: 타임라인 분할 촬영법부터 모델별 방언까지
지금 타임라인 분할 촬영법이 가장 값어치 있는 이유
세 달 전만 해도 AI 영상 프롬프트는 그냥 자연어로 생각을 죽 늘어놓으면 되고, 모델이 똑똑하니까 알아서 이해할 거라고 우기는 사람들이 있었다. 지금까지도 이렇게 생각한다면, 영상은 대개 5초를 못 넘기고 무너지고, 컷이 조금만 늘어나도 주체가 흔들리기 시작한다.
진짜 분수령은 타임라인 방식의 분할 촬영 작법이 등장한 뒤였다. 하나의 프롬프트를 00:00-00:05, 00:05-00:10 이런 식으로 시간 구간으로 자르고, 각 구간에서는 그 구간 안에서 일어나는 동작·카메라 움직임·구도만 묘사하면, 모델의 실행 정밀도가 눈에 띄게 좋아진다. 이유는 단순하다. 영상 생성 모델은 본질적으로 연속된 시계열 신호에 조건을 거는 작업을 하고 있는데, 네가 주는 조건의 단위가 세밀할수록, 시간 축의 기준점이 명확할수록 주제에서 벗어날 확률이 줄어든다.
이 작법은 그냥 머릿속에서 정리한 게 아니라, Seedance 2.5의 공식 예시와 국내(중국) 감독형 크리에이터 다수의 실측을 거쳐 반복 검증된 결과다. Seedance 2.5가 멀티 컷 스크립트에 대한 이해력에서 현재 1군에 속하는 것도, 상당 부분은 타임라인 구조의 프롬프트를 유독 잘 소화하기 때문이다. 반대로 말하면, 아직도 30초 분량을 한 덩어리 문장으로 묘사하고 있다면 어떤 모델로 바꿔도 대체로 운에 맡기는 셈이다.
타임라인 포맷은 어떻게 쓰나
실제로 쓸 수 있는 타임라인 프롬프트는 이런 모양이다.
- [00:00-00:03] 카메라/주체/동작/환경의 핵심 묘사
- [00:03-00:06] 카메라 움직임 방식의 변화, 또는 주체 동작의 다음 박자
- [00:06-00:08] 마무리 컷, 보통 디테일을 강조하는 클로즈업으로 끝맺음
중요한 건 포맷이 보기 좋은 게 아니라, 구간마다 딱 하나의 동작 의도만 담는 것이다. 많은 사람이 천천히 줌인함과 동시에 인물이 돌아서고 동시에 빛이 바뀌는 걸 한 구간에 다 욱여넣는데, 결과적으로 모델은 한두 개만 골라 실행하고 나머지는 다 버린다. 차라리 구간을 더 잘게 나눌지언정, 한 구간이 두 개 이상의 움직임 지시를 떠안게 하지 마라.
길이를 나누는 데도 요령이 있다. 5초 안팎의 짧은 클립은 2-3초마다 한 구간씩 자르는 게 좋고, 10초 이상이면 3-4초 단위로 잘라도 된다. 너무 잘게(초 단위로) 자르면 오히려 구간 사이 이음매가 부자연스러워지고, 이어붙인 티가 확연히 난다.
카메라 용어 사전
바로 프롬프트에 갖다 써도 되는 용어 대조표.
화면 크기: 익스트림 롱샷/롱샷/미디엄샷/클로즈업/익스트림 클로즈업 — 환경에서 얼굴 디테일까지 차례로 좁혀가는 것으로, 이걸 명확히 써주면 인물 비율이 틀어지는 문제를 크게 줄일 수 있다.
카메라 워크: 돌리 인(dolly in)/돌리 아웃(dolly out)/패닝(pan)/트래킹(track)/크레인(crane)/핸드헬드 팔로우(handheld follow)/오빗(orbit). 중국계 모델은 중국어 카메라 워크 용어에 대한 반응이 대체로 번역투 영어 묘사보다 정확하다.
조명: 역광 실루엣, 측광 림라이트, 탑라이트의 압박감, 소프트라이트 산광, 틴들 효과 — 조명 용어는 ‘영화 같은 느낌’ 같은 공허한 형용사보다 열 배는 효과적이다.
리듬: 슬로모션/정상 속도/빠른 컷 전환 — 배속이나 프레임레이트 성향을 직접 표기하는 걸 추천한다. 예를 들면 ‘0.5배속 슬로모션 클로즈업’처럼.
이 용어들을 화면 크기+카메라 워크+조명+리듬, 이 네 가지 세트로 조합해서 쓰면 기본적으로 일반적인 컷 요구의 90%는 커버된다.
네거티브 프롬프트는 만능은 아니지만 없어서도 안 된다
네거티브 프롬프트(negative prompt)의 역할은 과대평가되기도 하고 과소평가되기도 한다. 과대평가의 전형은 이걸로 구도 오류까지 바로잡으려는 기대다 — 네거티브 프롬프트는 구도가 어긋나는 문제에는 거의 효과가 없고, 그건 포지티브 묘사가 해결해야 할 몫이다. 과소평가의 전형은 아예 안 쓰는 것인데, 그러면 모델이 전혀 원치 않은 요소들을 자유롭게 채워 넣는다.
네거티브 프롬프트가 진짜 쓸모 있는 상황은 모델의 알려진 버릇을 배제할 때다. 예를 들면:
- 불필요한 팔다리, 불필요한 인물 배제(다중 주체 장면의 고질적 난제)
- 화면에 자체적으로 붙는 워터마크/자막 배제(일부 모델은 요구하지 않아도 넣는다)
- 과도하게 매끈한 플라스틱 느낌 피부 배제
- 과도한 흔들림 배제(안정적인 카메라 워크를 원할 경우)
모델마다 네거티브 프롬프트 지원 정도가 다르다. Sora 2는 현재 공개 API가 없어서, 네거티브 프롬프트의 효과가 순수 텍스트를 쌓는 것보다 인터페이스 안의 설정값에 더 좌우된다. 쓰기 전에 해당 모델의 입력 규격부터 한 번 확인하는 게 좋다. 네거티브 프롬프트 템플릿 하나를 모든 플랫폼에 그대로 돌려쓰지 말 것.
JSON/YAML 구조화 프롬프트는 언제 써야 하나
구조화 프롬프트(카메라·주체·동작·카메라 파라미터를 JSON이나 YAML로 필드별로 나눠 쓰는 것)는 두 가지 상황에서 쓸 가치가 있다. 하나는 대량 생산이 필요해서 스크립트로 자동으로 프롬프트를 이어붙이는 워크플로우일 때 — 구조화된 필드는 프로그램이 읽고 치환하기 편하다. 다른 하나는 여러 개의 독립적인 파라미터(예: 화면 비율, 컷 길이, 카메라 워크 종류를 동시에 지정)를 정밀하게 제어해야 하고, 대상 모델의 API가 구조화 입력을 명확히 지원할 때다.
하지만 단일 창작물, 즉 10초짜리 짧은 영상 하나의 프롬프트를 수동으로 쓸 거라면 JSON을 씌우는 건 순전히 시간 낭비다 — 모델 내부에서는 어차피 구조화된 필드를 다시 자연어로 변환해서 이해하니, 처음부터 자연어로 쓰는 게 더 직접적이고 어감을 미세 조정할 여지도 남길 수 있다. 결국 결과물을 결정짓는 건 포맷이 JSON이냐 평범한 문장이냐가 아니라, 컷을 얼마나 제대로 쪼갰느냐다.
간단한 판단 기준 하나: 프롬프트가 프로그램적으로 생성되거나 재사용돼야 한다면(예: 같은 분할 촬영 구성으로 주체만 바꿔 대량 테스트) 구조화를 쓰고, 한 번 쓰고 마는 정밀 수정이라면 사람 말로 쓰는 걸로 충분하다.
모델별 방언: Seedance는 중국어 분할 촬영, Veo는 대사, Sora는 물리 묘사에 강하다
이 부분이 가장 간과되기 쉽지만, 완성작의 품질 상한을 결정짓는 포인트다. 같은 프롬프트 작법이라도 모델을 바꾸면 완전히 엇나갈 수 있다. 각 회사 모델마다 학습 데이터의 비중이 달라서 저마다의 방언이 형성돼 있기 때문이다.
Seedance 2.5 / Seedance 2.0: 중국어 타임라인 분할 촬영에 대한 이해력이 가장 강하다. 무협, 중국풍, 멀티 컷 서사 같은 소재는 중국어로 상세한 분할 촬영을 직접 쓰는 게, 영어로 번역해서 넣는 것보다 실행 정밀도가 더 높다.
Veo 3 / Veo 3.1: 핵심 강점은 네이티브 오디오다. 프롬프트에 대사 내용, 어조, 환경음을 명확히 써넣어야 한다. 카메라 움직임 묘사만 쌓아 올리면 이 모델의 가장 강력한 능력치를 낭비하는 셈이다. 작법 자체가 분할 촬영표를 쓰기보다 대본 대사를 쓰는 것에 더 가깝다.
Sora 2: 물리 시뮬레이션이 강점이다. 프롬프트에 물체의 무게, 재질, 충돌 방식, 유체 거동을 묘사하는 게 카메라 언어를 묘사하는 것보다 효과적일 때가 많다. ‘이 공이 어떻게 튕길지’ 같은 물리적 디테일에 대한 반응이 ‘영화 같은 느낌’의 컷보다 훨씬 민감하다.
Kling 3.0: 카메라 워크의 파라미터화 정도가 높아서, 줌인·줌아웃·패닝·트래킹의 구체적인 폭과 속도를 직접 쓰는 데 적합하다. 액션·격투류 콘텐츠가 특히 이 방식에 잘 먹힌다.
같은 분할 촬영 대본이라도 Seedance에는 중국어 분할 촬영 목록으로, Veo에는 대사가 들어간 장면 대본으로, Sora에는 물리적 동작 묘사로 각각 바꿔 쓰면, 완성작 품질 차이가 확연히 벌어진다.
그대로 베껴 써도 되는 프롬프트 예시 3가지
예시 1(중국어 분할 촬영, Seedance 계열용):
[00:00-00:03] 미디엄샷, 쪽빛 장삼을 입은 여인이 대나무숲 속을 천천히 걸어가고, 측광이 대나무 잎 사이로 비쳐 얼룩진 빛 반점을 만들고, 바람이 옷자락과 대나무 잎을 함께 흔든다
[00:03-00:06] 카메라가 천천히 클로즈업까지 줌인, 여인이 돌아서서 뒤돌아보며 머리카락이 바람에 날리고, 배경 블러가 짙어진다
[00:06-00:08] 여인의 눈빛에서 클로즈업 정지, 측광이 역광 실루엣으로 전환되며 마무리
네거티브 프롬프트: 불필요한 인물, 화면 워터마크, 과도하게 매끈한 피부
예시 2(대사 대본, Veo 계열용):
장면: 이른 아침 주방, 창밖으로 햇살이 비스듬히 들어온다. 중년 남성이 계란을 부치면서 카메라 밖 아이에게 고개를 돌려 말한다: ‘오늘은 절대 늦으면 안 돼, 스쿨버스 7시 반에 출발하니까.’ 어조에는 약간 어쩔 수 없다는 웃음기가 섞여 있고, 배경에는 계란 부치는 치익 소리와 멀리서 흐릿하게 들리는 TV 뉴스 목소리가 깔린다. 카메라는 고정 앵글, 미세한 핸드헬드 흔들림이 느껴진다.
예시 3(물리적 동작, Sora 계열용):
유리구슬 하나가 1미터 높이의 나무 경사로 꼭대기에서 굴러 내려오다가, 도중에 도미노 세 개를 연달아 쓰러뜨리고, 마지막 도미노가 물이 가득 찬 플라스틱 컵을 밀어 넘어뜨려 물이 튀어 테이블에 반사된다. 전체 원컷, 고정 부감 앵글, 정상 속도.
이 세 가지는 주체와 장소만 바꿔서 그대로 베껴 써도 되고, 뼈대는 건드릴 필요 없다.