더빙, 보이스오버, 자막의 차이는? 영상 번역 용어 총정리 (STT, TTS, 화자 분리, 보이스 클로닝까지)

영상 번역을 알아보다 보면 낯선 용어가 쏟아집니다. 더빙, 보이스오버, 내레이션, 하드섭, SRT, 싱크, 로컬라이제이션… 여기에 AI가 들어오면서 STT, TTS, 화자 분리, 보이스 클로닝 같은 기술 용어까지 더해졌죠.

이 글에서는 영상 번역과 더빙에서 자주 쓰는 용어를 한곳에 정리했습니다. 전통적인 방송 더빙 용어부터, AI 영상 번역기 같은 도구가 사용하는 기술 용어까지 차례로 살펴볼게요.

1. 영상 번역의 큰 갈래

로컬라이제이션 (현지화)

콘텐츠를 특정 국가나 문화권에 맞게 바꾸는 작업 전체를 말합니다. 언어뿐 아니라 문화적 맥락, 단위, 날짜 표기, 때로는 이미지까지 바꿉니다. 번역은 로컬라이제이션의 일부예요. 잘 현지화된 영상은 처음부터 그 나라 시청자를 위해 만든 것처럼 느껴집니다.

영상 번역 (미디어 번역)

자막, 더빙, 보이스오버, 화면 해설 등 영상과 소리에 붙는 모든 번역을 아우르는 말입니다. 시간과 화면 공간이라는 제약이 있어서 일반 문서 번역과는 다른 기술이 필요해요.

트랜스크리에이션

번역을 넘어, 같은 효과를 내도록 메시지를 새로 쓰는 작업입니다. 광고 문구나 슬로건처럼 직역하면 맛이 사라지는 콘텐츠에 주로 씁니다.

2. 자막 관련 용어

자막

대사를 글자로 번역해서 화면에 보여주는 방식입니다. 원래 목소리는 그대로 남아요. 가장 빠르고 비용이 적게 들며, 소리 없이 보는 영상에는 사실상 필수입니다.

자막판과 더빙판

영화나 애니메이션에서 흔히 쓰는 구분입니다. 자막판은 원어 음성에 한국어 자막을 붙인 버전, 더빙판은 한국어 성우 목소리로 바꾼 버전이에요. 애니메이션이나 가족 영화는 더빙판, 일반 영화는 자막판을 선호하는 경향이 있습니다.

하드섭과 소프트섭

• 하드섭(하드 자막, 번인 자막): 자막이 영상 화면 자체에 새겨져 있어서 끌 수 없습니다. 쇼츠, 릴스처럼 소리 없이 재생되는 SNS 영상에 적합해요

• 소프트섭(소프트 자막): 자막이 별도 파일로 되어 있어서 시청자가 켜고 끌 수 있습니다. 유튜브 자막이 대표적이에요

배리어프리 자막 (청각장애인용 자막)

대사뿐 아니라 효과음, 음악, 말하는 사람이 누구인지 같은 소리 정보까지 함께 표시하는 자막입니다. 영어권에서는 SDH나 CC(Closed Caption)라고 부릅니다.

SRT와 VTT

가장 많이 쓰는 자막 파일 형식입니다. SRT는 번호, 시작과 끝 시간, 자막 텍스트로 이뤄진 단순한 텍스트 파일이고, VTT(WebVTT)는 비슷한 구조에 웹 플레이어용 기능이 추가된 형식이에요. 밀리초 앞에 SRT는 쉼표(,), VTT는 마침표(.)를 쓴다는 차이가 있습니다.

싱크 (자막 싱크)

자막이나 더빙이 실제 말소리와 정확히 맞는지를 말합니다. "싱크가 밀린다"는 건 자막이 말보다 늦거나 빠르게 나온다는 뜻이에요.

타임코드 (스포팅)

자막이 언제 나타나고 사라질지 시간을 정하는 작업입니다. 말의 리듬, 장면 전환, 읽는 데 필요한 시간을 함께 고려해야 해요.

3. 더빙 관련 용어

더빙

원래 목소리 트랙을 다른 언어의 목소리로 바꾸는 방식입니다. 시청자는 자기 언어로 들으면서 화면에만 집중할 수 있어요. 한국에서는 예전 TV 외화 더빙과 애니메이션 더빙으로 익숙한 방식이고, 전문 성우 문화가 발달해 있습니다.

립싱크 (입 모양 맞추기)

영화나 드라마 더빙에서 번역 대사를 배우의 입 모양에 맞추는 작업입니다. 가장 까다로운 형태의 더빙으로, 번역문의 길이와 발음까지 입 모양에 맞춰 조정해야 해요.

보이스오버

원래 목소리를 작게 깔아두고 그 위에 번역된 목소리를 덧입히는 방식입니다. 다큐멘터리, 뉴스 인터뷰, 리얼리티 프로그램에서 자주 볼 수 있어요. 입 모양을 맞추지 않는다는 점이 더빙과 다릅니다.

내레이션

화면에 보이지 않는 해설자의 목소리입니다. 다큐멘터리 해설이나 광고의 설명 음성이 대표적이에요. 원래 있던 사람의 말을 번역해서 덧입히는 보이스오버와는 구분됩니다.

성우

목소리로 연기하는 전문 배우입니다. 전통적인 더빙에서는 원작 배우의 이미지와 목소리 톤에 맞는 성우를 캐스팅하는 것이 중요한 과정이에요.

4. AI 영상 번역 기술 용어

STT (음성 인식, Speech-to-Text)

말소리를 텍스트로 바꾸는 기술입니다. AI 영상 번역의 첫 단계로, 최근 모델은 텍스트와 함께 "몇 초에 무슨 말을 했는지" 타임스탬프도 같이 뽑아냅니다. 이 타임스탬프가 자막과 더빙 싱크의 기준이 돼요.

받아쓰기 (전사, 트랜스크립트)

영상 속 말을 글로 옮긴 전체 기록입니다. 번역의 바탕이 되기도 하고, 그 자체로 블로그 글이나 강의 자료로 활용할 수도 있어요. AI 영상 번역기는 받아쓰기와 원문, 번역문을 나란히 보여주는 이중 언어 받아쓰기를 제공합니다.

화자 분리 (Speaker Diarization)

녹음에서 "누가 언제 말했는지"를 구분하는 기술입니다. 인터뷰나 팟캐스트처럼 여러 사람이 나오는 영상을 더빙할 때 꼭 필요해요. 화자 분리가 되어야 출연자마다 다른 목소리로 더빙할 수 있습니다.

문맥 기반 번역

예전 번역기는 문장 하나, 심지어 단어 하나씩 번역했지만, 요즘 대형 언어 모델(LLM)은 앞뒤 문맥, 말투, 분위기를 함께 고려합니다. 덕분에 관용 표현이나 구어체도 훨씬 자연스럽게 번역돼요.

TTS (음성 합성, Text-to-Speech)

텍스트를 음성으로 바꾸는 기술입니다. 최신 음성 합성은 억양과 리듬이 사람 말소리에 매우 가까워졌어요.

보이스 클로닝 (목소리 복제)

실제 사람의 목소리 샘플로 그 사람의 음색을 재현하는 기술입니다. 더빙에 쓰면, 한 사람이 자기 목소리 그대로 다른 언어로 말하는 것처럼 만들 수 있어요. 다만 목소리는 개인정보에 해당할 수 있고, 다른 사람의 목소리를 무단으로 복제하면 퍼블리시티권 침해 등 법적 문제가 생길 수 있어서 주의가 필요합니다.

음원 분리 (보컬 분리)

목소리와 배경음악, 효과음을 분리하는 기술입니다. AI 더빙에서는 목소리만 바꾸고 원래 BGM과 효과음은 그대로 살리는 데 쓰입니다.

딥페이크

AI로 만들거나 조작한 이미지, 음성, 영상이 실제 사람이나 사건처럼 보이는 콘텐츠를 말합니다. 국내 인공지능기본법이나 EU AI Act 등에서는 이런 생성물에 AI로 만들었다는 표시를 요구하는 방향으로 규정이 정비되고 있어요. 자세한 내용은 AI 더빙과 목소리 복제, 법적으로 괜찮을까?에 정리해 두었습니다.

용어집 (글로서리)

번역을 미리 정해 둔 단어 목록입니다. 제품명, 인물 이름, 전문 용어가 여러 영상에서 똑같이 번역되도록 해줘요. AI 영상 번역기의 용어집은 CSV로 내보내고 불러올 수 있습니다. 용어집 활용법은 AI 더빙 번역 수정하는 법에서 자세히 볼 수 있어요.

5. 한눈에 비교: 자막, 보이스오버, 더빙

마무리

영상 번역은 성우, 립싱크, 자막 타이밍 같은 오래된 노하우와, 화자 분리, 보이스 클로닝 같은 새로운 기술이 함께 쓰이는 분야입니다. 용어를 알아두면 내 영상에 어떤 방식이 맞는지 고르기도, 외주나 AI 도구를 비교하기도 훨씬 쉬워져요.

실제로 영상을 해외 시청자용으로 바꾸고 싶다면 유튜브 영상 영어 더빙으로 해외 시청자 늘리는 법도 함께 읽어보세요. 해외 영상을 한국어로 옮길 때 주의할 점은 해외 영상을 한국어로 번역할 때 틀리기 쉬운 5가지에 정리해 두었습니다.

👉 AI 영상 번역과 더빙 직접 확인하기: AI 영상 번역기