AI 더빙이 원본보다 길어지는 이유: 말하는 속도, 번역 길이, 그리고 타이밍 문제

10초짜리 한국어 대사를 영어나 독일어로 더빙했더니 결과물이 12초가 나왔습니다. 화면 속 입은 이미 닫혔는데 목소리는 계속 이어지고, 다음 대사가 앞 대사를 덮어 버립니다. 대부분은 AI 목소리 탓을 합니다. 하지만 진짜 원인은 그보다 한 단계 앞에 있습니다. 번역된 문장 자체가 말하는 데 더 오래 걸리는 것입니다.

타이밍은 AI 더빙에서 가장 덜 이야기되는 문제이면서, 더빙을 '싸 보이게' 만드는 가장 큰 원인이기도 합니다. 이 글에서는 왜 이런 일이 생기는지, 언어별 말하기 속도에 대해 연구는 무엇을 말하는지, 그리고 잘 만든 더빙 파이프라인은 번역된 음성을 어떻게 원본 길이 안에 맞추는지 정리했습니다.

같은 내용이라도 언어마다 말하는 시간이 다르다

어떤 언어는 한 음절에 더 많은 의미를 담고, 그만큼 천천히 말합니다. 2011년 학술지 Language에 실린 프랑스 리옹대학교 Pellegrino, Coupé, Marsico의 연구가 바로 이 관계를 보여 줍니다.

연구진은 여러 언어의 원어민에게 같은 내용을 번역한 텍스트를 소리 내어 읽게 한 뒤, 초당 음절 수와 음절 하나에 담긴 정보량을 측정했습니다. 언어에 따라 초당 약 5음절에서 8음절까지 차이가 났습니다.

일본어는 음절 하나에 담긴 정보가 적어서 빠르게 말하고, 중국어는 성조 덕분에 음절당 정보가 많아서 천천히 말합니다. 2019년 후속 연구는 분석 대상을 17개 언어로 넓혔고, 두 효과가 거의 상쇄되어 초당 전달되는 정보량은 언어와 관계없이 약 39비트 수준으로 모인다는 결과를 얻었습니다.

더빙에 왜 중요할까요? 초당 정보량이 비슷하다면, 충실한 번역은 말하는 데 걸리는 시간도 비슷해야 합니다. 그런데 현실은 그렇지 않은 경우가 많습니다. 번역 과정에서 관사가 추가되고, 원문이 생략한 주어가 살아나고, 짧은 단어가 어색해 긴 표현으로 바뀌기 때문입니다. 영상의 시간은 고정되어 있지만 단어 수는 그렇지 않습니다.

참고로 이 연구에 한국어는 포함되지 않았습니다. 또한 연구진 스스로도 화자 개인, 지역, 말투에 따른 차이가 언어 간 평균 차이보다 큰 경우가 많다고 밝혔습니다. 말이 빠른 한국 유튜버와 차분한 내레이터는 어떤 평균값도 깰 수 있습니다.

번역하면 문장은 대체로 길어진다, 짧은 문장일수록 더

W3C 국제화 가이드는 IBM이 오래전부터 써 온 '영어에서 유럽 언어로 번역할 때의 길이 증가율'을 소개합니다.

출처: IBM 가이드라인, W3C 인용. 소프트웨어 UI를 위해 만든 수치라서 음성 더빙 공식으로 쓰기보다는 '방향'으로 이해하는 것이 좋습니다. 핵심은 원문이 짧을수록 번역 후 길이가 더 많이 늘어난다는 점입니다. "알겠어." "말도 안 돼." 같은 짧은 리액션 대사가 가장 위험합니다.

한국어 영상이라면 특히 주의할 변수

위 수치는 영어 원문 기준이지만, 한국어가 원문이거나 목표 언어일 때는 다른 변수가 더해집니다.

• 생략된 주어와 목적어. 한국어는 문맥상 알 수 있으면 "먹었어?"처럼 주어와 목적어를 자주 생략합니다. 영어로 옮기면 "Did you eat?"처럼 다시 채워 넣어야 해서 단어가 늘어납니다.

• 높임말 어미. 반대로 영어를 한국어로 더빙할 때는 "Thanks" 한 음절이 "감사합니다" 다섯 음절이 되는 식으로, 존댓말 어미가 길이를 늘립니다. 어떤 말투를 쓸지에 따라 같은 대사도 길이가 크게 달라집니다.

• 글자 수는 말하는 시간이 아니다. 한글은 한 글자가 한 음절이라 화면에서는 짧아 보여도, 실제로 소리 내어 말하면 시간이 꽤 걸릴 수 있습니다. 좋은 더빙 시스템은 글자 수가 아니라 초 단위로 측정합니다.

자막도 같은 문제를 다른 형태로 겪습니다. 문장이 길어지면 한 단어당 읽을 시간이 줄어듭니다. 자막으로 갈지 더빙으로 갈지 고민 중이라면 자막 번역기와 AI 더빙을 영상 성격에 맞게 선택하면 됩니다.

흔히 쓰지만 티가 나는 해결법 4가지

번역된 대사가 길어지면 단순한 파이프라인이 택할 수 있는 방법은 많지 않고, 각각 시청자가 알아채는 흔적을 남깁니다.

1. 목소리 속도 올리기. 가장 쉬운 방법입니다. 조금은 괜찮지만, 지나치면 화자가 숨 가쁘고 쫓기는 듯 들려서 긴장했거나 기계 같은 인상을 줍니다.

2. 오디오 늘이고 줄이기(타임 스트레치). 합성 후 파형을 압축하면 길이는 맞지만, 특히 모음에서 금속성의 떨리는 소리가 생깁니다.

3. 그냥 넘치게 두기. 입이 닫힌 뒤에도 대사가 이어지거나 다음 대사 자리를 침범합니다. 긴 영상에서는 작은 오차가 쌓여 싱크가 점점 밀립니다.

4. 끝을 잘라 내기. 길이는 맞지만 의미가 사라집니다.

네 가지 모두 타이밍을 마지막에 오디오로 땜질하는 문제로 봅니다. 더 나은 접근은 처음부터 번역 단계에서 해결하는 것입니다.

타이밍을 지키는 AI 더빙 파이프라인은 이렇게 작동한다

연구자들은 정해진 길이 안에 맞추는 번역을 **길이 일치 번역(isometric translation)**이라고 부릅니다. 음성 번역 분야의 대표 학회인 IWSLT는 2022년에 이를 공식 평가 과제로 채택했고, 그 목적으로 자동 더빙을 들었습니다.

1. 구간마다 시간 예산을 잰다

번역하기 전에 먼저 원본을 받아쓰기하고, 화자가 말을 시작하고 멈추는 지점과 자연스러운 쉼을 표시합니다. 각 구간에는 글자 수가 아니라 초 단위 예산이 주어지고, 이후 모든 단계가 이 예산을 지켜야 합니다.

2. 길이를 의식하며 번역한다

자유롭게 번역한 뒤 길이를 고치는 대신, 번역 단계에서부터 쓸 수 있는 길이를 알려 줍니다. IWSLT 2022 과제에서는 원문 길이의 플러스마이너스 10% 안에 들어오면 '길이 준수'로 인정했습니다. 연구 시스템들은 품질을 크게 해치지 않고도 이것이 가능하다는 것을 보여 주었습니다.

• AppTek의 영어→독일어 시스템은 번역 품질 손실을 최소화하면서 90% 이상의 길이 준수율을 달성했습니다.

• 화웨이 팀은 영어→독일어, 프랑스어, 스페인어 세 언어쌍 모두에서 길이 요건을 충족했다고 보고했습니다.

2025년 후속 연구에서는 범용 대형 언어 모델(LLM)에 '같은 길이로 번역해 줘'라고 요청하는 것만으로는 길이 제어가 잘 되지 않는다는 결과가 나왔습니다. 길이 제어는 프롬프트 한 줄이 아니라 파이프라인 설계로 풀어야 합니다.

3. 후보를 여러 개 만들고 맞는 것을 고른다

한 번의 번역이 딱 맞기는 어렵습니다. 좋은 시스템은 여러 후보를 만들고 의미, 자연스러움, 길이의 균형이 가장 좋은 것을 고릅니다. "지금 나가 볼게요"와 "갈게요"는 뜻은 같지만 길이는 크게 다릅니다.

4. 속도 조절은 마지막에, 조금만

문장이 대략 맞춰진 뒤에 말하기 속도를 살짝 조절해 마지막 차이를 메웁니다. 자연스러운 범위 안이라면 시청자는 눈치채지 못합니다. 속도 조절은 마무리 도구이지 주된 해결책이 아닙니다.

5. 쉼을 활용한다

실제 말에는 틈이 있습니다. 더빙이 원본과 정확히 같은 프레임에서 시작하고 끝날 필요는 없고, 맞아 보이기만 하면 됩니다. 대사를 옆의 쉼 쪽으로 살짝 옮기거나 문장 안의 쉼을 재배치하면, 무리한 속도 조절로는 안 되던 문제가 풀리는 경우가 많습니다.

정확한 타이밍만이 목표는 아니다

MIT와 아마존 연구진이 진행한, 지금까지 가장 큰 규모의 전문 더빙 연구는 54편의 작품, 약 320시간 분량의 더빙 영상을 분석했습니다. 결론은 AI 더빙을 평가하는 모든 사람이 기억할 만합니다. 전문 성우와 번역가는 엄격한 글자 수 맞추기나 립싱크보다 목소리의 자연스러움과 번역 품질을 우선한다는 것, 그리고 타이밍은 중요하지만 유연하게 다룬다는 것입니다.

즉, 0.5초 어긋나도 자연스럽게 들리는 더빙이 모든 프레임을 맞췄지만 쫓기듯 들리는 더빙보다 낫습니다. 목표는 스톱워치가 아니라 장면에 맞는 목소리입니다.

크리에이터를 위한 실전 팁

원본을 어떻게 만들고 결과물을 무엇으로 확인하느냐에 따라 어떤 AI 더빙이든 더 잘 맞출 수 있습니다.

1. 녹음할 때 짧은 쉼을 남기세요. 문장 사이의 한 박자가 더빙에 숨 쉴 공간을 줍니다. 한국어로는 거의 티가 안 나지만 영어나 독일어 더빙에서는 큰 차이를 만듭니다.

2. 한 단어짜리 추임새는 가능하면 줄이세요. "아." "네." "그니까." 같은 대사가 너무 길어지거나 너무 급하게 나오기 가장 쉽습니다.

3. 빠른 구간부터 확인하세요. 더빙을 검토할 때는 영상에서 가장 말이 빠른 부분으로 바로 가세요. 거기서 버티면 나머지도 대체로 괜찮습니다.

4. 싱크뿐 아니라 '쫓기는 느낌'도 들어 보세요. 길이는 맞지만 급하게 들리는 대사도 타이밍 실패입니다.

5. 오디오가 아니라 대본을 고치세요. 특정 대사가 계속 길게 나온다면 번역 문장을 줄이고 다시 생성하는 편이 속도를 올리거나 자르는 것보다 낫습니다.

6. 장면에 따라 기준을 달리하세요. 얼굴이 크게 나오는 클로즈업은 엄격하게, 내레이션이나 화면 녹화는 느슨하게 봐도 됩니다.

7. 유튜브라면 더빙 트랙을 직접 관리하세요. 직접 만든 더빙 오디오를 업로드하면 타이밍을 스스로 통제할 수 있습니다. 링크만으로 시작하려면 유튜브 영상 번역기를 쓰면 됩니다.

내 영상이 다른 언어로 어떻게 들리는지 궁금하다면, 짧은 클립으로 AI 더빙을 먼저 돌려 보고 위 항목들로 점검해 보세요.

참고 문헌

1. Pellegrino, F., Coupé, C., & Marsico, E. (2011). A cross-language perspective on speech information rate. Language, 87(3), 539~558.

2. Coupé, C., Oh, Y. M., Dediu, D., & Pellegrino, F. (2019). Different languages, similar encoding efficiency. Science Advances, 5(9).

3. W3C Internationalization. Text size in translation (IBM Guidelines to Design Global Solutions 인용).

4. IWSLT 2022. Isometric Spoken Language Translation shared task.

5. Wilken, P., & Matusov, E. (2022). AppTek's Submission to the IWSLT 2022 Isometric Spoken Language Translation Task. Proceedings of IWSLT 2022.

6. Li, Z., et al. (2022). HW-TSC's Participation in the IWSLT 2022 Isometric Spoken Language Translation. Proceedings of IWSLT 2022.

7. Prompting LLMs: Length Control for Isometric Machine Translation (2025). Proceedings of IWSLT 2025.

8. Brannon, W., Virkar, Y., & Thompson, B. (2023). Dubbing in Practice: A Large Scale Study of Human Localization With Insights for Automatic Dubbing. Transactions of the ACL, 11, 419~435.