무료 AI 립싱크를 윈도우 내 컴퓨터 어디에 깔고 무엇부터 돌리나, 키트 7단계

키트를 처음 깔 땐 설치 파일 하나만 누르고, 내 영상은 예제 시험이 "모두 성공"으로 끝난 다음에 넣으세요.

이 글은 립싱크 프로그램이 어떻게 입을 그리는지, 유료 서비스와 무엇이 나은지는 다루지 않습니다. 만들어 둔 캐릭터 영상에 새 대사를 넣어 입모양을 맞추는 설치와 실행 순서만 다뤄요. 대사 한 줄 때문에 영상을 다시 뽑느라 막혔던 분, 윈도우에서 처음 해 보는 분께 맞춰 썼습니다.

시작 전에	이렇게
준비물	NVIDIA 그래픽카드가 달린 윈도우 PC, 얼굴이 크게 나온 내 영상 한 개
그래픽카드 메모리	10GB 이상(권장 12GB)
디스크 여유	25GB쯤 — 받는 파일 15GB, 설치 후 20GB를 차지
걸리는 시간	처음 설치 31분(받기 포함), 대사 한 번 입히기 2분 안팎
사용료	없음 — 돌릴 때마다 드는 건 전기값뿐

저는 RTX 5080(16GB) 한 장으로 돌렸고, 아래 시간은 전부 그 컴퓨터에서 잰 값입니다.

키트에 들어 있는 것

키트를 풀면 파일이 네 가지 나옵니다.

• 설치.bat — 사양 점검부터 프로그램 받기, 예제 시험까지 한 번에 하는 설치 파일
• 입히기.bat — 내 영상에 새 대사를 입히는 실행 파일
• 예제 도아 클립 — 채널이 AI로 만든 캐릭터가 한국어로 말하는 6초 영상
• 한국어 가이드 — 증상별 해결법을 적은 안내서

안에서 입을 그리는 건 TBDub(알리바바 그룹 타오바오·티몰 팀이 공개한 립싱크 프로그램)이에요. 공식 안내는 리눅스만 지원해서, 윈도우용 비공식 실행 스크립트와 함께 묶었습니다.

1단계 압축을 풀고 설치 파일 실행하기

키트 압축을 풀고 설치.bat을 더블클릭합니다.

처음엔 그래픽카드 이름, 메모리, 디스크 남은 공간을 확인해요. 초록색으로 "점검 통과"가 뜨면 다음 단계로 넘어갑니다.

여기서 멈추는 건 대부분 그래픽카드가 NVIDIA가 아니거나 디스크가 모자랄 때예요. 메시지에 적힌 숫자를 보고 공간부터 비우세요.

2단계 15GB 받기, 멈추면 같은 파일을 다시 누르기

점검이 끝나면 AI 모델 파일 8개, 합쳐서 15GB쯤을 받기 시작합니다. 가장 큰 파일 하나가 12GB예요.

제가 처음 프로그램을 받을 땐 3GB쯤에서 받기가 멈췄습니다. 그 경험 때문에 키트는 멈춘 데부터 이어받게 만들었어요.

받다가 멈추면 이렇게 하세요.

1. 설치 창을 닫는다 2. 설치.bat을 다시 더블클릭한다 3. 받아 둔 파일은 건너뛰고 남은 부분부터 이어서 받는 걸 확인한다

다 받은 뒤엔 파일이 제대로 왔는지 한 번 검사하고 넘어갑니다. 위 화면처럼 8개 모두 "이미 있음 - 건너뜀"이 뜨는 건 정상이에요. 다 받은 상태에서 다시 눌렀을 땐 3분 만에 끝났습니다.

3단계 예제 시험이 "모두 성공"으로 끝나는지 보기

설치가 끝나면 예제 도아 클립에 영어 대사를 넣는 시험을 알아서 한 번 돌려요. 내 영상은 아직 필요 없습니다.

마지막 줄에 "모두 성공!"이 보이면 이 컴퓨터에서 프로그램이 돈다는 뜻입니다.

화면의 "총 4분 17초"는 제가 화면을 녹화하면서 돌린 회차예요. 녹화 없이 잰 시험 기록에선 같은 예제가 2분 20초였어요. 녹화 프로그램을 켜 두면 더 걸릴 수 있다는 정도로 봐 주세요.

이 문구가 안 뜨면 4단계로 가지 말고 아래 증상별 해결 표부터 보세요.

4단계 입히기 파일에 내 영상 끌어다 놓기

입히기.bat을 실행하면 창이 뜹니다. 바꿀 영상 파일을 그 창에 끌어다 놓고 엔터를 누르세요.

영상은 얼굴이 크게 나온 장면으로 고릅니다. 저는 처음엔 예제 클립을 한 번 더 넣어서 흐름만 익혔어요.

5단계 대사 넣는 방법 고르기

창에 두 가지 선택지가 나옵니다.

• 1번 — 녹음 파일: 내 목소리나 휴대폰 녹음 파일을 끌어다 놓는다
• 2번 — 글로 입력: 문장을 쓰고 목소리를 하나 고르면 키트에 붙은 무료 음성이 읽어 준다

2번 목소리는 한국어·영어·일본어에 남녀가 있어요. 이건 TBDub 기능이 아니라 키트가 따로 붙인 기능입니다. TBDub은 넣어 준 목소리에 맞춰 입만 그려요.

대사는 60초 안으로 끊어 넣으세요. 넘으면 키트가 나눠서 만들라고 알려 줍니다.

6단계 얼굴 검사 통과 확인하기

대사를 넣으면 바로 그리지 않고 얼굴부터 찾아요. 영상 속 얼굴을 끝까지 찾을 수 있는지 먼저 보는 단계입니다.

"얼굴 찾음: 148/148 프레임"처럼 전체 프레임 수와 같은 숫자가 나오면 통과예요. 그 뒤로 입 모양 만들기가 시작되고, 남은 시간이 화면에 계속 표시됩니다.

7단계 결과 폴더에서 비교 영상 열기

끝나면 결과 폴더에 영상 두 개가 생깁니다.

더빙 영상을 먼저 보지 말고 비교 영상부터 여세요. 원래 입과 새 입을 얼굴 확대로 나란히 붙여 놔서 차이가 바로 보입니다.

새 입이 대사대로 벌어지면 끝이에요. 제 컴퓨터에서 영어 녹음은 2분 20초, 한국어 글 입력은 1분 50초 걸렸습니다. 글 입력 쪽이 음성 만드는 시간까지 포함인데도 더 짧았어요.

증상별로 막혔을 때 해결 표

증상(이렇게 막혀요)	원인	해결	확인한 숫자
"받다가 멈췄어요, 처음부터 다시 받아야 하나요?"	큰 파일 받기가 중간에 끊김	창을 닫고 설치.bat 다시 실행	3GB에서 멈춤 → 다시 누르면 이어받기, 다 받았으면 3분
"얼굴이 너무 작거나 안 보여요"에서 멈춰요	멀리서 찍은 장면이라 얼굴을 못 찾음	정면에 가깝고 얼굴이 화면 높이 4분의 1 이상인 장면으로 교체	시험 기록 15초 만에 중단, 녹화 회차 1분 46초
얼굴이 작다는 경고가 떠요	얼굴 폭이 좁음	더 가깝게 잡힌 장면으로 교체	얼굴 폭 160픽셀 미만이면 경고
마지막 단계에서 메모리 부족으로 꺼져요	그래픽카드 메모리가 모자람	10GB 이상 카드에서 실행	8GB 카드를 흉내 낸 시험은 실패, 10·12GB는 통과
대사가 안 들어가요	60초를 넘는 대사	60초 안으로 나눠서 여러 번 실행	60초 초과 시 거절 안내
새 얼굴 색이 앞뒤 장면이랑 달라요	공식 색 보정 때문에 살짝 밝고 따뜻해짐	이어 붙인 뒤 색이 튀는지 확인, 편집기에서 맞추기	장면 하나만 볼 땐 거의 안 보임
두 사람 중 한 명만 바뀌어요	한 사람 영상 전제	바꿀 사람만 크게 나온 장면으로	가장 또렷한 얼굴 하나만 바뀜

메모리 숫자는 작은 카드를 메모리를 묶어 흉내 낸 시험이에요. 진짜 10GB·12GB 카드로 돌린 건 아니라서, 그 카드를 쓰신다면 결과를 알려 주시면 표를 고치겠습니다.

위 화면이 둘째 줄 증상입니다. 기다리다 실패하는 게 아니라 그리기 전에 멈추니, 장면만 바꾸면 돼요.

어떤 장면을 넣으면 되나요?

가깝게 잡은 장면과 중간 거리 장면은 됐고, 멀리서 잡은 장면은 안 됐습니다.

원본 영상에서 성격이 다른 장면 셋을 뽑아 넣어 본 결과예요.

장면	길이	결과
도아 얼굴 근접	1초 남짓	57초 만에 성공
진상 중간 거리, 고개를 빠르게 돌림	1초	51초 만에 성공
열차 안 전체를 멀리서	2초	얼굴을 못 찾아 실패

고개를 휙 돌린 장면도 입이 따라간 건 의외였어요. 다만 개발사도 고개를 크게 돌리면 입이 일그러질 수 있다고 적어 뒀으니, 그런 장면은 비교 영상으로 꼭 확인하세요.

레이턴트싱크랑 같은 조건에서 비교하면

조건은 똑같이 맞췄어요. 도아 정면 6초 장면, 영어 음성 한 개, 제 컴퓨터 한 대로 바이트댄스 쪽 무료 프로그램인 레이턴트싱크 1.6도 돌렸습니다. TBDub은 2분 46초, 반면 레이턴트싱크는 4분 40초였어요.

설치부터 차이가 났습니다. 레이턴트싱크 공식 안내의 최소 메모리는 18GB라 16GB 카드는 원래 모자라고, 같이 깔리는 파이토치(인공지능 계산 도구) 버전이 RTX 50번대를 지원하지 않아 새 버전으로 바꾼 뒤에야 깔렸어요.

이 키트를 TBDub으로 묶은 건 그래서입니다. 제 카드에서 설치가 덜 꼬이고 더 빨리 끝났거든요.

이 키트로 안 되는 것

• 번역은 안 해 줍니다. 영어로 더빙하려면 영어 대사와 그 목소리를 내가 준비해서 넣어야 해요.
• 원래 캐릭터 목소리를 흉내 내지 않습니다. 예제의 영어는 시험용 무료 음성이고, 도아 목소리를 따라 만든 게 아니에요.
• NVIDIA 카드가 없으면 못 돌립니다. 그래픽카드 없는 노트북이나 다른 회사 카드는 대상이 아니에요.
• 긴 장면은 아직 확인 못 했습니다. 제가 돌려 본 건 6초 장면까지예요.
• 실존 인물 얼굴에는 쓰지 마세요. 진짜처럼 보이는 영상을 올린다면 유튜브 업로드 화면에서 AI 변형 표시를 켜야 합니다.

프로그램은 코드와 모델 모두 아파치 2.0 공개 허락이라 상업적으로 써도 됩니다.

시작 전 점검 목록

• [ ] 그래픽카드가 NVIDIA이고 메모리가 10GB 이상인가
• [ ] 디스크에 25GB 넘게 비어 있는가
• [ ] 설치.bat을 돌려 "모두 성공!"을 확인했는가
• [ ] 내 장면은 얼굴이 크게 나왔는가(멀리서 잡은 장면 아님)
• [ ] 대사를 60초 안으로 끊었는가
• [ ] 결과는 비교 영상으로 먼저 확인했는가

여섯 줄이 다 채워지면 이제 어떤 장면에 어떤 대사를 넣을지 고를 차례예요. 저라면 첫 회는 휴대폰으로 한 문장 녹음해서 예제 클립 대신 내 장면 하나에 넣어 보겠습니다. 처음 31분 설치만 넘기면 그다음부터는 한 번에 2분 안팎이에요.

키트는 카카오톡 오픈채팅 방구석모각코 공지글에서 받을 수 있고, 설치부터 실패 장면까지 돌린 과정은 해설 영상에 있어요. 1단계 점검 화면에서 어떤 숫자가 나왔는지 댓글로 남겨 주시면 막힌 곳을 같이 봐 드릴게요.