여러분이 사용하고 계신 브라우저는 HTML5를 지원하지 않기 때문에 몇몇 요소가 제대로 보이도록 JScript를 사용하고 있습니다. 하지만 여러분의 브라우저 설정에서 스크립트 기능이 꺼져있으므로, 현재 페이지를 제대로 확인하시려면 스크립트 기능을 켜주셔야 합니다. 립싱크 Ai - Wav2Lip 설치하고 사용하는 방법 알아보자.
립싱크 Ai – Wav2Lip 설치하고 사용하는 방법 알아보자.
12개월전 작성
11개월전 수정

Wav2Lip

Wav2Lip은 D-ID처럼 비디오와 오디오 파일을 이용하여 입 모양을 움직이게 하는 Ai 프로그램이다.

D-ID와 다르게 컴퓨터에 설치한 후 무료로 사용할 수 있다.

Wav2Lip 프로그램 설치 방법

Wav2Lip을 설치 하는 방법을 공부하기전 미리 설치 전

설치 전 필요한 사항
Python 설치

Python 다운로드 페이지 들어가서 본인의 운영체제에 맞는 Pyhton 설치 파일을 다운 받는다.

ffmpeg 설치

1. cmd(명령 프롬프트) 실행

2. 명령어 입력

pip install ffmpeg

3. 설치가 잘 되었는지 확인

ffmpeg -version

얼굴 감지 모델 받기

1. GitHub – Rudrabha의 Wav2Lip#prerequisites로 들어간다.

2. Face detection pre-trained model(얼굴 감지 선행 학습된 모델)을 클릭하여 다운로드 받는다.

3. pre-trained model은 s3fd-XXXXXXXXXX.pth 파일이며, Wav2Lip\face_detection\detection\sfd\ 안에 넣는다.

립싱크 모델 다운로드

1. GitHub – Rudrabha의 Wav2Lip#getting-the-weights로 들어간다.

2. 원하는 모델을 다운로드 받는다. 나는 그냥 다 받았다.

3. Wav2Lip\checkpoints\ 안에 넣는다.

Wav2Lip 설치

1. Rudrabha – Wav2Lip 공식 GitHub로 들어간다.

2. 우측상단의 [CODE🔻] 버튼 » ZIP 파일로 다운로드한다.

3. 다운로드한 ZIP 파일 압축을 푼다.

4. 압축 푼 내용을 원하는 경로에 넣는다.

5. 비디오, 오디오가 잘 준비되어있는지 확인한다.

필요한 프로그램 설치

1. cmd(명령 프롬프트) 실행

2. 명령어를 이용하여 추가프로그램을 설치한다.

pip install -r "D:\Ai\Wav2Lip\requirements.txt"
Wav2Lip 실행

1. cmd(명령 프롬프트) 실행

2. 명령어를 이용하여 Wav2Lip 프로그램을 실행한다.

형식
python inference.py --checkpoint_path [lipsync-model] --face [video.mp4] --audio [audio.wav]
예시
python inference.py --checkpoint_path checkpoints/wav2lip.pth --face video.mp4 --audio audio.wav --resize_factor 3
사용한 코드 설명
[lipsync-model]
:
“checkpoints/wav2lip.pth”와 같이 체크포인트 파일의 실제 경로로 설정한다.
[video.mp4]
:
비디오 파일의 이름으로 설정한다.
[audio.wav]
:
오디오 파일의 이름으로 설정한다.
–resize_factor 3
:
비디오에 적용할 배율 인수(기본값은 2)

3. Wav2Lip이 완성된 파일을 생성하면 Wav2Lip\results 에 저장된다.

참고

Mingg`s Diary
밍구
공부 목적 블로그