Wav2Lip
Wav2Lip은 D-ID처럼 비디오와 오디오 파일을 이용하여 입 모양을 움직이게 하는 Ai 프로그램이다.
D-ID와 다르게 컴퓨터에 설치한 후 무료로 사용할 수 있다.
Wav2Lip 프로그램 설치 방법
Wav2Lip을 설치 하는 방법을 공부하기전 미리 설치 전
설치 전 필요한 사항
Python 설치
Python 다운로드 페이지 들어가서 본인의 운영체제에 맞는 Pyhton 설치 파일을 다운 받는다.
ffmpeg 설치
1. cmd(명령 프롬프트) 실행
2. 명령어 입력
pip install ffmpeg
3. 설치가 잘 되었는지 확인
ffmpeg -version
얼굴 감지 모델 받기
1. GitHub – Rudrabha의 Wav2Lip#prerequisites로 들어간다.
2. Face detection pre-trained model(얼굴 감지 선행 학습된 모델)을 클릭하여 다운로드 받는다.
3. pre-trained model은 s3fd-XXXXXXXXXX.pth 파일이며, Wav2Lip\face_detection\detection\sfd\ 안에 넣는다.
립싱크 모델 다운로드
1. GitHub – Rudrabha의 Wav2Lip#getting-the-weights로 들어간다.
2. 원하는 모델을 다운로드 받는다. 나는 그냥 다 받았다.
3. Wav2Lip\checkpoints\ 안에 넣는다.
Wav2Lip 설치
1. Rudrabha – Wav2Lip 공식 GitHub로 들어간다.
2. 우측상단의 [CODE🔻] 버튼 » ZIP 파일로 다운로드한다.
3. 다운로드한 ZIP 파일 압축을 푼다.
4. 압축 푼 내용을 원하는 경로에 넣는다.
5. 비디오, 오디오가 잘 준비되어있는지 확인한다.
필요한 프로그램 설치
1. cmd(명령 프롬프트) 실행
2. 명령어를 이용하여 추가프로그램을 설치한다.
pip install -r "D:\Ai\Wav2Lip\requirements.txt"
Wav2Lip 실행
1. cmd(명령 프롬프트) 실행
2. 명령어를 이용하여 Wav2Lip 프로그램을 실행한다.
python inference.py --checkpoint_path [lipsync-model] --face [video.mp4] --audio [audio.wav]
python inference.py --checkpoint_path checkpoints/wav2lip.pth --face video.mp4 --audio audio.wav --resize_factor 3
3. Wav2Lip이 완성된 파일을 생성하면 Wav2Lip\results 에 저장된다.
참고
