지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기클로드코드로 영상 편집 자동화하기
이번 라이브에서는 클로드 코드로 유튜브 영상 편집을 처음부터 끝까지 자동화하는 과정을 실제로 시연합니다. 휘스퍼로 전사록을 만들고, 데시벨 파형과 화면 캡처를 함께 활용해 중복 발화·무음·비발화 구간을 걸러내는 컷 편집 방법, 하이퍼프레임스로 자막·효과음·BGM을 넣는 연출, 썸네일과 제목·설명 생성부터 브라우저를 제어해 업로드까지 맡기는 흐름을 다룹니다. 목소리 복제(QN3 TTS)로 얼굴 없는 쇼츠를 라이브 중에 만들어 보는 실습도 포함됩니다.
이번 회차는 강의 형식보다 실제 작업 화면을 그대로 보여 주는 시연 중심입니다. 진행자는 최근 자신의 유튜브 채널에 올라가는 롱폼과 쇼츠를 모두 클로드 코드에 맡기고 있으며, 편집·썸네일·제목·설명·타임라인·업로드까지 사람이 개입하지 않는 상태를 만들어 두었다고 설명합니다. 아직 사람 편집의 감각을 완전히 따라가지 못하지만, 피드백을 반복해 규칙을 쌓아 가면 완성도가 계속 올라간다는 점을 강조합니다.
이 회차에서 다루는 것
- 휘스퍼(라지 V3 터보) 모델로 영상에서 음성을 추출해 밀리초 단위 전사록을 만드는 과정
- 전사록 + 데시벨 파형 + 화면 캡처를 조합해 중복 발화·무음·비발화 구간을 판단하는 컷 편집 로직
- FFmpeg의 역할과, 편집 프로그램 없이도 자르기·자막·합성이 가능한 이유
- 하이퍼프레임스로 자막·화면 효과·효과음·BGM을 자동으로 넣는 연출 단계
- QN3 TTS로 목소리를 복제하고, 이미지 생성과 합성으로 얼굴 없는 쇼츠 만들기
- 브라우저를 제어해 유튜브 업로드까지 맡기는 방법과 계정 로그인 처리
타임라인
- 16:25 채널 영상 전체를 클로드 코드가 편집·업로드하고 있는 현재 상태 소개
- 28:33 자동 편집된 쇼츠와 롱폼 실물 확인, 자막·효과음이 붙은 결과 비교
- 33:08 수백 기가 분량의 촬영 소스 여러 개를 전사·조립해 한 편으로 만든 사례
- 37:39 480p로 먼저 테스트하고 최종본만 1080p로 뽑는 렌더 전략, 썸네일 40장 반복 생성
- 42:11 토큰 사용량 질문과 리모션 대신 하이퍼프레임스를 쓰는 이유 비교
- 52:47 원본·과정·최종 폴더 구조 설명과 전사록 추출 시작
- 55:49 휘스퍼 라지 V3 터보 설명, 18분 영상 전사에 35초 소요
- 60:21 밀리초 단위 타임스탬프 확인 후 컷 편집용 전사록 분석 지시
- 62:11 데시벨 파형을 추출해 무음 구간을 정확히 찾는 보조 기법
- 63:22 FFmpeg이 무엇이고 왜 편집 프로그램 없이 작업이 되는지
- 69:23 중복 발화·물 마시는 비발화 구간·임팩트 컷 판정 결과를 하나씩 검증
- 75:25 휘스퍼 환각(할루시네이션) 대응: 이상 구간만 잘라 재전사
- 83:02 QN3 TTS로 목소리를 복제해 대본을 음성으로 만들기
- 89:08 라이브 중 쇼츠 제작 착수: 대본→TTS→이미지 생성→하이퍼프레임스 조립
- 97:12 헤이젠 계열 도구로 BGM·효과음을 자동으로 검색·삽입하는 구조
- 103:15 컷 편집 결과 검수, 중복 문장과 물 마시는 구간이 제거된 것 확인
- 122:21 라이브 중 완성된 쇼츠 재생, 대본·목소리·이미지·편집 전부 자동
- 128:25 예능풍으로 연출한 롱폼 테스트본 확인, 말 더듬은 구간 피드백 방법
- 133:00 2주간 쌓인 편집 규칙 문서(플레이북) 구성 공개
- 137:31 브라우저 제어로 유튜브 업로드, 비공개 저장 후 공개 전환까지 지시
핵심 정리
- 편집 자동화의 출발점은 전사록입니다. 로컬 휘스퍼 라지 V3 터보는 무료로 돌아가고, 단어별 타임스탬프가 나오기 때문에 컷 편집의 기준이 됩니다.
- 전사록만으로는 부족합니다. 데시벨 파형으로 무음을 찾고, 해당 구간의 화면을 캡처해 실제로 잘라도 되는지 함께 판단하게 해야 오판이 줄어듭니다.
- 말은 없지만 화면이 중요한 시연 구간은 잘리면 안 됩니다. 반대로 책상 소음 때문에 무음으로 인식되지 않는 구간도 있어, 종합 판단 규칙이 필요합니다.
- 렌더는 480p로 여러 번 테스트하고, 최종 확정 후에만 1080p로 뽑는 편이 시간을 크게 절약합니다.
- 피드백은 "다시 만들어"가 아니라 몇 초 지점의 무엇이 왜 문제인지 구체적으로 지시해야 개선됩니다. 그리고 재발 방지 규칙을 마크다운 문서로 누적시키면 정확도가 계단식으로 올라갑니다.
- 휘스퍼에도 환각이 있습니다. 전사가 이상한 구간만 앞뒤를 잘라 다시 전사시키면 결과가 개선되는 경우가 많습니다.
- 토큰 소모는 예상보다 적습니다. 전사와 렌더링은 별도 모델·도구가 처리하고, AI는 교정과 코드 작성 정도만 담당하기 때문입니다.
- 업로드 자동화 시 비밀번호를 AI에 알려 줄 필요가 없습니다. 미리 로그인해 둔 브라우저를 제어하게 하는 방식이 안전합니다.
- 자동화 자체가 유튜브 제재 사유는 아니라는 견해를 밝힙니다. 시청자에게 가치가 없는 영상이 문제라는 점을 짚습니다.
언급된 도구와 자료
- 클로드 코드, 코덱스(Codex) — 편집 지시와 실행 주체
- Whisper 라지 V3 터보 — 로컬 음성→텍스트(STT), 단어별 타임스탬프
- FFmpeg — 자르기, 인코딩, 자막·이미지 합성, 볼륨 조절 등 영상 처리 기반
- 하이퍼프레임스(HyperFrames) — HTML 기반 영상 연출 프레임워크, AI 에이전트용 설계
- 리모션(Remotion) — 비교 대상으로 언급된 리액트 기반 영상 도구
- 헤이젠(HeyGen) — BGM·효과음 확보 경로로 언급
- QN3 TTS(Qwen 계열) — 텍스트→음성, 목소리 복제
- GPT 이미지 모델 — 쇼츠용 배경 이미지 생성
- 커서 AI, 오르카, 파세오 — 작업 환경으로 언급된 도구들