지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기파이썬으로 AI를 내 실생활에 적용하기(통화녹음 자동 요약)
이번 라이브에서는 통화가 끝나면 녹음 파일이 저절로 클라우드로 올라가고, 그 음성이 텍스트로 바뀌어 세 줄 요약과 함께 텔레그램으로 도착하는 자동화를 만듭니다. 무료 오픈소스인 OpenAI Whisper로 음성을 텍스트로 바꾸고, 무료 한도가 넉넉한 제미나이로 요약한 뒤 파일 저장과 텔레그램 발송까지 파이썬으로 잇습니다. 같은 코드로 유튜브 영상의 음성을 받아 요약하는 것도 해봅니다.
통화 내용을 다시 찾아보려면 녹음 파일을 일일이 들어야 하고, 유료 요약 서비스는 수동 업로드와 사용량 제한이 걸립니다. 이번 회차에서는 그 과정을 통째로 자동화합니다. 통화가 끝나면 폰이 녹음 파일을 클라우드로 올리고, 파이썬이 그것을 읽어 Whisper로 텍스트를 만든 뒤 제미나이로 요약해 텔레그램으로 보내 줍니다.
이 회차에서 다루는 것
- 전체 흐름 설계: 스마트폰 → 폴더싱크 → 구글 드라이브 → 파이썬 → Whisper → 제미나이 → 파일 저장 → 텔레그램
- OpenAI Whisper 오픈소스 설치와 FFmpeg 준비(Chocolatey, 파워셸 실행 정책)
- Whisper 모델 다섯 종류의 속도와 정확도 차이를 직접 비교
- 제미나이 API 키 발급과 파이썬에서 요약 요청하기
- 텔레그램 봇 만들기와 chat_id 알아내기
- 폴더싱크로 통화 녹음을 즉시 클라우드에 동기화하기
- pytube로 유튜브 음성을 받아 같은 파이프라인에 태우기
타임라인
- 03:48 전체 구조를 그림으로 훑기: 어디서 무엇이 어디로 넘어가는지
- 08:22 회의 녹음을 회의록으로 만들어 메일까지 보내는 응용 상상
- 11:25 Whisper 공식 문서를 찾아 pip로 설치하기
- 14:25 FFmpeg 설치를 위한 Chocolatey와 파워셸 실행 정책 변경
- 20:32 tiny부터 large까지 다섯 모델의 속도·정확도 차이 설명
- 22:08 tiny와 large로 같은 통화를 변환해 결과 비교하기
- 25:12 제미나이 API 키를 발급하고 파이썬에서 첫 응답 받기
- 31:12 변환된 원문을 제미나이에 넘겨 세 줄 요약 만들기
- 37:15 안전 정책에 걸려 요약이 거부되는 상황과 프롬프트 피드백 확인
- 40:25 저장한 텍스트 파일의 한글이 깨지는 문제를 인코딩 지정으로 해결
- 43:27 BotFather로 텔레그램 봇을 만들고 토큰 받기
- 49:41 getUpdates 주소로 채팅방 chat_id 알아내기
- 52:44 변환·요약·저장·발송을 한 번에 실행해 텔레그램으로 받아 보기
- 55:51 폴더싱크로 통화 녹음 폴더를 구글 드라이브에 즉시 동기화 설정하기
- 63:26 pytube로 유튜브 영상의 음성만 내려받고 확장자 바꾸기
- 71:24 유튜브 뉴스를 large 모델로 변환해 요약까지 텔레그램으로 받기
- 79:02 제미나이 프로의 무료 한도(분당 60회)로 충분한 이유
- 82:04 복잡한 표 이미지를 그대로 붙여 넣고 설명을 받아 보기
핵심 정리
- Whisper는 OpenAI가 오픈소스로 공개한 음성 인식 모델이고, 유료 API 버전과 성능 차이가 없습니다. 내 컴퓨터에 설치하면 무료로 무제한 쓸 수 있습니다.
- Whisper를 쓰려면 FFmpeg이 필요합니다. 윈도우에서는 Chocolatey로 설치하고, 그 전에 파워셸을 관리자로 열어 실행 정책을 바꿔 줘야 합니다.
- 모델은 tiny·base·small·medium·large 다섯 가지입니다. tiny는 몇 초면 끝나지만 한국어 인식이 크게 어긋나고, large는 CPU를 많이 쓰고 오래 걸리지만 정확도가 확연히 높습니다. 뉴스처럼 발음이 또렷한 음성은 large에서 거의 그대로 받아씁니다.
- 코드 한 줄에서 모델 이름만 바꾸면 되므로, 급할 때는 base, 정확도가 필요할 때는 large로 골라 쓰면 됩니다.
- 제미나이 API는 configure로 키를 세팅한 뒤 모델을 만들어 질문하면 끝입니다. 서비스가 나온 지 얼마 안 돼 AI들이 잘 모를 수 있으니, 그럴 때는 최근에 작성된 블로그나 공식 문서를 보는 편이 빠릅니다.
- 요약이 갑자기 실패하면 prompt_feedback을 출력해 봅니다. 통화 중 거친 표현이 안전 정책(harassment)에 걸려 차단되는 경우가 있습니다.
- 파일을 쓸 때 한글이 깨지면 거의 항상 인코딩 문제입니다. open에 encoding='utf-8'을 지정하면 해결됩니다.
- 텔레그램 발송에 필요한 것은 봇 토큰, chat_id, 보낼 메시지 세 가지뿐입니다. 봇은 BotFather에서 만들고, 그룹에 넣은 뒤 관리자 권한을 줘야 메시지에 접근합니다. chat_id는 getUpdates 주소를 브라우저로 열어 확인합니다.
- 폴더싱크의 동기화 옵션에서 「즉시 동기화」를 켜면 통화가 끝나 녹음 파일이 생기는 순간 클라우드로 올라갑니다. 구글 드라이브와 원드라이브 두 곳에 걸어 두면 폰을 잃어버려도 기록이 남습니다.
- 500 오류처럼 서버 쪽 문제로 실패하는 경우가 있습니다. 예시를 한 번 만드는 것보다 하루 종일 오류 없이 도는 코드를 만드는 것이 훨씬 어렵고, 그래서 예외 처리가 필요합니다.
- 아이폰은 통화 녹음이 막혀 있어 이 자동화는 안드로이드 기준입니다.
- 표나 도표처럼 읽기 번거로운 이미지는 그대로 붙여 넣고 설명을 요청하면 됩니다. 이 기능이 있다는 것 자체를 모르는 경우가 많습니다.
언급된 도구와 자료
- OpenAI Whisper(오픈소스), FFmpeg, Chocolatey, 파워셸
- 구글 제미나이 API(google.generativeai), 제미나이 프로 무료 한도
- pytube(유튜브 음성 추출), os.rename로 확장자 변경
- 텔레그램 봇(BotFather, getUpdates, requests 방식 발송)
- 폴더싱크(FolderSync·FolderSync Pro), 구글 드라이브, 원드라이브
- VS Code, GitHub Copilot, ChatGPT, Claude 3(오퍼스·소네트·하이쿠)
- 클로바노트(비교 대상)