지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기파이썬, VBA로 웹 자동화하기
이번 라이브에서는 같은 웹 자동화를 엑셀 VBA와 파이썬 두 가지로 각각 만들어 보며 차이를 확인합니다. 로또 당첨번호를 동행복권 사이트에서 가져와 엑셀에 정리하는 작업을 WinHttp와 requests로 나란히 구현하고, 이어서 셀레니움으로 네이버에 로그인해 블로그 글을 자동으로 작성하는 과정을 처음부터 끝까지 따라갑니다. 개발자 도구로 요소를 찾는 방법과 디버그 모드로 한 줄씩 실행하는 습관이 핵심입니다.
웹 자동화를 배우려는 분들이 가장 많이 묻는 것이 파이썬과 엑셀 VBA 중 무엇을 해야 하느냐입니다. 이번 회차는 같은 결과물을 두 가지로 각각 만들어 보며 그 차이를 직접 확인합니다. 로또 당첨번호 수집으로 HTTP 요청 방식을, 네이버 블로그 자동 포스팅으로 셀레니움 방식을 다룹니다.
이 회차에서 다루는 것
- 개발자 도구의 네트워크 탭과 요소 탭에서 요청 URL·메서드·헤더·CSS 셀렉터를 찾는 방법
- 엑셀 VBA에서 WinHttp로 POST 요청을 보내고 htmlfile 객체로 값을 뽑아내기
- 파이썬에서 requests와 BeautifulSoup으로 같은 일을 하고 openpyxl로 저장하기
- VBA와 파이썬 각각의 장단점 비교
- 셀레니움으로 네이버 로그인, 캡차 우회, iframe 전환, 블로그 글 자동 작성
- 디버그 모드로 한 줄씩 실행하며 문제를 찾는 습관
타임라인
- 03:48 완성된 로또 당첨번호 수집 엑셀 시연, 회차 범위를 넣으면 한 번에 정리
- 05:19 동행복권 당첨 결과 페이지 구조 살펴보기
- 06:49 개발자 도구 네트워크 탭에서 요청 URL·메서드·헤더·페이로드 확인하기
- 13:05 Alt+F11로 VBA 편집기를 열고 WinHttp 요청 코드 작성하기
- 16:07 POST로 바꾸고 데이터와 Content-Type 헤더를 함께 보내기
- 25:13 응답을 htmlfile 객체에 넣고 getElementsByClassName으로 값 뽑기
- 29:50 마지막 행을 찾아 회차와 당첨번호를 엑셀 셀에 입력하기
- 32:50 VBA는 입력·출력·UI·코딩이 엑셀 하나로 끝난다는 장점 정리
- 35:52 같은 일을 파이썬 requests와 BeautifulSoup으로 다시 만들기
- 40:25 openpyxl로 엑셀 파일을 만들어 저장하고 f-string으로 회차 넣기
- 43:27 초보자에게는 셀레니움이 더 쉬운 이유와 VBA 셀레니움 예제
- 51:12 파이썬의 강점: 구글 시트 연동으로 수집 결과를 바로 쌓기
- 58:49 셀레니움으로 네이버 블로그 자동 포스팅 시작하기
- 67:52 자동 입력이 캡차에 걸리는 문제와 클립보드 붙여넣기로 우회하기
- 81:32 제목 클릭이 안 되는 원인이 iframe이었음을 찾고 전환하기
- 86:10 ActionChains로 제목과 본문을 한 글자씩 입력하고 인용구 넣기
- 96:49 디버그 모드가 무엇이고 왜 한 줄씩 실행해야 하는지
핵심 정리
- 브라우저 없이 요청만 보내는 방식은 네트워크 탭에서 요청 URL, 메서드(GET/POST), 페이로드, 헤더 네 가지를 확인하는 것에서 시작합니다.
- 데이터가 안 나오거나 엉뚱하게 나오면 대부분 헤더 문제입니다. 브라우저의 요청 헤더를 하나씩 그대로 맞춰 보면 대개 해결됩니다. 이 사이트는 Content-Type 하나면 충분했습니다.
- VBA는 엑셀만 있으면 Alt+F11로 바로 시작합니다. 입력창도 결과 표도 실행 버튼도 엑셀 안에서 해결되고, F8로 한 줄씩 실행하다가 커서를 위로 당겨 되돌릴 수도 있습니다. 파이썬에는 없는 편의입니다.
- 파이썬은 라이브러리가 강점입니다. 구글 시트 연동, JSON 처리, 각종 API 연결이 VBA보다 훨씬 수월합니다. 대신 설치·환경 설정과 결과 확인 과정이 번거롭습니다.
- CSS 셀렉터에서 점(.)은 클래스, 샵(#)은 아이디입니다. 개발자 도구에서 Ctrl+F로 셀렉터를 쳐 보면 몇 개가 잡히는지 바로 확인할 수 있어, 코드를 쓰기 전에 검증할 수 있습니다.
- 우클릭으로 복사한 긴 CSS 셀렉터는 사이트가 조금만 바뀌어도 깨집니다. 클래스나 아이디 하나로 좁히는 편이 오래 갑니다.
- 셀레니움은 개발자 도구의 네트워크·헤더를 몰라도 되고 요소만 알면 되므로 처음 시작하기에 훨씬 쉽습니다. 속도가 아쉬워지는 단계라면 Playwright나 Puppeteer를 봅니다.
- 네이버는 send_keys로 직접 입력하면 기계로 판단해 캡차를 띄웁니다. 클립보드에 복사한 뒤 Ctrl+V로 붙여 넣는 방식은 몇 년째 잘 동작합니다. 한 번 캡차가 뜨면 그 세션에서는 계속 뜨므로 수동으로 한 번 풀어 줘야 합니다.
- 요소를 분명히 찾았는데 클릭이 안 되면 iframe을 의심합니다. 해당 프레임으로 전환해야 그 안의 요소를 다룰 수 있습니다.
- 에디터의 제목 칸처럼 Ctrl+V가 먹지 않는 곳은 ActionChains로 한 글자씩 보내면 들어갑니다. 특수 키는 Keys.ENTER처럼 따로 지정합니다.
- 디버그 모드로 한 줄씩 실행하는 습관이 문제 해결 능력을 만듭니다. 한 번에 돌리고 오류만 보면 어느 줄이 진짜 원인인지 알 수 없습니다.
- AI는 틀린 답도 자주 내놓습니다. 한 번 틀렸다고 접지 말고 오류 메시지를 그대로 주며 대화를 이어가거나, 더 좋은 모델이나 검색으로 바꿔 보면 됩니다.
- 최근에 나온 라이브러리는 AI가 모를 수 있습니다. 그럴 때는 공식 문서와 블로그를 보는 편이 빠릅니다.
언급된 도구와 자료
- 엑셀 VBA(WinHttp, htmlfile, getElementsByClassName), 셀레니움 베이직
- 파이썬(requests, BeautifulSoup, openpyxl, gspread, 셀레니움, pyperclip, ActionChains)
- VS Code, GitHub Copilot(연 100달러), 크롬 개발자 도구(F12, Ctrl+Shift+C)
- Claude(하이쿠·오퍼스), ChatGPT, 제미나이
- 동행복권, 네이버 지도, 네이버 블로그, 네이버 쇼핑(크롤링 차단 강화)
- 파파고 API 종료와 대안 DeepL API(월 50만 자 무료)
- Playwright, Puppeteer, AWS(호스팅)