지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기네이버 쇼핑 순위 추적 프로그램 만들기(Apps Script)
이번 라이브에서는 구글 Apps Script로 네이버 쇼핑 검색 결과를 크롤링해 상품명·순위·리뷰 수·평점·이미지를 구글 시트에 쌓는 프로그램을 만듭니다. 트리거를 걸어 컴퓨터를 꺼도 1시간마다 자동으로 순위가 기록되게 하고, 쌓인 데이터를 엑셀에서 새로고침만으로 불러오는 방법까지 다룹니다. 마지막에는 같은 데이터로 무료 웹페이지를 배포해 카드 형태로 보여 줍니다.
지난 회차의 VBA 셀레니움에이어, 이번에는 구글 스프레드시트의 Apps Script로 자동화를 만듭니다. Apps Script는 구글 서버에서 실행되기 때문에 내 컴퓨터를 꺼 두어도 정해진 시간마다 크롤링이 돌아가고, 비용도 들지 않습니다. 네이버 쇼핑 검색 결과를 수집해 시트에 쌓고, 그 데이터를 엑셀로 연동하고, 마지막에는 웹페이지로 배포하는 데까지 이어 갑니다.
이 회차에서 다루는 것
- Apps Script가 무엇이고 어디에서 여는지, VBA와 무엇이 다른지
- 네이버 쇼핑의 XHR 요청을 찾아 JSON 응답을 그대로 받아오기
- 차단을 피하기 위해 referer와 sbth 헤더를 함께 보내는 방법
- 받아온 JSON에서 상품명·순위·리뷰 수·평점·찜하기·이미지 주소 뽑아 시트에 기록하기
- 트리거로 컴퓨터를 꺼도 정해진 시간마다 자동 실행시키기
- 구글 시트 데이터를 엑셀에서 새로고침만으로 가져오기
- Apps Script와 부트스트랩으로 무료 웹페이지를 만들어 배포하기
타임라인
- 18:30 Apps Script의 가장 큰 장점 — 컴퓨터를 꺼도 구글 서버에서 무료로 실행된다
- 21:31 1시간마다 자동 수집된 순위 데이터와 엑셀 차트로 본 변동 시연
- 24:33 같은 방식으로 만든 쿠팡 반품 상품 모아보기 웹페이지 소개
- 26:04 빈 구글 시트를 만들고 확장 프로그램에서 Apps Script 열기
- 29:05 개발자 도구 네트워크 탭에서 XHR 요청을 찾아 JSON 구조 확인하기
- 30:36
UrlFetchApp.fetch로 요청 보내고 응답 텍스트 받기, 최초 권한 승인 - 33:38 인증 오류의 원인을 찾아 referer와 sbth를 헤더로 함께 보내기
- 36:41
JSON.parse로 구조화하고 shoppingResult 안의 products에 접근하기 - 41:15
for...of반복문으로 40개 상품명을 한 번에 출력하기 - 46:16
SpreadsheetApp으로 시트 셀에 값 쓰기, 구글 시트 접근 권한 승인 - 47:48 행 번호 변수를 하나씩 늘려 40개 상품을 세로로 쌓기
- 50:50 순위·리뷰 수·평점·찜하기·이미지 주소까지 열을 늘려 가며 기록하기
- 57:00 구글 시트를 HTML 표로 여는 주소를 만들어 엑셀 「데이터 → 웹」으로 연결하기
- 60:06 엑셀에서 표가 안 나오던 원인 — 시트 공유를 링크 있는 모든 사용자로 풀기
- 63:07 트리거 추가로 시간 기반 자동 실행 설정과 실패 알림 메일
- 72:15 공식 문서의 예제로
doGet과 index.html 만들기 - 75:15 배포를 눌러 웹앱 주소 만들기, 모든 사용자 접근으로 설정
- 76:47 부트스트랩을 붙여 카드 레이아웃 가져다 쓰기, 테스트 배포로 개발하기
- 86:35
getLastRow·getLastColumn으로 시트 데이터 범위를 통째로 읽는 함수 - 91:07
google.script.run과 성공 핸들러로 시트 데이터를 브라우저로 가져오기 - 101:43 반복문으로 카드 HTML을 누적해 40개 상품을 한 번에 그리기
- 106:19 천 단위 콤마와 글자 색 같은 자잘한 것은 ChatGPT에 물어 해결하기
- 110:57 부트스트랩의 반응형 — 창 크기에 따라 카드가 자동으로 바뀐다
- 127:32 로그인이 필요한 크롤링은 HTTP 방식 대신 셀레니움을 쓰는 편이 낫다는 이유
핵심 정리
- Apps Script는 구글 서버에서 실행되므로 내 PC 상태와 무관하게 돌아갑니다. 엑셀 VBA 크롤링과 달리 컴퓨터를 켜 둘 필요가 없고 비용도 없습니다.
- 대신 셀레니움은 쓸 수 없습니다. 브라우저를 띄우는 방식이라 서버에서는 동작하지 않으므로, HTTP 요청 방식의 크롤링만 가능합니다.
- 네이버 쇼핑처럼 페이지 전체가 새로 뜨지 않는 사이트는 HTML이 아니라 네트워크 탭의 XHR 요청을 찾아야 합니다. 그 안에 JSON으로 상품 정보가 다 들어 있습니다.
- 요청이 「인증되지 않았다」로 막히면 헤더를 봅니다. referer와 sbth를 함께 보내면 네이버 안에서 호출한 것으로 인식해 정상 응답이 옵니다.
- 필드 이름은 대소문자를 정확히 지켜야 합니다. 직접 타이핑하지 말고 개발자 도구에서 복사해 붙이는 편이 오류를 줄입니다.
- 같은 셀에 계속 쓰면 덮어써집니다. 행 번호를 변수로 두고 한 번 쓸 때마다 1씩 늘려야 아래로 쌓입니다.
- URL의 페이지 번호 파라미터만 바꾸면 다른 페이지를 가져올 수 있습니다. URL 구조를 읽는 습관이 크롤링의 절반입니다.
- 트리거는 시간 단위·분 단위·특정 날짜로 걸 수 있고, 실패하면 이메일로 알림이 옵니다. 실행 횟수와 오류율은 개요 화면에서 확인합니다.
- 실행 시간 제한에 걸릴 만큼 크롤링이 길면 파일을 나눠 페이지 구간별로 돌리고 시간을 어긋나게 겁니다.
- 엑셀에서 구글 시트를 불러오려면 시트 공유를 「링크가 있는 모든 사용자」로 풀어야 합니다. 이후에는 새로고침만으로 최신 데이터가 들어옵니다.
- 웹앱은 배포할 때 액세스 권한을 「모든 사용자」로 해야 다른 사람이 열 수 있습니다. 테스트 배포 주소(dev)는 본인만 볼 수 있으므로 공유용으로는 쓸 수 없습니다.
- 디자인은 부트스트랩의 카드·버튼 같은 예제를 그대로 가져다 씁니다. 반응형까지 포함되어 있어 모바일 화면도 자동으로 맞춰집니다.
- 시트 값을 화면에 꽂을 때는 템플릿 문자열 안에 변수를 넣고, 반복문으로 HTML을 누적한 뒤 마지막에 한 번에 그려 넣습니다.
- 이 구조를 그대로 쓰면 업무 데이터를 넣어 두고 웹 대시보드를 만들 수 있습니다. 자동 새로고침을 붙이면 화면에 띄워 두는 현황판이 됩니다.
- 자동화 실력은 지능이나 학력과 관계가 적고, 반복해서 만들어 본 사람이 가장 빨리 늡니다.
언급된 도구와 자료
- 구글 스프레드시트, Apps Script(UrlFetchApp, SpreadsheetApp, 트리거, 배포)
- 크롬 개발자 도구(F12, 네트워크 탭, XHR, 콘솔)
- 부트스트랩(bootstrap.com) — 카드·버튼·내비바·반응형
- Apps Script 공식 개발자 문서(가이드 → 사용자 인터페이스 → HTML 만들기 및 게재)
- 엑셀(데이터 → 웹에서 가져오기), 엑셀 VBA, 셀레니움
- ChatGPT
- 네이버 쇼핑, 쿠팡 파트너스