지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기[LIVE] 스마트스토어 자동화
이번 라이브에서는 크롤링을 막아 둔 네이버 쇼핑에서 연관 키워드와 상품 정보를 가져오는 방법을 다룹니다. URL만 보내면 차단되는 이유를 요청 헤더로 설명하고, 개발자 도구의 Copy as cURL과 변환 사이트만으로 헤더가 갖춰진 파이썬 코드를 만듭니다. 상품 목록이 숨어 있는 JSON을 찾아 상품명·가격·리뷰 수를 엑셀로 저장하고, 이미지 일괄 다운로드와 PySide6 UI까지 붙입니다.
네이버 쇼핑은 다른 사이트와 달리 프로그램의 접근을 막아 두고 있어서, URL만 넣고 요청하면 「비정상적인 접근」이라는 답만 돌아옵니다. 이번 회차에서는 브라우저가 실제로 무엇을 함께 보내는지 개발자 도구로 확인하고, 그것을 통째로 옮겨 오는 방법을 다룹니다. 셀레니움 없이 HTTP 요청만으로 수집하는 방식이라 훨씬 빠르고, 같은 요령을 다른 사이트에도 그대로 쓸 수 있습니다.
이 회차에서 다루는 것
- 셀레니움과 requests의 장단점, 그리고 언제 어느 쪽을 고를지
- URL만 보냈을 때 차단되는 이유 — 요청 헤더가 없다는 것
- Copy as cURL과 변환 사이트로 헤더가 갖춰진 파이썬 코드 얻기
- 개발자 도구로 연관 키워드 영역을 집어 추출 코드 만들기
- 상품 목록이 담긴
__NEXT_DATA__JSON을 찾아 필요한 필드만 뽑기 - 엑셀 저장, 이미지 일괄 다운로드, PySide6 UI까지 붙이기
타임라인
- 18:30 「가격 비교 더보기」로 다루기 쉬운 예전 UI 화면 열기
- 20:01 셀레니움과 HTTP 통신(requests)의 장단점 정리
- 21:31 URL만 넣고 요청했더니 접속이 제한되었다는 응답
- 24:32 개발자 도구 Network 탭에서 브라우저가 보내는 요청 헤더 확인
- 26:02 User-Agent와 Referer를 손으로 채워 봐도 계속 막히는 과정
- 30:34 우클릭 Copy as cURL을 변환 사이트에 넣어 파이썬 코드 얻기
- 32:06 헤더가 모두 들어간 코드로 요청이 통과되는 것 확인
- 39:41 연관 키워드 영역을 Copy element로 넘겨 추출 코드 만들기
- 42:42 헤더가 부족해 실패한 코드를 다른 파일을 참조시켜 고치기
- 50:14 연관 키워드를 엑셀 파일로 저장
- 56:18 상품 정보가
__NEXT_DATA__스크립트 안 JSON에 있다는 것 찾기 - 65:27 JSON이 너무 길 때 항목 하나만 드래그해 구조를 알려 주기
- 68:36 오류는 트레이스백을 Add to Chat 후 물음표 한 글자로 해결
- 73:10 이미지 URL로 이미지 일괄 다운로드, 0.5초 간격까지 알아서 추가
- 76:13 PySide6로 검색 UI를 만들고 목록에 이미지까지 표시
핵심 정리
- 브라우저는 URL만 보내지 않습니다. 요청 방식과 헤더를 함께 보내며, 헤더가 없으면 서버는 사람이 아니라 프로그램으로 판단해 차단합니다.
- 헤더를 손으로 하나씩 채우는 것은 비효율적입니다. Network 탭의 첫 요청을 우클릭해 Copy as cURL로 복사하고, cURL 변환 사이트에 붙이면 헤더와 쿠키가 모두 들어간 파이썬 코드가 나옵니다. 복사·붙여넣기만으로 끝납니다.
- 셀레니움은 쉽지만 느리고, requests는 빠르지만 어렵습니다. 익숙해지기 전에는 셀레니움으로 시작해도 되고, cURL 복사 방식을 알면 requests도 초보가 쓸 수 있습니다.
- Elements 탭과 Network 탭 중 무엇을 볼지는 쓰는 도구가 정합니다. 셀레니움이면 Elements, requests면 Network의 Response입니다.
- 상품 목록은 눈에 보이는 HTML이 아니라
__NEXT_DATA__스크립트 안의 JSON에 들어 있습니다. 상품명·가격·배송비·리뷰 수·이미지 URL·상품 페이지 URL이 모두 그 안에 있습니다. - JSON이 수천 줄이면 통째로 넣을 수 없어 「메시지가 너무 깁니다」로 거절됩니다. 항목 하나 분량(130줄 정도)만 드래그해 Add to Chat으로 구조를 알려 주면 충분합니다.
- 클래스 이름 뒤에 붙은 무작위 문자열은 주기적으로 바뀌므로 그 부분에 기대지 않게 프롬프트에 적어 둡니다.
- 이미지를 한꺼번에 내려받을 때는 서버 부담을 줄이도록 요청 사이에 0.5초 정도 간격을 둡니다.
- 수정 요청은 한 번에 하나씩 합니다. 네다섯 가지를 몰아서 시키면 결과가 흐려집니다. 목적이 끝날 때마다 새 채팅을 열고, 필요하면 Show History로 지난 대화로 돌아갑니다.
언급된 도구와 자료
- 커서 AI, 파이썬, requests, BeautifulSoup, pandas, PySide6, 셀레니움
- 크롬 개발자 도구 — Network 탭(Copy as cURL, Response), Elements 탭(Copy element)
- cURL 변환 사이트(cURL → 파이썬 코드)
- 네이버 쇼핑 가격 비교 화면,
__NEXT_DATA__JSON - 커서 확장 프로그램 Excel Viewer, 한국어 언어팩