지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기[LIVE] 네이버 스마트 블록 자동화
이번 라이브에서는 네이버 검색 결과에서 연관 검색어·인기 주제·스마트 블록을 긁어 오는 프로그램을 커서 AI와 파이썬 셀레니움으로 만듭니다. 핵심은 프롬프트를 길게 쓰는 것이 아니라, 개발자 도구에서 원하는 영역의 HTML을 Copy element로 복사해 구조를 그대로 알려 주는 것입니다. 마지막에는 PySide6 UI와 엑셀 저장, exe 변환까지 붙입니다.
네이버에서 키워드를 검색하면 연관 검색어, 인기 주제, 스마트 블록이 함께 나옵니다. 이번 회차에서는 이 세 영역을 자동으로 수집해 엑셀로 저장하는 프로그램을 처음부터 만듭니다. 같은 방법이 다음·쿠팡·11번가 등 어느 사이트에도 그대로 적용되므로, 특정 사이트의 데이터가 아니라 크롤링 대상의 구조를 AI에게 알려 주는 요령을 익히는 회차로 보시면 됩니다.
이 회차에서 다루는 것
- 셀레니움과 requests의 차이, 그리고 왜 처음에는 셀레니움만 쓰면 되는지
- 동적 로딩과 정적 로딩의 차이와, 셀레니움에서는 신경 쓰지 않아도 되는 이유
- 개발자 도구(F12)에서 Copy element로 영역 HTML을 복사해 프롬프트에 넣기
- 연관 검색어 → 인기 주제 → 스마트 블록 순서로 수집 기능 하나씩 붙이기
- 스마트 블록 세 개를 구분하는 속성 규칙을 사람이 찾아 커서에게 알려 주기
- PySide6 UI와 엑셀 다운로드, exe 파일 변환까지 마무리하기
타임라인
- 09:38 네이버 검색 결과의 연관 검색어·인기 주제·스마트 블록이 무엇인지
- 11:08 완성한 네이버 트렌드 검색기 시연, 키워드 안의 키워드를 따라가는 무한 검색
- 23:16 셀레니움과 requests 비교: 쉬운 대신 느린 쪽과 빠른 대신 어려운 쪽
- 26:19 결론은 셀레니움. requests로 빨리 돌리면 IP가 차단되는 이유
- 27:50 동적 로딩과 정적 로딩의 차이를 검색어 자동완성으로 설명
- 36:57 아무 힌트 없이 연관 검색어를 가져오라고 시켜 보기
- 46:04 힌트 없이 만든 코드는 셀렉터 후보 예닐곱 개를 늘어놓고 때려 맞히는 방식
- 49:07 영역을 우클릭해 Copy element로 HTML을 통째 복사해 커서에 주기
- 52:09 구조를 알려 준 프롬프트로 만든 코드는 셀렉터가 정확히 하나로 좁혀짐
- 64:14 기능 하나에 채팅창 하나 — 새 채팅으로 인기 주제 수집 붙이기
- 68:46 페이지 전체 HTML은 147만 자, 그래서 영역만 쪼개 줘야 하는 이유
- 74:54 스마트 블록 세 개를 구분하는 속성 규칙(B1R·B2R·B3R) 찾아내기
- 79:29 스마트 블록의 키워드·제목·링크·게시일까지 한 번에 수집 성공
- 99:28 PySide6 UI에서 탭으로 결과를 보고 엑셀 시트 세 장으로 저장
핵심 정리
- 크롤링은 셀레니움부터 시작합니다. requests가 3~4배 빠르지만, 그 속도로 요청을 몰아치면 사람이 아니라고 판단해 IP가 차단됩니다. 빨라도 결국 못 씁니다.
- 셀레니움을 쓰면 동적·정적 로딩을 구분할 필요가 없습니다. 브라우저가 다 그린 뒤의 화면을 읽기 때문입니다. 그 구분은 requests를 쓸 때만 필요합니다.
- 커서에게 "알아서 찾아 줘"라고 하면 셀렉터 후보를 예닐곱 개 늘어놓고 그중 하나가 걸리기를 바라는 코드를 씁니다. 맞으면 우연이고, 페이지가 바뀌면 곧 깨집니다.
- 대신 F12 → 화살표로 원하는 영역을 집고 우클릭 Copy element로 HTML을 복사해 프롬프트에 붙입니다. 그러면 커서가 정확한 셀렉터 하나만 뽑아냅니다. CSS 셀렉터 문법을 몰라도 됩니다.
- 페이지 전체 HTML은 147만 자에 달해 AI가 소화하지 못합니다. 영역 하나는 1만~2만 자 정도라 그 안에서 필요한 문법을 잘 찾아냅니다. 어느 영역을 줄지 고르는 것이 사람의 몫입니다.
- 스마트 블록은 한 페이지에 최대 세 개이고, 영역 속성이 B1R·B2R·B3R처럼 번호로 이어지는 규칙이 있습니다. 이런 규칙을 찾아내는 것도 사람의 일입니다.
- 기능 하나에 채팅창 하나를 씁니다. 목적이 달라지면 새 채팅을 엽니다. 지난 대화가 섞이면 토큰만 쓰고 엉뚱한 코드가 나옵니다.
- 오류는 터미널 메시지를 긁어 Add to Chat으로 넘긴 뒤 물음표 한 글자만 보내면 됩니다.
- exe로 만들 때는 "exe 파일로 변환해 줘"면 충분합니다. 다만 빌드한 운영체제 전용이라 윈도우에서 만든 것은 윈도우에서만 돕니다.
- 모르는 개념은 「파인만 기법으로 설명해 줘」라고 덧붙여 물으면 설명이 훨씬 쉬워집니다.
언급된 도구와 자료
- 커서 AI, 파이썬, 셀레니움, PySide6, PyInstaller
- 크롬 개발자 도구(F12) — Elements 탭, Copy element, Network 탭
- CSS 셀렉터, requests(HTTP 통신), Playwright, Puppeteer
- 네이버 검색 결과 — 연관 검색어, 인기 주제, 스마트 블록, 파워링크, 플레이스
- ChatGPT, Claude — 개념 질문과 파인만 기법 설명
- 커서 확장 프로그램 Cursor Stats(사용량 확인), 커서 사용량 기반 과금 설정
- Replit, 윈드서프