지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기[LIVE] 커서AI로 법원경매 자동화하기
이번 라이브에서는 브라우저를 띄우지 않고 네트워크 요청만으로 사이트 데이터를 가져오는 방법을 배웁니다. 개발자 도구의 헤더·요청 헤더·페이로드를 그대로 복사해 커서 AI에 붙여 넣기만 하면 되는 방식으로, 법원경매정보의 연도별 매각통계와 동행복권 당첨번호를 각각 엑셀로 자동 수집합니다. 마지막에는 팝업이 여러 단계로 열리는 화물 조회 사이트를 셀레니움으로 자동화하는 사례도 다룹니다.
지금까지 라이브에서는 주로 셀레니움으로 브라우저를 띄워 자동화했지만, 이번 회차는 방식이 다릅니다. 브라우저 없이 네트워크 요청만 주고받는 방법을 쓰는데, 코딩을 몰라도 개발자 도구에서 복사해 커서에 붙여 넣는 것이 전부입니다. 같은 방법으로 성격이 다른 세 사이트를 차례로 자동화합니다.
이 회차에서 다루는 것
- 개발자 도구 네트워크 탭에서 검색 요청 하나를 찾아내는 방법
- 헤더의 일반·요청 헤더·페이로드를 통째로 복사해 커서에 넘기는 절차
- 커서의 Agent 모드로 파일 생성부터 실행까지 맡기기
- 중간 결과를 JSON·HTML 파일로 남겨 커서가 구조를 학습하게 만들기
- 여러 연도·여러 회차를 한 번에 수집해 엑셀 한 파일에 누적하기
- 오류가 났을 때 Traceback을 커서에 넘겨 물음표 하나로 해결하기
- 팝업이 여러 단계로 열리는 사이트는 셀레니움의 탭 전환으로 처리하기
타임라인
- 07:54 법원경매정보의 연도별 매각통계 페이지 살펴보기
- 09:26 연도마다 검색·엑셀 다운로드·연도 열 추가를 손으로 하면 얼마나 걸리는지 시연
- 12:29 네트워크 탭을 비우고 검색 버튼을 눌러 요청 하나만 남기기
- 14:00 헤더의 일반 전체 선택 후 복사, 요청 헤더는 체크박스를 눌러야 전체 선택됨
- 15:32 페이로드는 소스 보기로 한 줄로 만들어 복사, 커서에 붙이고 지시 두 줄만 쓰기
- 18:37 Agent 모드가 파이썬 파일을 직접 만들고, 실행하니 JSON 파일이 생성됨
- 21:39 시작 연도와 종료 연도를 입력받아 여러 해를 한 번에 가져오도록 수정
- 26:14 JSON 대신 엑셀 한 파일에 아래로 누적 저장하도록 다시 수정
- 30:49 2020~2024년 매각통계가 엑셀 한 장으로 모인 결과 확인
- 42:55 두 번째 실습: 동행복권 당첨번호. 이번엔 응답이 JSON이 아니라 HTML
- 45:57 응답을 HTML 파일로 먼저 저장하고, 당첨번호가 있는 40줄만 따로 짚어 주기
- 55:01 시작 회차와 종료 회차를 입력받아 여러 회차를 누적 수집
- 58:04 "분석해서 시각화해 줘" 한마디로 빈도·홀짝·구간별 분포 차트 만들기
- 59:34 오류 해결 절차: Traceback부터 드래그 → Add to Chat → 물음표 한 글자
- 65:37 세 번째: 시청자 요청으로 만든 화물 선적번호 조회 자동화, 팝업이 3단계로 열림
- 73:13 새 탭·팝업으로 넘어갈 때 마지막 창으로 전환하는 코드가 핵심
핵심 정리
- 검색 버튼을 눌러도 주소가 바뀌지 않는 페이지는 뒤에서 데이터만 받아 오는 구조입니다. 그 요청 하나가 네트워크 탭에 남고, 그것만 있으면 사이트를 열지 않고도 데이터를 받을 수 있습니다.
- POST가 뭔지, Referer·User-Agent가 뭔지 공부할 필요가 없습니다. 헤더의 일반, 요청 헤더, 페이로드 세 덩어리를 통째로 복사해 커서에 넘기면 정보가 다 담겨 있어 한 번에 동작하는 코드가 나옵니다.
- 요청 헤더는 그냥 두면 한 줄만 선택됩니다. 오른쪽 체크박스(원본 보기)를 눌러야 Ctrl+A로 전체가 잡힙니다. 페이로드도 소스 보기로 바꿔서 복사합니다.
- 커서의 모드 중 Agent를 씁니다. Ask나 Edit은 채팅창에만 코드를 보여 주지만, Agent는 파일을 직접 만들고 실행까지 합니다.
- 결과를 화면에 출력만 하지 말고 JSON이나 HTML 파일로 저장하게 하십시오. 저장된 파일을 커서가 읽어 구조를 알기 때문에, 다음 단계(엑셀 변환)의 정확도가 크게 올라갑니다. 저장하지 않으면 구조를 추측해서 코드를 쓰기 때문에 대개 실패합니다.
- HTML이 수천 줄로 길면 커서가 다 훑지 못할 수 있습니다. 원하는 값이 들어 있는 40줄쯤을 따로 복사해 함께 주면 훨씬 정확해집니다.
- 오류는 터미널의
Traceback부터 끝까지 드래그해 Add to Chat으로 넘기고 물음표 하나만 입력하면 됩니다. 예전에 쓰던 "도와줘"보다 간단합니다. - 로그인이 필요 없는 사이트는 이 방식이 셀레니움보다 빠르고 오류도 적습니다. 반대로 로그인이 필요하거나 통신 구조가 복잡하면 셀레니움이 편합니다. 어느 쪽이 나은지도 커서에 물어보면 됩니다.
- 새 탭이나 팝업으로 넘어가는 사이트는 마지막으로 열린 창으로 전환하는 코드를 쓰면 됩니다. 3단계로 팝업이 열려도 같은 방법을 반복하면 됩니다.
- 개발자 도구를 일부러 막아 둔 사이트는 건드리지 않는 편이 맞습니다. 캡차 같은 봇 감지가 있는 곳도 마찬가지로 조심스럽게 접근합니다.
- 문법을 먼저 배우고 자동화하는 시대는 지났지만, 코딩을 아는 사람이 질문을 더 뾰족하게 합니다. 학습과 실행을 같이 하는 것이 맞습니다.
- 오류가 나는 것이 정상입니다. 한 번에 되는 경우는 없고, 될 때까지 대화하는 과정 자체가 실력이 됩니다.
언급된 도구와 자료
- 커서 AI(Agent 모드, Add to Chat), 파이썬
- 크롬 개발자 도구 네트워크 탭(헤더·페이로드·응답)
- 법원경매정보(연도별 매각통계), 동행복권(당첨번호 조회)
- requests, BeautifulSoup, pandas, openpyxl, matplotlib, seaborn
- 셀레니움(팝업·새 탭 전환, 스크린샷 저장)
requirements.txt(커서가 자동 생성하는 패키지 목록)