지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기[LIVE] 네이버 부동산 크롤링 자동화
이번 라이브에서는 네이버 부동산 매물을 수집하는 프로그램을 커서 AI로 처음부터 끝까지 만듭니다. 셀레니움 대신 개발자 도구 네트워크 탭의 요청을 Copy as cURL로 복사해 파이썬 코드로 변환하는 방식을 쓰고, 여기에 PySide6 화면, 아파트 키워드 검색, 전체 페이지 수집, 엑셀 저장, 가격 시각화, exe 배포까지 차례로 붙입니다. 오류가 났을 때 Traceback을 커서에 넘겨 고치는 방법도 반복해서 보여 줍니다.
이사 갈 아파트를 찾으려고 네이버 부동산을 며칠씩 뒤지다 자동화를 만들게 된 경험에서 시작합니다. 이번 회차는 여러 주제를 훑는 대신 하나를 처음부터 끝까지, 오류가 나는 장면까지 그대로 보여 줍니다. 브라우저를 띄우는 셀레니움이 아니라 네트워크 요청을 그대로 복사해 쓰는, 훨씬 빠르고 간단한 방식이 핵심입니다.
이 회차에서 다루는 것
- 개발자 도구 네트워크 탭에서 매물 요청을 찾아 Copy as cURL로 복사하기
- cURL을 파이썬 requests 코드로 바꿔 주는 변환 사이트 활용하기
- 응답을 JSON 파일로 저장해 커서가 데이터 구조를 파악하게 만들기
- PySide6로 화면이 있는 프로그램 만들고, 아파트 키워드 검색 기능 붙이기
- 1페이지만이 아니라 마지막 페이지까지 모두 수집하기
- 엑셀 다운로드, 가격 시각화, PyInstaller로 exe 배포까지
- 오류가 났을 때 Traceback을 커서에 넘겨 고치는 요령
타임라인
- 03:16 원하는 조건의 아파트를 찾으려 경기·서울 매물을 며칠간 수집해 실제로 이사한 경험
- 21:30 매물 목록을 스크롤하면 생기는 요청을 네트워크 탭에서 찾아 Response·Payload 살펴보기
- 23:02 그 요청을 우클릭 → Copy → Copy as cURL (bash)로 복사
- 24:33 cURL 변환 사이트에 붙여 넣어 파이썬 requests 코드로 바꾸기
- 26:06 커서에 그대로 붙여 넣고 탭 자동완성으로 출력문을 더해 실행, 크롤링 성공
- 30:40 Ctrl+K로 "JSON 파일로 저장해"만 시키고, 저장된 JSON을 커서가 읽게 하기
- 32:12 PySide6를 지정해 화면이 있는 프로그램으로 바꿔 달라고 요청
- 35:14 오류 해결법: Traceback부터 끝까지 드래그 → Add to Chat → 물음표 하나만 입력
- 42:47 응답의
isMoreData필드를 커서가 알아채고 마지막 페이지까지 수집하도록 수정 - 44:17 드래그할 수 없는 오류 창은 캡처 이미지를 커서에 첨부해 고치기
- 57:55 네이버 부동산 검색창의 요청에서 아파트명과 단지번호가 함께 오는 것을 발견
- 62:27 검색 JSON과 기존 프로그램을 함께 넘겨 키워드 검색 기능을 합치기
- 74:49 "잘했어, 이제 exe로 만들어 줘" 한마디로 PyInstaller 설치·실행·배포까지
- 80:53 수집한 가격을 여러 관점으로 시각화하게 하고, 화면 표시 대신 이미지 저장으로 바꿔 해결
- 87:01 크롤링의 저작권·서버 부하 문제, 개인 사용과 상업적 재배포의 차이
- 97:43 완성된 코드를 거꾸로 넘겨 "이걸 한 번에 만드는 프롬프트를 써 달라"고 역설계하기
핵심 정리
- 브라우저를 띄우지 않고도 크롤링할 수 있습니다. 네트워크 탭의 요청을 Copy as cURL로 복사해 파이썬 requests 코드로 변환하면, 서버가 주는 데이터를 바로 받습니다.
- 네이버 부동산 매물은 한 페이지에 최대 20개씩 내려옵니다. 스크롤할 때마다 새 요청이 생기고, 그 요청 하나가 곧 코드가 됩니다.
- 받은 응답을 JSON 파일로 저장해 두면 커서가 그 구조를 읽고 다음 작업을 훨씬 정확하게 합니다. 화면에 출력만 하고 넘어가는 것과 큰 차이가 납니다.
- 오류가 나면 코드를 읽지 말고 터미널의
Traceback부터 끝까지 드래그해 Add to Chat으로 넘긴 뒤 물음표 하나만 치면 됩니다. 코드를 분석하는 1분보다 이쪽이 빠릅니다. - 드래그가 안 되는 오류 팝업은 화면을 캡처해 이미지로 첨부하면 커서가 읽고 고칩니다.
- 화면이 있는 프로그램을 원하면 PySide6 같은 라이브러리 이름만 지정해 주면 됩니다. 사람이 그 문법을 알 필요는 없습니다.
- 커서는 같은 폴더의 다른 파일을 스스로 분석해 참고하므로, 웹 채팅형 AI보다 이어 붙이는 작업에서 유리합니다.
- exe로 만들 때는 PyInstaller 설치와 명령 실행까지 커서가 알아서 합니다. 다만 만들어진 exe가 백신에 오탐지될 수 있어, 만드는 동안 실시간 검사를 잠시 끄기도 합니다.
- 수집 범위를 전국으로 넓히는 것은 기술적으로 가능하지만, 서버 부하 문제가 있어 딜레이를 주며 천천히 돌려야 합니다.
- 개인이 분석 용도로 수집하는 것과, 수집한 것을 자기 사이트에 올려 상업적으로 쓰는 것은 다릅니다. 후자는 실제 분쟁 사례가 있습니다.
- 완성된 코드를 커서에 주고 "이걸 한 번에 만드는 프롬프트를 써 달라"고 하면, 좋은 프롬프트가 어떤 모양인지 역으로 배울 수 있습니다.
- 여러 부동산 사이트를 합치려 할 때 가장 큰 걸림돌은 아파트 이름 표기가 사이트마다 다르다는 점입니다. 처음부터 완벽을 노리지 말고 두 곳을 합치는 것부터 시작합니다.
언급된 도구와 자료
- 커서 AI, 파이썬, requests, PySide6, PyInstaller
- 크롬 개발자 도구 네트워크 탭(Copy as cURL), cURL → 파이썬 변환 사이트
- 네이버 부동산(매물 조회 요청, 검색 키워드 요청)
- matplotlib, seaborn(시각화), 엑셀 저장
- Claude(랜딩 페이지 시안, 아티팩트 공유 링크)
- ZoomIt(화면 확대), OBS(녹화), Q-Dir(폴더 탐색기) — 모두 무료
- 크롬 확장 프로그램: 엑셀 파일 미리보기(Office Editing 계열)