지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기업무 효율성 높이는 자동화 라이브 32회차
이번 라이브에서는 Make의 HTTP 모듈 하나로 네이버 뉴스 검색 결과와 네이버 증권 주가 정보를 가져와 구글 시트에 쌓는 자동화를 만듭니다. 개발자 도구로 기사 제목의 A태그 규칙을 찾아 필터링하고, 동적 페이지에서 숨은 JSON API 주소를 네트워크 탭에서 찾아 여러 종목의 시세를 시트에 자동 갱신하는 방법까지 다룹니다. 플레이스 순위·부동산 실거래가 같은 응용 사례와 공식 검색 API 활용법도 함께 설명합니다.
Make에는 노션·구글 시트·슬랙처럼 특정 앱을 제어하는 모듈이 많지만, 네이버처럼 모듈이 없는 서비스는 HTTP 모듈로 직접 가져와야 합니다. 이번 회차에서는 HTTP 모듈로 네이버 뉴스 검색 결과를 긁어 구글 시트에 정리하고, 네이버 증권의 숨은 API를 찾아 관심 종목 시세를 시트에 자동으로 채우는 시나리오를 만듭니다. 뒤에서는 플레이스 순위, 전자공시, 부동산 실거래가 등 같은 원리로 할 수 있는 것들을 살펴봅니다.
이 회차에서 다루는 것
- Make HTTP 모듈(Make a request)로 네이버 뉴스 검색 결과 HTML 가져오기
- Text parser의 Get elements from HTML로 A태그만 추출하고, 클래스 규칙으로 기사 제목만 필터링하기
- HTML to text로 태그를 걷어낸 제목·URL을 구글 시트에 Add a row로 쌓기
- 동적 페이지에서 네트워크 탭을 분석해 네이버 증권의 JSON API 주소 찾기
- 구글 시트의 종목 코드를 Search rows로 읽어 HTTP 요청에 치환하고 Update a row로 시세 갱신하기
- 네이버 플레이스 순위·부동산 실거래가 등 응용 사례와 네이버 검색 오픈 API 활용법
타임라인
- 12:45 특정 앱 모듈이 아닌 범용 모듈, HTTP 모듈로 할 수 있는 일 소개
- 17:18 테슬라 뉴스 검색 URL을 Make a request에 넣고 실행해 HTML 확인
- 18:50 개발자 도구(F12)로 기사 제목이 A태그임을 확인하고 Get elements from HTML 추가
- 21:53 링크 242개가 번들로 나오는 결과 살펴보기, inner content와 attributes 구조
- 23:23 기사 제목 A태그에만 있는 클래스 규칙 찾기
- 35:29 구글 시트 만들고 Add a row 연결, contains 필터로 기사 링크만 통과시키기
- 40:02 HTML to text 모듈로 제목 텍스트만 추출해 시트에 넣기
- 43:03 네이버 증권 삼성전자 페이지에서 종목 코드 확인
- 44:34 네트워크 탭 Response에 가격이 없는 동적 페이지, URL만으로는 못 가져오는 이유
- 46:05 네트워크 탭에서 가격을 검색해 숨은 JSON API 주소 찾기
- 49:08 Parse response를 켜서 종가·시가·고가·저가·거래량을 구조화된 데이터로 받기
- 56:54 Search rows로 시트의 종목 코드를 읽어 오고 HTTP 모듈 URL에 치환
- 58:25 Update a row에 row number를 연결해 종목명·시세·일시(now) 채우기
- 62:56 리밋을 풀고 다섯 종목 전체 실행, 전자공시 API·뉴스 결합 아이디어
- 67:30 네이버 지도에서 강남 맛집 순위(rank)가 담긴 요청 찾기, 403과 리퀘스트 헤더
- 72:05 스크래핑 시 지켜야 할 선, 네이버 검색 오픈 API를 ChatGPT에게 물어 Make에 붙이는 방법
- 78:09 국토교통부 실거래가·서울시 부동산 정보도 네트워크 분석으로 가져오는 원리
핵심 정리
- Make에 없는 서비스는 HTTP 모듈의 Make a request로 페이지를 받아 오는 것이 출발점입니다. 파일 다운로드, 크롤링, 공식 API 호출까지 같은 모듈로 처리합니다.
- 웹 페이지는 요소(element)의 집합이고 클릭 가능한 링크는 A태그입니다. Text parser의 Get elements from HTML에서 Element type을 link로 두면 A태그만 뽑을 수 있습니다.
- 제목·버튼·아이콘이 모두 A태그라 그대로 쓰면 수백 개가 나옵니다. 기사 제목에만 있는 클래스를 찾아 필터를 equal이 아닌 contains로 걸어야 통과합니다. 이 규칙 찾기는 아직 사람의 몫입니다.
- 추출한 요소에 HTML이 섞여 있으면 HTML to text 모듈을 한 번 거쳐 텍스트만 시트에 넣습니다.
- 화면에 값이 보여도 네트워크 탭 첫 문서의 Response에 그 값이 없으면 동적 페이지입니다. 이때는 URL을 아무리 넣어도 못 가져오므로, 네트워크 탭에서 값을 검색해 실제 데이터를 내려주는 요청을 찾아야 합니다.
- 찾은 주소가 JSON을 주면 HTTP 모듈에서 Parse response를 켜서 항목별로 매핑합니다. 공식 API 키 없이도 구조화된 데이터를 쓸 수 있습니다.
- 여러 종목을 처리하려면 시트에 코드만 적어 두고 Search rows(코드 열이 존재하는 행)로 읽어, HTTP URL에 치환하고 Update a row에 row number를 넘기면 행 단위로 자동 갱신됩니다. 샘플은 리밋 1로 먼저 돌려 데이터 구조를 만든 뒤 매핑합니다.
- 종목 코드처럼 0으로 시작하는 값은 시트에서 앞자리가 잘리므로 열 서식을 텍스트로 바꿉니다. 클래스 이름은 사이트가 바꿀 수 있으니 안 되면 규칙을 다시 찾습니다.
- 403이 뜨면 URL만으로는 부족하고 쿠키·User-Agent 같은 리퀘스트 헤더를 맞춰야 합니다. 다만 막아 둔 사이트는 가급적 긁지 않고, 네이버 검색 오픈 API 같은 공식 경로가 있으면 그것을 쓰는 편이 좋습니다. 사용법은 문서를 통째로 ChatGPT에 넣어 물어보면 됩니다.
언급된 도구와 자료
- Make(HTTP, Text parser, Google Sheets 모듈), n8n
- 크롬 개발자 도구(Elements·Network 탭, Response 검색)
- 네이버 뉴스 검색, 네이버 증권, 네이버 지도(플레이스), 네이버 개발자 센터 검색 API
- DART 전자공시 오픈 API, 국토교통부 실거래가, 서울시 부동산 정보
- 구글 시트, ChatGPT, YouTube Data API
- 윤자동 유튜브 초기 영상(엑셀 VBA 네이버 뉴스·증권 크롤링, 통계청 API 등)