지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기[LIVE] 900만원짜리 프로그램 1시간만에 만드는 과정 전부 공개
이번 라이브에서는 위시켓에 올라온 900만 원짜리 의약품 정보 크롤링 외주 프로젝트를 실제로 골라, 파이썬과 뷰티풀수프로 처음부터 끝까지 만들어 봅니다. 의약품안전나라 목록에서 상세 페이지 주소를 모으고 효능 효과·용법 용량·주의 사항을 뽑아 MariaDB에 쌓은 뒤, 7,078페이지를 반복 수집하는 데까지 30분 만에 끝냅니다. 외주 프로젝트를 어디서 찾고 시세를 어떻게 읽는지도 함께 다룹니다.
외주 개발로 돈을 버는 과정을 편집 없이 그대로 보여 주는 회차입니다. 위시켓에 올라온 「의약품 정보 데이터 크롤링 및 DB 구축」 프로젝트는 예산 900만 원에 예상 기간 45일이었지만, 실제로 만들어 보니 30분 남짓이 걸렸습니다. 프로젝트를 찾는 자리부터 파이썬 크롤러 작성, 데이터베이스 적재까지 순서대로 따라갑니다.
이 회차에서 다루는 것
- 크몽·위시켓 같은 곳에서 외주 프로젝트를 찾고, 시세와 요구 기술을 읽어 내는 방법
- 목록 페이지의 긴 URL에서 불필요한 파라미터를 걷어내고 페이지 번호만으로 순회하기
- 뷰티풀수프와 CSS 셀렉터로 한 페이지에 있는 제품 상세 주소 15개씩 수집하기
- 상세 페이지에서 효능 효과·용법 용량·주의 사항을 아이디 셀렉터로 뽑아내기
- MariaDB에 테이블을 만들고 파이썬에서 INSERT로 적재하기
- 7,078페이지 반복과 페이지 오류에 대한 재시도 예외 처리
- ChatGPT와 깃허브 코파일럿을 코딩 보조로 쓰는 방식
타임라인
- 03:21 재능을 올려놓고 문의를 기다리지 말고, 프로젝트 공고를 직접 찾아가는 방법
- 06:22 외주 공고를 매주 보는 두 가지 이유 — 수주와 시장·견적 감각 익히기
- 09:25 위시켓에서 고른 900만 원짜리 의약품 정보 크롤링 프로젝트의 요구 사항
- 15:29 의약품안전나라 사이트 구조 확인, 제품 10만여 건과 상세 정보 항목 살펴보기
- 20:01 개발자 도구(F12) 네트워크 탭으로 페이지 이동 시 호출되는 주소 확인
- 24:39 URL에서 빈 파라미터를 지우고 페이지 번호와 검색 구분만 남기기
- 27:44 뷰티풀수프로 목록의 a 태그를 셀렉터로 집어 링크와 제품명 뽑기
- 32:27 href에 도메인을 붙여 상세 페이지 주소 만들기, 리다이렉트 때문에 헤맨 대목
- 36:06 상세 페이지에서 효능 효과 영역의 아이디를 찾아 텍스트 가져오기
- 37:38 MariaDB에 테이블을 만들고 제품명 컬럼부터 준비하기
- 40:39 파이썬에서 MariaDB 패키지로 접속하고 INSERT 쿼리로 첫 행 넣기
- 48:20 셀렉터만 바꿔 용법 용량 추가, 이어서 주의 사항과 상세 URL 컬럼까지
- 52:56 1~7,078페이지 반복문으로 전체 수집 시작, 마지막 페이지를 하드코딩한 이유
- 56:00 사이트가 간헐적으로 오류를 내는 문제에 3초 대기 후 재시도 처리 추가
- 59:08
Data too long for column오류로 제품명 컬럼을 TEXT로 바꾸고 다시 실행 - 71:22 크롤링을 해도 되는지 판단하는 기준 — 상대방에게 피해가 가는가
- 79:00 외주 대금은 선불로 받는다는 원칙, 파이썬 코드를 VBA로 변환시키는 요령
- 95:39 책·강의보다 만들 것을 정하고 마감을 걸어 만드는 공부법
핵심 정리
- 크롤링은 난이도에 비해 단가가 높은 편이라, 처음 외주를 시도하는 사람에게 시작점으로 적당합니다. 홈페이지·앱·플랫폼 개발보다 훨씬 접근하기 쉽습니다.
- 프로젝트 공고는 수주만이 아니라 시장 조사용으로 봅니다. 어떤 기능을 원하고 얼마를 지불할 의사가 있는지, 어떤 기술을 요구하는지가 그대로 드러납니다.
- 목록 페이지의 URL은 물음표 뒤 파라미터 대부분이 비어 있습니다. 페이지 번호처럼 실제로 바뀌는 값만 남기면 반복문 한 줄로 전체 순회가 됩니다.
- 상세 페이지 주소는
href속성에 도메인이 빠져 있으므로 기본 주소를 앞에 붙여 줘야 합니다. 그래도 안 열리면 리다이렉트로 주소가 바뀌는지 확인합니다. - 항목마다 셀렉터만 바꾸면 나머지 코드는 그대로 재사용됩니다. 효능 효과·용법 용량·주의 사항이 모두 같은 패턴이라 컬럼만 늘려 가면 됩니다.
- 컬럼 타입을 짧게 잡으면 수천 건째에서
Data too long오류로 멈춥니다. 길이를 가늠하기 어려운 본문성 데이터는 처음부터 TEXT로 잡는 편이 낫습니다. - 대상 사이트는 빠르게 반복 요청하면 간헐적으로 오류를 냅니다. 지정한 요소가 없으면 3초 쉬었다가 다시 요청하는 예외 처리만 넣어도 장시간 수집이 안정됩니다.
- 마지막 페이지 번호를 코드가 알아서 계산하게 만드는 것보다, 눈으로 확인한 값을 그대로 적고 빨리 결과를 내는 편이 수익 관점에서는 낫습니다.
- 크롤링 여부는 상대 사이트에 금전적 피해를 주는지로 판단합니다. 트래픽을 되돌려 주는 형태는 도움이 되지만, 본문을 통째로 옮겨와 방문 자체를 대체하면 피해가 됩니다.
- 언어는 중요하지 않습니다. VBA·PHP로도 월 수천만 원 규모의 프로젝트가 돌아가며, 같은 로직을 AI에게 다른 언어로 변환시키는 것도 어렵지 않습니다.
- 외주 대금은 가능하면 선불로 받습니다. 후불로 받다가 받지 못한 경우가 많았고, 분쟁이 길어질 것 같으면 차라리 환불하고 다른 일을 찾는 편이 낫습니다.
- 공부는 책을 처음부터 훑는 대신 만들 결과물과 마감을 먼저 정하고, 필요한 기술만 그때그때 찾아 붙여 나가는 방식을 권합니다.
언급된 도구와 자료
- 파이썬, requests, 뷰티풀수프(BeautifulSoup), VS Code
- MariaDB, MySQL
- 크롬 개발자 도구(F12, 네트워크 탭, CSS 셀렉터)
- ChatGPT, 깃허브 코파일럿, 구글 바드, 빙, 뤼튼, 노션 AI, 클로바X
- 위시켓, 크몽 (외주 프로젝트 플랫폼)
- 의약품안전나라(식품의약품안전처)
- 비발디 브라우저
- AWS (웹 호스팅)
- 엑셀 VBA, PHP, 자바스크립트 (언급된 개발 언어)