지난 방송 다시보기는 자동대학 2학년부터 볼 수 있습니다.
이미 회원이라면 로그인해 주세요.
자동대학 2학년 · 월 6만 원 · 라이브 다시보기 무제한
2학년 혜택 보기마우스,키보드 자동화
이번 라이브에서는 파이썬 PyAutoGUI로 마우스와 키보드를 직접 제어하는 자동화를 커서 AI와 함께 처음부터 만듭니다. 마우스 이동·클릭·드래그·스크롤과 키보드 영어·한글·특수키 입력을 하나씩 실습하고, 한글이 입력되지 않는 문제를 pyperclip 클립보드 방식으로 해결합니다. 마지막에는 매일 아침 6시에 줌 회의에 자동 접속하는 프로그램을 만들고 윈도우 작업 스케줄러로 예약 실행까지 붙입니다.
마우스와 키보드 자동화는 브라우저 자동화나 API 연동보다 훨씬 단순하지만, 할 수 있다는 것조차 모르고 지나치는 경우가 많습니다. 이번 회차는 다시 기초로 돌아가 파이썬 PyAutoGUI로 화면 좌표를 클릭하고 글자를 입력하는 방법을 처음부터 다룹니다. 마지막에는 매일 아침 줌 회의에 자동 접속하는 프로그램을 만들고 윈도우 작업 스케줄러에 등록해 예약 실행까지 마칩니다.
이 회차에서 다루는 것
pip install pyautogui로 설치하고 커서 AI 터미널(Ctrl+물결키)에서 실행하기- mouseInfo로 화면 좌표와 색상 값을 확인하고 F2로 좌표 복사하기
- 마우스 이동·클릭·우클릭·더블클릭·드래그·스크롤 전체 동작 만들기
- 키보드 영어 입력, 한글 입력, 특수키(핫키) 입력 세 가지 구분하기
- 한글이 입력되지 않는 문제를 pyperclip 클립보드 복사·붙여넣기로 해결하기
- 줌 자동 접속 프로그램을 만들고 작업 스케줄러로 매일 오전 6시에 실행하기
타임라인
- 15:29 커서 터미널을 Ctrl+물결키로 열고
pip install pyautogui설치 - 17:01 mouseInfo 실행해 마우스 좌표·RGB 확인, F2로 좌표 복사
- 23:03
moveTo로 마우스 이동, 화면 좌표계와 듀얼 모니터 기준점 설명 - 32:10 클릭·우클릭·더블클릭·드래그·스크롤 명령을 차례로 실행해 보기
- 38:12 사내 결재 화면을 하루 50번 클릭하던 일을 자동화했던 실제 사례
- 50:25 키보드 자동화 세 갈래: 영어 입력, 한글 입력, 특수키 입력
- 51:56
write로 Hello World 입력하고, 메모장 실행까지 커서에게 맡기기 - 54:58 한글이 입력되지 않는 이유와 pyperclip + 붙여넣기로 해결
- 64:04 자동화 전에 「수동화」 — 사람이 하는 순서를 먼저 적는다
- 70:10 줌 참가 버튼 좌표를 F2로 복사해 프롬프트에 그대로 넣기
- 71:41 프롬프트 한 번으로 줌 자동 접속 프로그램 완성하고 실행 확인
- 79:11 윈도우 작업 스케줄러에 매일 오전 6시 트리거 등록
- 83:45 프로그램 시작에
pythonw.exe를 넣고 인수에 스크립트 경로 지정
핵심 정리
- PyAutoGUI 좌표계는 왼쪽 위가 (0, 0)이고 x는 오른쪽으로, y는 아래로 커집니다. 모니터를 여러 대 쓰더라도 가장 왼쪽 위 모니터가 기준입니다.
moveTo없이click(x, y)만 써도 이동과 클릭이 한 번에 됩니다.duration옵션은 동작을 느리게 보여 줘야 하는 시연 자리에서만 쓸모가 있습니다.write로는 영어만 입력됩니다. 한글이 섞이면 한글만 빠지고 영어만 들어가므로, pyperclip으로 클립보드에 복사한 뒤 핫키로 붙여넣는 방식을 씁니다.- 클릭 좌표는 mouseInfo를 띄워 둔 채 F2를 누르면 그대로 복사됩니다. 좌표를 드래그로 긁으려고 마우스를 옮기면 값이 바뀌므로 단축키를 쓰는 편이 정확합니다.
- 자동화보다 먼저 「수동화」입니다. 사람이 수동으로 하는 절차를 순서대로 적을 수 있어야 그 순서를 그대로 프롬프트로 옮길 수 있습니다.
- 마우스 좌표 대신 탭·스페이스바 이동을 섞으면 절차가 덜 흔들립니다. 줌 참가 창은 아이디 입력 후 탭 세 번·스페이스바 같은 키 순서만으로 다룰 수 있습니다.
- 실행할 프로그램의 전체 경로는 시작 메뉴에서 우클릭 → 파일 위치 열기 → 바로 가기 속성에서 확인합니다.
- 작업 스케줄러의 「프로그램 시작」에는 파이썬 스크립트가 아니라 파이썬 실행 파일을 넣습니다. 경로는 명령 프롬프트에서
where python으로 찾고, 검은 콘솔 창이 뜨지 않도록python.exe대신pythonw.exe를 고릅니다. - 스크립트 경로는 「인수 추가」 칸에 넣되 큰따옴표로 감쌉니다. 경로에 공백이나 한글이 있어도 그대로 동작합니다.
- 등록한 작업은 내일 아침까지 기다릴 필요 없이 작업 스케줄러의 실행 버튼으로 바로 확인합니다.
언급된 도구와 자료
- 파이썬, PyAutoGUI, pyperclip, 커서 AI
- 윈도우 작업 스케줄러, 명령 프롬프트(
where python),pythonw.exe - 줌, 메모장
- 안드로이드 자동 클릭 앱(클릭 어시스턴트 등), 테스커
- WOL(Wake-on-LAN), 핑거봇 — 꺼진 컴퓨터를 켜는 방법 질의응답
- ChatGPT, Claude, 클로드 코드, Google AI Studio, Make, Replit, 노션