[TIL] 웹 업무 자동화, 크롤링 툴 ; 셀레니움, 셀레니움 IDE, 퍼펫티어(puppeteer) 자바, 자바스크립트

1. 자동화 서버 제작(셀레니움)

• 복잡한 기능도 구현이 가능하다
• 느리다
• 운영환경별로 세팅이 필요하다

 

자바 및 JVM을 사용한 업무 자동화 툴은 셀레니움이 있다. 자바에서 라이브러리 dependency를 추가하고 크롬 드라이버를 다운로드 받아서 사용하면 된다. 대략적인 코드는 구글링 해보면 많이 나온다.

 

의존성 추가 코드

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>3.141.59</version>
</dependency>

 

크롬 드라이버 설치 사이트

크롬 -> 설정 -> Chrome 정보에 들어가서 버전을 확인하여 알맞는 버전을 다운로드 받아야 한다.

https://chromedriver.chromium.org/downloads

---

 

2. 셀레니움 IDE 사용

 

• 레코드 베이스라 사용하기 편리하고 간단하다
• 복잡한 자동화는 어렵다
• 문법을 따로 공부해야한다(command 등)

 

크롬 브라우저의 플러그인으로 제공된다. 크롬 웹 스토어에서 설치할 수 있다.

https://chrome.google.com/webstore/detail/selenium-ide/mooikfkahbdckldjjndioackbalphokd?utm_source=chrome-ntp-icon

 

 

 

---

 

3. puppeteer(javascript 기반)

 

• 가볍고 빠르다
• 운영환경에 따라 세팅해 줄 필요가 없다

 

node.js으로 작성한다. 아직 사용법은 모르지만 향후 필요 시 아래 링크에서 프로젝트를 fork하여 사용해보자.

 

https://github.com/puppeteer/puppeteer