헬창 개발자

https://www.youtube.com/watch?v=oE2Ud4-MAK0 연구실에서 교수님이 크림 크롤링 코드를 작성해달라고 하셔서 구현을 하는중에 크림 사이트는 get 방식으로 데이터를 업데이트 한다. 동적 사이트 크롤링으로 코드를 수정중에 selenium이 버전이 업그레이드 되고 문법이 많이 바뀌여서 챗쌤, 바쌤을 이용했지만 성과가 없었다. 열심히 구글링을 하면서 다른 사람 코드를 이리쓰고 저리써봐도 내부 창 스크롤을 내리는 방법이 없었다. 더구나 크림은 내부 창 스크롤을 내릴려면 키보드는 안먹고 마우스 휠로만 내려야 한다. 마지막 희망으로 공식문서를 봐볼까 했는데 다음 같은 코드가 있는것이다 설마 되겠어 ?? 했는데 됐다 ㅜㅜ 구글링을 해보니까 버전업이 돼서 나처럼 해메고 있는 사람이 있을까봐..

웹 파싱 크롤링 자동화된 방법으로 웹을 탐색하는 작업을 말하며 여러 개의 인터넷 사이트 페이지를 수집해서 분류하는 것 파싱 어떤 페이지에서 내가 원하는 데이터를 특정 패턴이나 순서로 추출하여 정보를 가공하는 작업 스크래핑 http를 통해 웹 사이트의 내용을 긁어와 원하는 형태로 가공하는 모든 작업을 말하며 크롤링과 파싱도 일종의 스크래핑이다. Node.js에서 크롤링 및 파싱을 하려면 axios 모듈과 chreerio 모듈이 필요하다. chreerio는 axios의 결과로 받은 데이터에서 DOM Selector를 사용해 필요한 데이터만 추출하는 데 사용할 수 있다. npm install cheerio npm install axios cheerio 함수 load() html 문자열을 cheerio 객체로 ..