관심쟁이 영호

이전 포스팅에서는 데이터를 DB에 INSERT 하는 것 까지 완성했다. [#4 이미지 검색 및 최저가 검색] Python - MySQL 연동하기! 오늘은 앞서 스크래핑한 내용을 MySQL에 저장하는 작업을 할 것이다. [#2 Search Shop & Price] 크롤링 2탄 ㅣ Json 형태 크롤링하기 ㅣ Ajax 동적으로 크롤링하기 이전에 포스팅한 [#1 SSP] 크롤링을 해보자! bestkingit.tistory.com 우리의 목표를 다시 생각해보면, "스프링 Server (http/Get) 크롤링 요청 -> 파이썬 Server 크롤링 후 DB 저장 -> True 리턴" 이다. 그래서 오늘은 파이썬을 통하여 http 통신이 가능한 서버를 만들어 보자! 목차 모듈 다운로드 코드 적용 모듈 다운로드 필요..

이전에 포스팅한 [#1 SSP] 크롤링을 해보자! SSP에서 가장 핵심적인 크롤링을 해보자. 목차 툴 라이브러리 설치 User-Agent 쿠팡에서 정보 긁어오기 네이버에서 정보 긁어오기 번개장터에서 정보 긁어오기 툴 language : python 3.9.7 ide : Visual Studio bestkingit.tistory.com 포스팅을 계속해서 코딩하다 보니까 치명적인 오류를 발견하였다. 목차 문제 해결방법 Ajax 요청 보내기 또 다른 문제 문제 해결 리팩토링 문제와 해결 네이버 홈페이지를 들어가 보았다. 처음에 페이지가 로드되었을 때는 5개 정도의 상품이 로드되었다. 그리고 스크롤이 어느 정도 내려가야 Ajax-Json 통신으로 데이터를 새롭게 받는 것을 볼 수 있다. 이전 코드로 작성된 크롤..

SSP에서 가장 핵심적인 크롤링을 해보자. 목차 툴 라이브러리 설치 User-Agent 쿠팡에서 정보 긁어오기 네이버에서 정보 긁어오기 번개장터에서 정보 긁어오기 툴 language : python 3.9.7 ide : Visual Studio Code Browser : Google Chrome 라이브러리 설치 VS Code에서 개발할 폴더를 생성한다. 터미널을 켠다. 개발 폴더로 디렉터리가 설정되어 있지 않아 있다면, cd 명령어를 통해서 현재 프로젝트 폴더로 이동해주자. Requests 라이브러리 설치 다음 명령어를 입력하자. pip install requests Requests 라이브러리는 html을 받아오는데 도움을 주는 라이브러리이다. beautifulsoup4 라이브러리 설치 다음 명령어를 입..