관심쟁이 영호

이전 포스팅에서는 데이터를 DB에 INSERT 하는 것 까지 완성했다. [#4 이미지 검색 및 최저가 검색] Python - MySQL 연동하기! 오늘은 앞서 스크래핑한 내용을 MySQL에 저장하는 작업을 할 것이다. [#2 Search Shop & Price] 크롤링 2탄 ㅣ Json 형태 크롤링하기 ㅣ Ajax 동적으로 크롤링하기 이전에 포스팅한 [#1 SSP] 크롤링을 해보자! bestkingit.tistory.com 우리의 목표를 다시 생각해보면, "스프링 Server (http/Get) 크롤링 요청 -> 파이썬 Server 크롤링 후 DB 저장 -> True 리턴" 이다. 그래서 오늘은 파이썬을 통하여 http 통신이 가능한 서버를 만들어 보자! 목차 모듈 다운로드 코드 적용 모듈 다운로드 필요..

오늘은 앞서 스크래핑한 내용을 MySQL에 저장하는 작업을 할 것이다. [#2 Search Shop & Price] 크롤링 2탄 ㅣ Json 형태 크롤링하기 ㅣ Ajax 동적으로 크롤링하기 이전에 포스팅한 [#1 SSP] 크롤링을 해보자! SSP에서 가장 핵심적인 크롤링을 해보자. 목차 툴 라이브러리 설치 User-Agent 쿠팡에서 정보 긁어오기 네이버에서 정보 긁어오기 번개장터에서 정보 긁어 bestkingit.tistory.com 목차 MySQL DB 준비하기 Python - MySQL 연동하기 테스트 MySQL DB 준비하기 MySQL을 설치한다. - 생략 - MySQL DB를 생성한다. CREATE DATABASE crawl CHARACTER SET utf8 DEFAULT COLLATE utf8..

이전에 포스팅한 [#1 SSP] 크롤링을 해보자! SSP에서 가장 핵심적인 크롤링을 해보자. 목차 툴 라이브러리 설치 User-Agent 쿠팡에서 정보 긁어오기 네이버에서 정보 긁어오기 번개장터에서 정보 긁어오기 툴 language : python 3.9.7 ide : Visual Studio bestkingit.tistory.com 포스팅을 계속해서 코딩하다 보니까 치명적인 오류를 발견하였다. 목차 문제 해결방법 Ajax 요청 보내기 또 다른 문제 문제 해결 리팩토링 문제와 해결 네이버 홈페이지를 들어가 보았다. 처음에 페이지가 로드되었을 때는 5개 정도의 상품이 로드되었다. 그리고 스크롤이 어느 정도 내려가야 Ajax-Json 통신으로 데이터를 새롭게 받는 것을 볼 수 있다. 이전 코드로 작성된 크롤..

SSP에서 가장 핵심적인 크롤링을 해보자. 목차 툴 라이브러리 설치 User-Agent 쿠팡에서 정보 긁어오기 네이버에서 정보 긁어오기 번개장터에서 정보 긁어오기 툴 language : python 3.9.7 ide : Visual Studio Code Browser : Google Chrome 라이브러리 설치 VS Code에서 개발할 폴더를 생성한다. 터미널을 켠다. 개발 폴더로 디렉터리가 설정되어 있지 않아 있다면, cd 명령어를 통해서 현재 프로젝트 폴더로 이동해주자. Requests 라이브러리 설치 다음 명령어를 입력하자. pip install requests Requests 라이브러리는 html을 받아오는데 도움을 주는 라이브러리이다. beautifulsoup4 라이브러리 설치 다음 명령어를 입..

이번에 새롭게 구상한 프로젝트를 실시할 예정이다. 프로젝트에 대한 전반적인 계획을 보자! SSP - Search Shop & Price 해당 프로젝트는 이미지 검색, 최저가 검색을 구현하는 서비스이다. 목적 이 서비스를 개발하게 된 이유는 다음과 같다. 친구가 특이한 스타일의 옷을 찾고있었다. 친구가 검색한 검색어는 "등에 지퍼가 있는 후드티"였다. 나올리가 있나... 많이 답답해보였다. 생각해보니까 나 또한 같은 문제로 검색에 어려움을 느낀적이 있다. 개발해보자! 전체적으로 어려울 것이라 생각되어 덜컥 겁이 났다. 근데 "세상 살다 보면 이것보다 어려운 문제들이 많은데 이것도 성공하지 못하면 다른 문제는 어쩔래? 라는 생각이 들어, 바로 개발해야겠다는 생각이 들었다. 본론으로 돌아가 목적을 다시 이야기..