목록2021/09/19 (3)
관심쟁이 영호
이전 포스팅에서는 데이터를 DB에 INSERT 하는 것 까지 완성했다. [#4 이미지 검색 및 최저가 검색] Python - MySQL 연동하기! 오늘은 앞서 스크래핑한 내용을 MySQL에 저장하는 작업을 할 것이다. [#2 Search Shop & Price] 크롤링 2탄 ㅣ Json 형태 크롤링하기 ㅣ Ajax 동적으로 크롤링하기 이전에 포스팅한 [#1 SSP] 크롤링을 해보자! bestkingit.tistory.com 우리의 목표를 다시 생각해보면, "스프링 Server (http/Get) 크롤링 요청 -> 파이썬 Server 크롤링 후 DB 저장 -> True 리턴" 이다. 그래서 오늘은 파이썬을 통하여 http 통신이 가능한 서버를 만들어 보자! 목차 모듈 다운로드 코드 적용 모듈 다운로드 필요..
크롤링한 내용을 list를 통해서 전달하지 않고 객체를 생성하여 getter, setter로 편하게 이용하고 싶어서 작업을 조금 더 하려고 한다! 코드는 다음과 같다. 목차 클래스 생성 크롤링 클래스에 적용하기 클래스 생성 model.py class model(): title = '' price = '' type ='' fileName ='' link ='' filePath = '' def __init__(self): self.name = '정보 없음' self.type = '정보 없음' self.address = '정보 없음' self.price ='정보 없음' self.filePath = '정보 없음' self.link = '정보 없음' def setTitle(self, title): self.tit..
오늘은 앞서 스크래핑한 내용을 MySQL에 저장하는 작업을 할 것이다. [#2 Search Shop & Price] 크롤링 2탄 ㅣ Json 형태 크롤링하기 ㅣ Ajax 동적으로 크롤링하기 이전에 포스팅한 [#1 SSP] 크롤링을 해보자! SSP에서 가장 핵심적인 크롤링을 해보자. 목차 툴 라이브러리 설치 User-Agent 쿠팡에서 정보 긁어오기 네이버에서 정보 긁어오기 번개장터에서 정보 긁어 bestkingit.tistory.com 목차 MySQL DB 준비하기 Python - MySQL 연동하기 테스트 MySQL DB 준비하기 MySQL을 설치한다. - 생략 - MySQL DB를 생성한다. CREATE DATABASE crawl CHARACTER SET utf8 DEFAULT COLLATE utf8..