관심쟁이 영호

이전 포스팅에서는 데이터를 DB에 INSERT 하는 것 까지 완성했다. [#4 이미지 검색 및 최저가 검색] Python - MySQL 연동하기! 오늘은 앞서 스크래핑한 내용을 MySQL에 저장하는 작업을 할 것이다. [#2 Search Shop & Price] 크롤링 2탄 ㅣ Json 형태 크롤링하기 ㅣ Ajax 동적으로 크롤링하기 이전에 포스팅한 [#1 SSP] 크롤링을 해보자! bestkingit.tistory.com 우리의 목표를 다시 생각해보면, "스프링 Server (http/Get) 크롤링 요청 -> 파이썬 Server 크롤링 후 DB 저장 -> True 리턴" 이다. 그래서 오늘은 파이썬을 통하여 http 통신이 가능한 서버를 만들어 보자! 목차 모듈 다운로드 코드 적용 모듈 다운로드 필요..

이전에 포스팅한 [#1 SSP] 크롤링을 해보자! SSP에서 가장 핵심적인 크롤링을 해보자. 목차 툴 라이브러리 설치 User-Agent 쿠팡에서 정보 긁어오기 네이버에서 정보 긁어오기 번개장터에서 정보 긁어오기 툴 language : python 3.9.7 ide : Visual Studio bestkingit.tistory.com 포스팅을 계속해서 코딩하다 보니까 치명적인 오류를 발견하였다. 목차 문제 해결방법 Ajax 요청 보내기 또 다른 문제 문제 해결 리팩토링 문제와 해결 네이버 홈페이지를 들어가 보았다. 처음에 페이지가 로드되었을 때는 5개 정도의 상품이 로드되었다. 그리고 스크롤이 어느 정도 내려가야 Ajax-Json 통신으로 데이터를 새롭게 받는 것을 볼 수 있다. 이전 코드로 작성된 크롤..

프랑스, 일본, 독일 사람들이 각자의 나라의 언어로 나에게 말을 건넨다. 내가 응답을 해줘야 한다고 하면, 나는 프랑스어, 독일어, 일본어를 각각 공부를 하고 각자의 말로 응답을 해줘야 한다. 정말 비효율적이다. 그럼 저 사람들이 한국어를 공부해서 나한테 말을 건네면 되자나? 그럼 효율적이다. 그럼 저 사람들이 한국어 공부를 열심히 해서 나한테 말을 건네려고 할 때, 나 대신 대답을 해줄사람이 중국인으로 바뀌어버리면? 저 사람들은 또 중국어를 공부해야한다. 이것 또한 비효율적이다. 그래서 세계 공통어인 영어가 생겼다! 이러한 원리로 만들어낸것이 JSON이다. 컴퓨터 세계에서 서로 데이터를 송수신할 때로 생각해보자. 자바와 자바를 데이터를 송수신한다면, 말이 통한다. 반대로 자바객체를 C언어로 보낸다고 하..

MessageConverter? 자바는 MessageConverter를 제공한다. 그럼 MessageConverter이 뭐지? 일반적으로 우리가 배우는 Java, C는 프로그램을 돌리는 코드이다. 반대로 웹에서는 해당 언어로 돌아가지가 않는다. 이유가 다 있겠지만, 나는 모른다. 그냥 다르다고 생각하자. 하나의 사례로 보자면, 웹에서 우리가 검색을 하고 데이터를 서핑한다고 하자. 그럼 해당 데이터들을 이용하여 분석을 할 수가 있다. 근데 웹에서 제공하는 언어로는 한계가 있다. 관련 라이브러리가 부족하거나 성능이 좋지 않거나.. 그래서 Java, c언어로 가지고 온다. 근데 웹이랑 java랑 서로 언어가 다르다.. 호환이 되지않는다는 말이다. 독일인이 나한테 독일어로 이야기하면 나는 알아듣지 못한다. 왜냐..