KoreanFoodie's Study

가끔 자료수집을 하다보면 신문 기사 등의 데이터를 대량으로 수집해야 되는 경우가 생긴다. 파이썬은 워낙 크롤러 만들기 좋게 requests나 BeautifulSoup등의 모듈이 그 기능을 제공해 주지만, 때로는 사이트에서 API를 직접 제공하기도 한다. 네이버의 경우에는 오픈 API(심지어 로그인도 필요 없다!)를 이용해 검색을 통한 자료를 수집할 수 있도록 도와준다. 그럼 이번 포스트에서는 이 오픈 API를 이용해서 내가 검색한 키워드로 수집한 뉴스기사들의 제목과 링크를 저장하는 방법을 알아보록 하겠다. 먼저, 네이버 데이터랩으로 가면, 다음과 같은 창이 뜨는데, 저기서 `오픈 API 신청`을 눌러 어플리케이션을 만들어 주자. 어플리케이션은 대충 만들어도 된다. 어플리케이션을 만들면 다음과 같이 "Cl..

주변에서 웹 개발 서버를 구축하는 것을 관찰해보면, 상당히 많은 분들이 Amazon 사의 AWS를 이용하고 있다는 것을 알 수 있다. 하지만 AWS의 경우 무료크레딧의 제한이 걸려 있기 때문에, 아주 간단한 어플을 실행하고 이를 테스트하고 싶을 때 AWS를 이용하려면 비용이 소액 발생하게 된다. 나처럼 가난한 개발자라면 아주 조그마한 지출에도 민감해지기 때문에, 어떻게든 무료를 찾아 떠나야 한다. 그 대안으로 구글 클라우드 플랫폼을 사용할 수 있다! 링크 : https://cloud.google.com/free/ 무료 등급 GCP - 무료 확장 평가판 및 항상 무료 | Google Cloud GCP 무료 등급은 12개월의 무료 체험 기간 동안 사용할 수 있는 $300의 크레딧과 항상 무료의 두 가지 방식..