지노스_ZNOS

지난 포스팅에서 웹스크레핑을 하는 방법을 연습했었다 2020/09/18 - [아무것도 모르고 시작하는 코딩] - 파이썬 웹 스크래핑(a.k.a 크롤링 in Korea) - 정보를 긁어오자(feat. BS4, beautifulSoup | 아무것도 모르고 시작하는 코딩 파이썬 웹 스크래핑(a.k.a 크롤링 in Korea) - 정보를 긁어오자(feat. BS4, beautifulSoup | 아무것도 모르고 웹스크래핑 vs 크롤링 웹 스크래핑(web scraping)은 웹 페이지에서 우리가 원하는 부분의 데이터를 수집해오는 것이다 (한국에서는 같은 작업을 크롤링 crawling 이라는 용어로 혼용해서 쓴다) * 웹스�� znos.tistory.com 이번엔 스크래핑한 결과를 몽고DB에 저장하는 방법에 대해서 ..

2020/09/22 - [아무것도 모르고 시작하는 코딩] - 윈도우 몽고DB(mongoDB) 설치 방법 | 아무것도 모르고 시작하는 코딩 저번 포스팅에 따라 mongoDB가 잘 설치되었는지 확인해보자 1. 윈도우키+R 을 누른후 cmd를 입력하여 명령창을 킨다 2. mongod를 입력하고 엔터 친다 (이런식으로 뭔가 실행되는듯한 화면이 나올 것이다) 3. 브라우저에서 localhost:27017 주소로 이동한 뒤 다음과 같은 화면이 뜨는 것을 확인하면 실행 완료! * 명령창을 종료하면 몽고DB 접속도 종료되므로 사용시에는 항상 켜놔야 한다 로보3T 준비하기 mongoDB라는 프로그램은 그래픽 유저 인터페이스(=GUI)를 제공하지 않기 때문에 데이터를 저장해도 사용자의 눈에 저장 내용이 보이지 않는다. 그..

Database에는, 크게 두 가지 종류가 있습니다. RDBMS(SQL) *SQL : Structured Query Language (구조화 질의어) *RDBMS : relational database management system (데이터베이스 관리 시스템) 행/열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사합니다. 정형화되어 있는 만큼, 데이터의 일관성이나 / 분석에 용이합니다. 데이터 50만 개가 적재된 상태에서, 갑자기 중간에 열을 하나 더하기는 상대적으로 어려울 것입니다. ex) postgreSQL(포스트그래 에스큐엘(시퀼)), MySQL(마이 에스큐엘(시퀼)) 등 데이터들을 여러개의 테이블에 나누어서, 데이터들의 중복을 피할 수 있습니다. 만약 사용자가 구입한 상품들을 나타내기 위해..

CRUD(씨알유디) 기본적인 데이터 처리 기능인 Create, Read, Update, Delete 의 두문자를 따서 CRUD 라고 합니다. 대부분의 소프트웨어는 이 기능을 가지고 있고요. UI(User Interface)가 갖추어야할 기본 기능 단위로 CRUD를 묶어 이야기합니다. Create (생성) : 예. 사용자가 게시글 쓰기 Read (읽기) : 예. 게시글 보기 Update(갱신, 업데이트) : 예. 게시글 수정 Delete (삭제) : 예. 게시글 삭제 더 길게 표현 할 것 없이, 소프트웨에 기능을 개발 할 때 위 네가지 CRUD가 구현해야하는 기본세트라고 인지하고 있으면 된다. 끝. 공감 부탁 드려요 :)

robomongo.org/download Robomongo Robo 3T: Simple GUI for beginners Robo 3T 1.4 brings support for MongoDB 4.2, a mongo shell upgrade from 4.0 to 4.2, the ability to manually specify visible databases, and many other fixes and improvements. View the full blog post. Download Robo 3T robomongo.org 위의 링크에 들어가서 Studio 3T말고 Robo 3T를 받아야 한다 로보3T는 몽고DB 관리툴이다. 설치가 완료되면 실행을 시켜본다 라이센스에 대한 내용에 I agree를 선택 후..

맥 1. 맥북 비밀번호 설정 brew 라는 프로그램을 이용해서 MongoDB를 설치합니다. brew를 설치하실 때 반드시 컴퓨터 비밀번호가 있어야 합니다. 비밀번호가 없으신 분들은 맥북의 비밀번호를 먼저 설정하시고 진행해주세요. 2. 터미널을 연다. spotlight 에서, "terminal" 또는 "터미널"로 검색하면 됩니다! 터미널이 무엇인가요? 우리는 주로 마우스를 써서 컴퓨터에 명령을 내리지만, 컴퓨터가 더 익숙한 건 '명령어'를 통한 명령입니다. 터미널은, '명령어를 쓸 수 있는 창'으로 생각해주시면 되겠습니다! 잘 여셨다면 아래와 같은 창을 만날 수 있습니다 3. Homebrew 설치하기 Homebrew는 무엇인가요? Homebrew는 '다운로드 패키지'를 관리할 수 있는 툴이에요. brew ..

윈도우 1. C드라이브에, 그림과 같이 data 라는 폴더를 만들고, 그 안에 db 라는 폴더를 만듭니다. 2. 링크로 가셔서, On-Premises 탭 클릭 > MongoDB Community Server 를 클릭하시고 다음 사항을 선택한 뒤 다운로드합니다. OS : Windows Package : MSI 3. NEXT 클릭합니다 4. 약관에 동의한 뒤 Next를 클릭합니다. 5. Custom을 클릭합니다. 6. Browse를 클릭합니다. 7. C:\data\db\ 를 찾아 선택하고 OK를 클릭합니다. 8. Location 항목이 C:\data\db\ 로 변경된 것을 확인하고 Next 를 클릭합니다. 9. Next 를 클릭합니다. 10. Install MongoDB Compass 선택을 해제하고 Nex..

지난시간에 네이버영화에서 영화제목을 스크랩하는 코드를 연습했다 오늘은 그 코드를 이용하여 다른 것들을 스크래핑 해보겠다 네이버 영화 제목 가져오기(지난 시간의 코드) import requests from bs4 import BeautifulSoup # URL을 읽어서 HTML를 받아오고, headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=cur&date=20200917'..

웹스크래핑 vs 크롤링 웹 스크래핑(web scraping)은 웹 페이지에서 우리가 원하는 부분의 데이터를 수집해오는 것이다 (한국에서는 같은 작업을 크롤링 crawling 이라는 용어로 혼용해서 쓴다) * 웹스크레핑은 봇을 이용해 하나의 웹페이지에서 특정 정보를 추출하는 것이고, 웹크롤링은 웹 크롤러 봇으로 무수히 많은 페이지들을 검색 색인에 정리하는 것이다(인덱싱 | Indexing) * 구글 등 검색엔진은 웹크롤링을 통해 무수히 많은 페이지들에 인덱싱을 했고, 검색을 하면 해당하는 페이지들을 불러서 모은다(일반적인 정보들) * 참조 : https://www.google.com/intl/ko/search/howsearchworks/crawling-indexing/ Google 검색의 원리 | 크롤링 ..

requests 라이브러리 사용 "openAPI에서 데이터를 가져올 때 requests 라이브러리를 사용합니다" 서울시 OpenAPI 를 사용해 List / Dictionary / 함수 / if / for문 연습을 해보겠습니다. requests 패키지를 설치하는 방법은 저번 포스팅을 참조하시면 됩니다 2020/09/15 - [아무것도 모르고 시작하는 코딩] - 파이썬(python) requests 라이브러리 설치(feat.파이참) | 아무것도 모르고 시작하는 코딩 서울시 권역별 실시간 대기환경 현황 API 요청(request) URL : http://openapi.seoul.go.kr:8088/6d4d776b466c656533356a4b4b5872/json/RealtimeCityAir/1/99 위의 주소..