본문 바로가기

분류 전체보기321

NoSQL, Cassandra 란? 자유 오픈 소스 분산형 NoSQL 데이터베이스 관리 시스템 중 하나 단일 장애 없이 고성능을 제공하면서 수많은 서버 간의 대용량의 데이터를 관리하기 위한 설계 Big Table 과 Dynamo 의 특징을 합쳐놓았다. 디스코드에서 데이터베이스 마이그레이션을 했다는 컬럼을 읽고 카산드라가 무얼까 간단하게 정리해봤다. 카산드라는 SQL 과 비슷한 Cassandra Qeury Language(CQL) 를 이용한다. 여러 개의 데이터베이스가 복제 짧은 지연시간 온라인 부하 분산 분할된 키 지향 쿼리 유연한 스키마 프로세스가 추가될 때마다 선형 처리량 증가 등의 특징이 있다. 카산드라의 장점에는 분산화와 집중화 카산드라는 단일 노드로 동작하지만 분산형이므로 여러 머신에서 동작한다. 다만 사용자에게 하나로 보일 뿐이.. 2023. 6. 17.
노마드코더 python 웹 스크래퍼 만들기 - 3 indeed 홈페이지 스크래퍼 만들기 https://kr.indeed.com/ indeed 홈페이지 상에서 봇이 크롤링하면 막아뒀기 때문에(403 error) 읽어올 수가 없다. Selenium 을 사용한 우회 봇이라서 크롤링을 막아뒀다면 봇이 아닌 브라우저라고 우회하여 읽어오게 해준다. 이를 위한 Selenium 을 사용해본다 https://www.selenium.dev/ Selenium Selenium automates browsers. That's it! www.selenium.dev 브라우저의 자동화를 가능하게 해준다. pip install selenium pip install webdriver_manager 드라이버와 셀레니움을 설치해준다. 강의의 덧글을 참고하여 사용법을 알아 보았다... 나는.. 2023. 6. 16.
노마드코더 python 웹스크래퍼 만들기 - 2 Python의 자료구조 Tuple list 와 유사하지만 ( ) 로 값을 나열 불변성을 가지므로 튜플은 넣어준 값을 변경할 수 없다는 특징을 가짐 -> 그래서 값을 변경시켜주는 메서드들이 존재 하지 않음 .count() .index() 값에 접근하려면 [ ] 안에 인덱스로 접근해준다. 여기서, 음수값의 인덱스가 들어가면 거꾸로 접근이 가능하다 !! Dictionary { } 안에 키와 값으로 써주며 구분자는 , 이다. .get(키) : 키에 해당하는 값을 리턴 .clear() .pop(키) : 키에 해당하는 키와 값을 제거 딕셔너리[키] = 값 으로 원하는 키와 값을 추가 가능 For 반복문 for each in 리스트혹은튜플: // 반복할 내용 for~in 반복문으로 각각의 요소를 전부 돌 수 있음 반.. 2023. 6. 15.
노마드코더 python 웹 스크래퍼 만들기 - 1 https://replit.com/ Replit: the collaborative browser based IDE Run code live in your browser. Write and run code in 50+ languages online with Replit, a powerful IDE, compiler, & interpreter. replit.com 위의 온라인 에디터에서 강의는 진행되지만 나는 역시 VSCode 가 편한 것 같다. Python, Python extended, Python Type Hint 확장 프로그램을 깔아주었다. 실행해줄 땐 파이썬 터미널로 실행을 해주었다. 앞 내용은 기본적인 내용이라.. 가볍게 지나갔다. 기본적으로 파이썬 확장자는 .py 이다. 한줄 주석은 # 으로 처.. 2023. 6. 14.

티스토리툴바