본문 바로가기

BeautifulSoup2

노마드코더 python 웹 스크래퍼 만들기 - 3 indeed 홈페이지 스크래퍼 만들기 https://kr.indeed.com/ indeed 홈페이지 상에서 봇이 크롤링하면 막아뒀기 때문에(403 error) 읽어올 수가 없다. Selenium 을 사용한 우회 봇이라서 크롤링을 막아뒀다면 봇이 아닌 브라우저라고 우회하여 읽어오게 해준다. 이를 위한 Selenium 을 사용해본다 https://www.selenium.dev/ Selenium Selenium automates browsers. That's it! www.selenium.dev 브라우저의 자동화를 가능하게 해준다. pip install selenium pip install webdriver_manager 드라이버와 셀레니움을 설치해준다. 강의의 덧글을 참고하여 사용법을 알아 보았다... 나는.. 2023. 6. 16.
노마드코더 python 웹스크래퍼 만들기 - 2 Python의 자료구조 Tuple list 와 유사하지만 ( ) 로 값을 나열 불변성을 가지므로 튜플은 넣어준 값을 변경할 수 없다는 특징을 가짐 -> 그래서 값을 변경시켜주는 메서드들이 존재 하지 않음 .count() .index() 값에 접근하려면 [ ] 안에 인덱스로 접근해준다. 여기서, 음수값의 인덱스가 들어가면 거꾸로 접근이 가능하다 !! Dictionary { } 안에 키와 값으로 써주며 구분자는 , 이다. .get(키) : 키에 해당하는 값을 리턴 .clear() .pop(키) : 키에 해당하는 키와 값을 제거 딕셔너리[키] = 값 으로 원하는 키와 값을 추가 가능 For 반복문 for each in 리스트혹은튜플: // 반복할 내용 for~in 반복문으로 각각의 요소를 전부 돌 수 있음 반.. 2023. 6. 15.