lightnsolt 님의 블로그

한 줄 요약 — 크롤링의 개념과 웹 동작 원리, HTML/CSS 구조를 이해하고, Python의 requests와 BeautifulSoup으로 멜론차트 TOP100을 수집하는 정적 크롤링 전 과정을 정리한다.목차Part 1. 웹 크롤링 개요와 유의사항Part 2. 웹 동작 원리 — 클라이언트·서버·HTTP·URLPart 3. HTML과 CSS 구조, 그리고 선택자Part 4. Python 정적 크롤링 실습 — requests + BeautifulSoup핵심 요약참고Part 1. 웹 크롤링 개요와 유의사항웹 크롤링이란웹 크롤링(Web Crawling)은 자동화된 방식으로 웹사이트에 접근해 원하는 정보만 추출하는 기법이다. 웹 페이지를 탐색하며 데이터를 수집한다는 점에서 웹 스크래핑(Web Scraping)..

한 줄 요약 · Selenium 동적 크롤링에서 끝을 모르는 반복(더보기 버튼)을 안전하게 종료하는 방법, 페이지 이동 후 발생하는 StaleElement 문제를 요소 재탐색으로 해결하는 패턴, 그리고 get_attribute("disabled")로 구매 가능 사이즈를 분리하는 실무 기법까지 한솥도시락과 뉴발란스 두 사이트로 정리한다.목차Part 1. 한솥도시락 메뉴·가격 수집 자동화1-1. 동적 크롤링을 위한 브라우저 준비1-2. 요소 수집과 find_elements의 반환 자료형1-3. 선택자 정교화: 같은 태그를 공유하는 텍스트 분리1-4. 더보기 버튼 반복 클릭과 종료 처리(while + try/except)1-5. 데이터 정리: zip과 DataFramePart 2. 뉴발란스 상품 상세정보 크롤..