웹크롤링2 Selenium Playwright 비교 크롤러 (헤드리스, Selenium, 동적)이전 글에서 BeautifulSoup로 정적 HTML을 파싱하는 흐름까지 다뤘다면, 이번 글은 그 다음 단계인 동적 페이지 크롤링이다. 현대 웹 페이지의 대다수가 자바스크립트로 콘텐츠를 사후 렌더링하기 때문에, requests로 받아 온 HTML에는 정작 사람이 보는 데이터가 빠져 있는 경우가 흔하다. 이 문제를 해결하는 표준 방법이 실제 브라우저를 띄워 자바스크립트를 실행한 뒤 결과 DOM을 읽는 브라우저 자동화이며, 대표 도구가 Selenium과 Playwright다. 본 글은 두 도구의 차이와 헤드리스 모드 활용을 정보처리기사 시험 범위 밖의 실전 입문 관점에서 정리한다(출처: Playwright 공식 문서). 제가 처음 학교 공지 사이트를 크롤링하면서 B.. 2026. 5. 12. BeautifulSoup 입문 크롤링 입문 (Python, HTML, 파싱)웹 크롤링은 신입 개발자가 가장 빠르게 결과를 손에 잡는 분야 가운데 하나다. 회의록 자동 수집·뉴스 모니터링·가격 비교·논문 메타데이터 정리처럼 일상 업무 곳곳에 활용할 수 있고, 입문 단계의 도구가 워낙 잘 정돈되어 있어 한 시간이면 첫 결과물을 만들 수 있다. 본 글은 파이썬 기반 크롤링의 가장 표준 입문 도구인 requests와 BeautifulSoup를 중심으로, HTML 파싱의 기본 원리부터 robots.txt 같은 법적 주의사항까지 한 번에 정리한다(출처: BeautifulSoup 공식 문서). 제가 학교 동아리 행사에서 처음 BS4로 행사 페이지를 긁어 보면서 가장 충격이었던 게 30줄 안에 결과가 떨어지는 일이었고, 그 후로는 "크롤링은 거창한.. 2026. 5. 12. 이전 1 다음