반응형 Playwright Python1 Playwright Python 무한 스크롤 크롤링 예제: 동적 페이지 데이터 수집 실전 가이드 requests로는 왜 무한 스크롤 데이터가 안 보일까?Python으로 크롤링을 처음 시작하면 보통 requests로 HTML을 가져오고, BeautifulSoup으로 원하는 태그를 찾습니다. 정적인 HTML 페이지라면 이 방식이 가장 단순하고 빠릅니다. 그런데 요즘 많은 웹사이트는 처음부터 모든 데이터를 HTML에 넣어 내려주지 않습니다. 화면이 열린 뒤 JavaScript가 API를 호출하고, 사용자가 스크롤을 내릴 때마다 새 데이터를 추가하는 방식으로 동작합니다.이런 페이지에서 requests.get()으로 HTML을 확인하면 .item, .title, .price 같은 요소가 보이지 않을 수 있습니다. 이는 Python 코드가 잘못된 것이 아니라, 브라우저에서 JavaScript가 실행된 뒤에야 .. 2026. 6. 16. 이전 1 다음 반응형
