파이썬 코딩
2025.02.10. [파이썬] 크몽 project_8
37song
2025. 2. 15. 21:14
에이블리의 판매자 정보를 수집해달라는 문의 !!
지금까지 해온 작업들에 비하면,
별로 어렵지 않은 작업이었다
문제는 생각하고 있는 비용의 차이
다행히, 상대는 쉽게 수긍을 했다
url의 숫자만 늘려가면서 최대한 많은 마켓 정보를 수집하려고 했는데!
문제는 다음..
팔로워 수를 수집하는건 어려운게 아니지만,
에이블리 구조가 좀 이상한게 ㅡㅡ
마켓 페이지에는 좋아요 수가 없고..
상품 페이지의 마켓 정보에 좋아요가 있다는 것;;.. ㅡㅡ
어디를 찾아도 마켓 페이지에는 좋아요가 없었다.. 젠장..
결국,, 상품 페이지에서
마켓 정보와 좋아요 수를 수집한 후, 중복 값 정리를 하면 되는건데 !!
진짜 진짜 문제는 ... 상품페이지가 약 4천만개... 😱😱😱
그냥 4천만개 페이지 전부 크롤링 하기로...
그리고, 최종 협의된 비용은 10만원
그렇게 6일 3시부터 크롤링을 시작하여
중간 중간 오류 수정하고, 정리해서.....
대충 10일 오전 쯤?? 끝났다
거의 4일을 꼬박... 고생했다.. 내 컴퓨타.......😞😞
아무튼, 지불한 비용 이상으로 만족하게 해주겠다는 약속은 지켰고~
총 17,146개 업체 정보, 전달 완료 🫡