송초딩? 송코딩!!

2025.02.10. [파이썬] 크몽 project_8

37song — Sat, 15 Feb 2025 21:14:11 +0900

에이블리의 판매자 정보를 수집해달라는 문의 !!

지금까지 해온 작업들에 비하면,
별로 어렵지 않은 작업이었다

문제는 생각하고 있는 비용의 차이

다행히, 상대는 쉽게 수긍을 했다

url의 숫자만 늘려가면서 최대한 많은 마켓 정보를 수집하려고 했는데!

문제는 다음..

팔로워 수를 수집하는건 어려운게 아니지만,
에이블리 구조가 좀 이상한게 ㅡㅡ
마켓 페이지에는 좋아요 수가 없고..

상품 페이지의 마켓 정보에 좋아요가 있다는 것;;.. ㅡㅡ
어디를 찾아도 마켓 페이지에는 좋아요가 없었다.. 젠장..

결국,, 상품 페이지에서
마켓 정보와 좋아요 수를 수집한 후, 중복 값 정리를 하면 되는건데 !!

진짜 진짜 문제는 ... 상품페이지가 약 4천만개...

그냥 4천만개 페이지 전부 크롤링 하기로...
그리고, 최종 협의된 비용은 10만원

그렇게 6일 3시부터 크롤링을 시작하여
중간 중간 오류 수정하고, 정리해서.....
대충 10일 오전 쯤?? 끝났다
거의 4일을 꼬박... 고생했다.. 내 컴퓨타.......

아무튼, 지불한 비용 이상으로 만족하게 해주겠다는 약속은 지켰고~

총 17,146개 업체 정보, 전달 완료

https://youtu.be/v3T_Uz1sI8k

2025.02.02. [파이썬] 크몽 project_7

37song — Sun, 2 Feb 2025 19:50:44 +0900

2주 만에 다시 찾아온 손님

2주 전에
내가 생각한 금액은 5만원
손님이 생각한 금액은 2만원

가격 협의 하고 결제 완료 하고 작업을 시작해야 순서가 맞는건데,
처음부터 샘플을 원했고,
어찌어찌하다보니 작업을 시작했다

중간에 html 형식을 바꾸기고 했고
네이버에서 차단하는 바람에 생각보다 시간이 좀 더 걸린 작업..

2만원이면.. 최저시급도 안 나오는 꼴이라
이렇게는 안 되겠다 싶어서 더 이상 진행 하지 않았었다

그렇게 2주가 지나고

그렇게 또 하나의 외주를 끝냈다!!

https://youtu.be/9ZaEgu-3EsE

2025.01.31. [파이썬] 크몽 project_6

37song — Fri, 31 Jan 2025 19:39:52 +0900

2025년 첫 달의 마지막 날, 기분 좋게 마무리 ㅎㅎㅎ

설 연휴, 집에서 뒹굴 거리는데 크몽 알림이 울렸다 ㅎㅎ

원하는 양식까지 완벽 !!

뒤도 안 돌아보시고 바로 결제까지 !!

프로그램 제작까지 의뢰 주셨지만, 실력 좋은 친구에게 토스 ~
친구가 설 연휴에 쉬면서 용돈 벌었으면 했지만.. ㅎㅎㅎㅎ

다음주에 의뢰하기로

https://franchise.ftc.go.kr/mnu/00013/program/userRqst/list.do

이 사이트에서 가맹사업의 정보를 크롤링하고자 하셨는데,
12,364 개 업체를 가져와야 하는 작업이었다.
근데 1개 정보 가져오는데 약 6초....
12,364개 업체 가져오는데, 대략 계산하면 7.2만 초...
7.2만초 = 1200분 = 20시간....

중간 중간 오류날지 몰라서 가끔씩 확인하면서~
게임도 하고,
중증외상센터를 사흘만에 또 보고 ~
다행히 자는 동안 오류는 안 나서 시간 지체는 크게 없었다

코드 짜는데 약 1.5시간
자동화 돌리는데 약 15시간은 걸린듯??
고생했다 내 콤퓨타...............

자동화 돌리는데 2개 업체가 더 생겨서,
그건 직접 적어서 전달 완료 ㅎㅎ

6번째 크몽 완료

https://youtu.be/bizQWEXJHiw

- YouTube

www.youtube.com

자료 출처
https://franchise.ftc.go.kr/mnu/00013/program/userRqst/list.do

2025.01.27. [파이썬] 크몽 project_5

37song — Mon, 27 Jan 2025 21:51:46 +0900

1월 12일
유튜브를 보시고, 블로그를 통해서 찾아와주신 분이다!!
크몽을 통해서 연락을 주 셨는데..

대화하는게 너무나 기분 좋았던 분이었다
항상 나를 존중해주셨고,
응원과 좋은 말씀을 매번 해주셨기에..
나 또한 고마움을 안 느낄 수가 없었던 그런분..

난 항상 인복이 많은 놈이라 생각하고, 그렇게 얘기하는데..
정말 그건 맞는듯 하다 ㅎㅎㅎ

많은 이야기를 나누었고, 이런 저런 많은 기능들을 말씀 하셨다
역시나 이번에도.. 한번도 해보지 못한 것들이 많았는데 ㅋㅋㅋㅋ
열심히 검색하고 수정하면서 작업을 진행했다

그럼에도.. 구현하지 못한 기능들이 몇몇 있었는데,
내 실력 부족으로 불가능 하다고 말씀을 드렸다...
그럴때마다 괜찮다며, 다른 기능들이 너무 좋다며 언제나 응원해주셨던 분..

그래서 더 잘 만들어드리고 싶었고,
더 빠른 시일내로 전달해드리고 싶었다

20~24일 보험사의 교육 때문에 일주일간 코딩을 하지 못했는데
그동안 기다려주셨고, 드디어 오늘.. 마무리해서 결과물을 전달해드렸다

부디 만족하시고, 잘 활용하셨으면 좋다

https://youtu.be/s0P2FRG7I_M

2025.01.14. [파이썬] GUI : 지도 위에 사진 표시 ️

37song — Thu, 16 Jan 2025 00:06:55 +0900

낮에 문득, 은혜를 많이 받았던 친구에게 카톡이

외근할 때, 찍은 사진들이 지도에 표시되는 프로그램이 있으면 좋겠다고 한다
어떤 구역에서 어떤 사진을 찍었는지 지도에 표시하고,
사무실에 복귀해서 pc 작업을 할 때, 참고하기 위해서

기존에 쓰던 프로그램 ‍

처음 이 사진을 보고 든 생각..

내가 이걸 만들 수 있을까?
과연??

그래도 만들어주고 싶었다 !!
어떻게든 해내고 싶었고,
그렇게 파이썬 코딩 시작⌨️⌨️⌨️

사진에는 메타데이터(EXIF : Exchangeable Image File Format)란게 있다

이처럼, 언제 어디서 어떤 기기로 어떤 설정으로 찍은 사진이라는 정보

EXIF

디지털 카메라 등에서 사용되는 이미지 파일 메타데이터 포맷으로, 카메라가 촬영한 사진, 녹음파일에 시간 등의

namu.wiki

사진에서 위치 정보를 뽑아내서 지도에 마킹해야 하는 작업이다

그렇게 3시간의 사투 끝에 완성

1. 드래그 앤 드롭으로 간단하게 사진 추가
2. 사진 추가하면 시간순으로 자동 정렬
3. 새로운 사진 추가하면 다시 사진 순으로 정렬
4. 사진 선택 시, 오른쪽에서 사진 확인 가능 (필요 없는 사진 삭제 위해)
5. 마커 연결 체크 시, 숫자 순서대로 선으로 연결 (다음 번호 찾는 번거로움 제거 위해)

사용하다보면 공유하고, 돌려쓰고 퍼지게 될 테니까
내가 만든거 티 내버리기 !!

① 아이콘과 윈도우 창 이름 변경
② 저거 누르면 개인 페이지로 연결 ㅎㅎ https://url.kr/37ss

작업시간 : 약 3시간

2025.01.10. [파이썬] 구글 스프레드 시트 자동화

37song — Thu, 16 Jan 2025 00:05:06 +0900

스포츠 배당 분석을 하시는 크몽의 첫 의뢰인 !!
(경기 분석하여 베트맨에서 픽을 추천해주는 픽스터로 활동 중)

연습도 할겸 해서,
파이썬 streamlit 을 이용해서 페이지 하나를 만들어드렸다!!

이 페이지는 구글 스프레드 시트에 연결해놨고,
구글 시트에서 정보를 가져와서 보여지도록 만들어둔 것

기존에는 엑셀을 이용하여,
이런 식으로 일일이 수작업으로 정보를 업데이트 했어야했다...
맙소사

물론 정보를 가져오는 쿼리를 만들어서 사용하고 있었지만,
매일 또는 일주일에 최소 두세번은 직접 쿼리를 실행했어야 했다

그래서 구글 시트를 이용해서 자동으로 정보를 업데이트 하도록 구상했고,
얼마 전 오류 없이, 생각했던 모든 것들을 구현 해냈다

구글시트의 가장 큰 단점 중 하나는, 1천 만 셀의 제한이 있다는 것..
(엑셀은 수백 만 행 이상의 데이터 처리 가능)

관건은 나중에 데이터 많이 쌓였을 때, 어떻게 처리하느냐... 고민거리로 남았다..
뭐 아무튼 !!

기존에 있던 데이터와 중복 되면 안 되게 해야하기 때문에,
마지막 행 30개와 비교를 하도록 했다

경기 일시, 홈팀, 원정팀, 총점 : 총 4개의 데이터를 비교하여
중복되는 데이터는 건너 뛰고
중복되지 않은 데이터만 차례대로 업데이트

경기결과는,
회차별로 자동으로 넘어가는 페이지에서 데이터를 가져오도록 했는데..
보니까 회차별로 넘어가는 시간대가 주로 낮이더라..
그래서 낮에만 1시간 단위로 업데이트 하도록 설정 해놨다

10분 내외로 계속 업데이트 하면 좋으련만........

무료 계정의 경우 앱스스크립트 하루 제한이 6분 이내...
농구, 축구 두개를 각각 실행하는 경우 약 10여초
어쩔 수 없이. 15~24시 사이에 1시간 단위로 업데이트 하도록 설정

진짜,,,
구현하기 위해 오래 걸렸던 프로젝트
그만큼, 성취감이 뿜뿜

이렇게 구글시트를 자동화 하면서
일상의 귀찮음을 하나 또 덜어냈다 힣힣

2025.01.10. [파이썬] 네이버부동산 단지 정보 수집 프로그램

37song — Thu, 16 Jan 2025 00:04:27 +0900

네이버 부동산
지도 움직임에 따라

2.0 어쩌고 요청 url 이 생기는 것을 확인
저 url 에 단지 정보가 있다는것도 추가 확인

api 정리하고, 피티형 들들 볶아서 코드 작성 시작
지도를 움직이면서 나온 2.0 어쩌고 중에, 가장 마지막에 있는 요청 url을 가져오도록 코드 작성
그 이유는, 마지막 요청 url 이 현재 보고 있는 화면이고
그 화면에 떠 있는 단지들의 정보를 수집하기 위해

마지막 요청 url 잘 가져왔고~
그 안에 데이터 잘 수집 됐고~

그렇게 데이터프레임 완성 후, 엑셀로 저장하는 프로그램 제작

작업시간은.. 약 5시간 걸린듯??
수정하고 ~ 또 수정하고 ~

지도 움직이면서, 엑셀 저장 반복하기 위해
프로그램은 항상 위 표시하도록 설정

파일명은 중복인 경우 덮어 쓰는데,
이 또한 엑셀 저장 반복을 위해 파일명 지정 안 하면, '날짜_시간' 으로 저장되도록 설정

작업시간.. 약 5시간

[ 수집 정보 ]
'단지명', '부동산유형', '준공년월', '총 동수', '총 세대수', '용적률', '최소 전용면적', '최대 전용면적', '총 매물수', '매매 매물수', '최소 매매가', '최대 매매가', '전세 매물수', '최소 전세가', '최대 전세가', '월세 매물수', '최소 월세가', '최대 월세가'

2025.01.07. [파이썬] 크몽 project_3

37song — Thu, 16 Jan 2025 00:03:53 +0900

1일은 빨간날이니까 빼고, 새해의 첫 업무 날

https://m.naver.com/shorts/search/tag/?query=%EA%B4%91%EA%B3%A0
https://m.naver.com/shorts/search/tag/?query=%ED%98%91%EC%B0%AC

네이버 클립의 각 태그의 검색 결과의 정보를 크롤링 하고자 하는 문의가 들어왔다
각 클립의 영상은 만개 단위였지만, 각 링크에 나오는건 각 999개씩..

각 999개 영상에 대한
블로그 주소, 영상 평균 조회수, 이메일 등을 수집하는 프로젝트이다.

해당 결과물은 '협찬', '광고' 태그 2개의 영상 정보를 수집하고, 20만원에 하기로 했었다.
상담을 진행하는데, 1회성이 아니라 계속 사용할 수 있는 프로그램을 만드는게 좋겠다 판단했고,
프로그램 제작에 대해 제안을 드렸다.
물론, 결과물에 대해 만족했을 때, 생각해보라고.....

다음날 아침, 프로그램으로 만드는게 좋을거 같다고 해서..
총 30만원을 제안 했고, 대표님이 결정했다고 했다..

▼ 그렇게 만든 프로그램

추가로.....
의뢰를 했던 사람은 하루에 약 300개의 메일을 보내야 한다고 한다....

각 메일의 제목과 내용에서 닉네임을 변경하고, 사진을 첨부해서 메일을 보내야 하는....
300개의 메일을.. 하루종일 보내야하는.. 기계 같은 업무를 반복하고 있는 상황.....
그래서 내가 그 부분을 해결해주고 싶었다..

사실, 돈 받는것도 아니고. 굳이 해야하는것도 아닌데..
이 놈의 정이 뭔지..........
왜 이렇게 도전정신이 솟구쳤는지... ㅋㅋㅋㅋㅋ 휴
그렇게.... 아무튼!! 완벽하진 않지만,, 수신자가 gmail 일 경우.. 사진 엑박

그래도 어느정도 구현했고, 만족해하길래~
나에게는 뿌듯한 프로젝트였다

▼ 메일 자동화 영상

2025.01.01. [파이썬] Streamlit : 팀 전적 조회

37song — Thu, 16 Jan 2025 00:02:43 +0900

이틀 동안 streamlit 을 통한 프로젝트 하나를 마무리 지었다!!!!! 으아!!!
https://song37match.streamlit.app/
지금 당장의 링크는 이것.. 언제 바뀔지 모른다

2017년부터 쌓아온 약 2.5만 행의 엑셀데이터를,
구글 스프레드시트에 업로드 하고, 필요한 것들만 정제했다!!
전달받은 엑셀 파일이 28일까지라......
데이터는 지속적으로 업데이트할 예정

이것은 사이드바,
원하는 경기 구성을 고르면 본문에 결과가 나온다!!

아직 축구 밖에 안 된다...
축구 중에 리그를 고르고,
그 리그에 속한 팀을 선택하고, 원하는 데이터를 선택하면 끝!!

먼저 두 팀의 상대 전적
홈 원정 상관 없이, 두팀의 최근 5경기를 가져오고,
승리팀에는 파란색 강조 (영상에는 노란색,, 노란색이 흰바탕에서 잘 안보여서 변경)
무승부일 경우 vs 에 초록색으로 강조

다음은 홈팀의 홈 성적, 원정팀의 원정 성적, 최근 5경기를 나타낸 표
홈팀은 빨간색으로 강조,
원정팀은 하늘색으로 강조,

상대전적과 같이, 무승부는 초록색으로 vs 강조,
이긴 팀의 득점을 파란색으로 강조 (영상에는 노란색)

마지막으로 각 팀의 최근 5경기 골득실 그래프
팀의 분위기를 분석하는데 가장 중요한 지표 중 하나인 골득실!

홈, 원정 상관 없이.. 최근 5경기의 득점과 실점을 각각 나타내며,

'득점 - 실점' 의 값이
양수이면 '승',
0이면 '무',
음수이면 '패'
표시되도록 설정 했다, 오른쪽이 가장 최근 경기!!

어제, 오늘 합쳐서 작업시간은 약 10시간 정도?
구글 스프레드시트를 정리하는데도 꽤나 시간이 걸려버렸던......

gpt의 도움이 없었다면 절대 불가능 했을 프로젝트....
이제 gpt와 이별은..... 절대 있을수 없다

그래도 gpt 덕분에, 크게 스트레스 받지 않고 파이썬을 즐기고 있는 중 ~!!!
너무나 재밌고 신나는 코딩의 세계

2024.12.28. [파이썬] Streamlit 첫 구현

37song — Thu, 16 Jan 2025 00:01:32 +0900

열흘 전 외주를 받았던 크몽 첫 프로젝트!
프로그램을 만들어달라고 했던 외주였다

프로그램을 만들 수 있는데,
모바일로도 가능한지 물었다!!

하지만, 불가능......
배운적도, 해본적도 없고,
할줄도 모르기에..

크리스마스...
https://cafe.naver.com/startcodingofficial/1540

이거 너무 참신한데...? 파이썬으로 5분만에 웹사이트 뚝딱 만드는 법

메리 크리스마스! 자 여러분들을 위해서 조그만 선물을 하나 가지고 왔는데요 지금 소개해드리는 라이브러리를 이용하면 파이썬만으로 5분만에 웹사이트 하나를 뚝딱 만들 수 있습니다...

cafe.naver.com

선생님의 참신한 크리스마스 선물이 공지로 올라왔고,
그냥 한번 본게 전부다..
내가 웹으로 할게 뭐 있겠어?? 하고..

그러다 지난 저녁 문득 생각이 난 것이다!!
모바일로 구동하고 싶어했던 그 분 !!!

웹으로 만드는 것도 만드는거지만,
배포가 가능해야 했기에, 유튜브랑 지피티 통해서 배포가 가능한지,
또 배포 방법을 공부했다!
별거 아니더만 ?? ㅎㅎㅎ

그래서 기존의 코드를 가지고 만지작 만지작
1시간 반? 정도??
어렵지 않게 웹사이트에 구현해냈고, 모바일로도 조회가 가능했다!

음~ 생각해보면,
GUI 보다 더 쉽게 만든 듯!!

이제는 사이트 주소만 알고 있고,
언제 어디서든, 인터넷만 가능하다면 얼마든 조회가 가능하다!!!!!
신난다

https://cafe.naver.com/startcodingofficial/1555

streamlit................. 미친거 같습니다ㅏㅏㅏㅏㅏㅏ 진짜...

안녕하세요 !!! 크리스마스 선물로, 선생님께서 streamlit 을 소개해주셨죠!!!! ㅋㅋㅋㅋ https://cafe.naver.com/startcodingo...

cafe.naver.com