🥕 당근마켓 업체 정보 자동 추출 프로그램 🥕
안녕하세요! 이 프로그램을 사용해주셔서 감사합니다.
이 프로그램은 당근마켓 웹사이트에서 특정 지역의 업체 정보를 자동으로 검색하고 전화번호를 추출하여 엑셀(Excel) 및 JSON 파일로 저장해주는 편리한 도구입니다.
복잡한 과정 없이 몇 번의 클릭만으로 원하는 지역의 업체 정보를 손쉽게 얻을 수 있습니다. 마케팅, 영업, 시장 조사 등 다양한 목적으로 활용해보세요!
📁 프로그램 구성 파일 설명 📁
⚠️ 중요: 프로그램을 정상적으로 사용하기 위해서는 아래 설명된 파일들 중 일부는 삭제하시면 안 됩니다. 실수로 중요한 파일을 삭제하지 않도록 주의해주세요!
- 당근마켓스크래퍼.exe:
- 이것이 바로 여러분이 실행할 프로그램입니다! 😊
- 사용자 친화적인 그래픽 인터페이스(GUI)를 통해 쉽고 편리하게 프로그램 기능을 이용할 수 있도록 만들어졌습니다.
- 이 파일 하나만 실행하면 모든 기능을 사용할 수 있습니다. (이 파일은 삭제하면 프로그램이 실행되지 않습니다.)
- proxy.txt (선택 사항):
- 프로그램이 더 안정적으로 많은 정보를 가져올 수 있도록 도와주는 프록시 서버 목록 파일입니다.
- 프록시 서버는 여러분의 인터넷 연결을 다른 IP 주소로 잠시 바꾸어주는 역할을 해서, 당근마켓 사이트로부터 접속이 차단될 위험을 줄여줍니다.
- 이 파일이 없어도 프로그램은 작동하지만, 많은 양의 정보를 한 번에 가져오거나 자주 사용할 경우에는
proxy.txt 파일을 사용하는 것이 좋습니다. - 파일 안에는
IP주소:포트번호 형식으로 프록시 서버 정보를 한 줄에 하나씩 입력합니다. (예: 192.168.1.100:8080) - 프록시 서버 정보는 별도로 구하셔야 합니다. (https://youtu.be/ji58jaYjaeg)
- (이 파일은 선택 사항이며 삭제해도 프로그램은 실행됩니다.)
- recent_region_codes.json:
- 여러분이 최근에 검색했던 지역 코드를 저장하는 파일입니다.
- 프로그램을 껐다가 다시 켜도 이전에 검색했던 지역 코드가 남아있어서 편리하게 다시 사용할 수 있습니다.
- 이 파일은 프로그램이 자동으로 생성하고 관리하므로, 직접 수정할 필요는 없습니다. (이 파일을 삭제하면 최근 검색 기록이 초기화되지만, 프로그램 실행 자체에는 문제는 없습니다.)
- [지역코드]-추출데이터.xlsx (결과 파일):
- 프로그램이 수집한 업체 정보가 저장되는 엑셀 파일입니다.
- 파일 이름 앞부분에는 여러분이 검색한 지역의 코드가 표시됩니다. (예:
역삼동-6035-추출데이터.xlsx) - 엑셀 프로그램으로 열어서 내용을 확인하고 편집할 수 있습니다. (이 파일들은 작업 결과이므로 필요에 따라 이동하거나 삭제하셔도 됩니다.)
- [지역코드]-추출데이터.json (결과 파일):
- 프로그램이 수집한 업체 정보가 저장되는 JSON 파일입니다. (개발자용 또는 다른 프로그램과 연동 시 유용)
- 엑셀 파일과 동일한 내용이 저장되며, 주로 데이터를 다른 시스템으로 옮기거나 프로그래밍적으로 처리할 때 사용됩니다. 일반 사용자는 엑셀 파일을 주로 사용하게 됩니다. (이 파일들은 작업 결과이므로 필요에 따라 이동하거나 삭제하셔도 됩니다.)
- _internal 폴더
- 절대 지우지 마세요!
- 프로그램의 핵심 요소입니다.
🚀 프로그램 실행 및 사용법 🚀
1. 프로그램 실행 전 준비 사항 (권장):
- 안정적인 정보 수집을 위해
proxy.txt 파일을 준비합니다. (선택 사항이지만 권장) - 메모장과 같은 텍스트 편집기를 열어
proxy.txt 라는 이름으로 파일을 만듭니다. - 파일 안에 프록시 서버 정보를
IP주소:포트번호 형식으로 한 줄에 하나씩 입력하고 저장합니다. - 이
proxy.txt 파일을 당근마켓스크래퍼.exe 프로그램과 같은 폴더에 넣어주세요. - (최초 실행 시) 프로그램이 필요한 추가 파일을 다운로드할 수 있도록 인터넷 연결을 확인해주세요. (ChromeDriver 자동 설치 관련)
2. 프로그램 실행:
당근마켓스크래퍼.exe 파일을 더블 클릭하거나, 파이썬 실행 환경에서 실행합니다.- 잠시 후 프로그램 창이 나타납니다.
3. 사용 방법:
- [1단계: 기본 정보 추출] 탭:
- 1. 지역 코드 입력:
- 정보를 추출하고 싶은 지역의 코드를 입력합니다. (예:
역삼동-6035) - 지역 코드를 모를 경우: 당근마켓 웹사이트에서 원하는 지역으로 이동한 후, 웹브라우저 주소창의 URL을 확인해보세요. 보통 URL 끝부분에
...&state=지역코드 와 같은 형태로 포함되어 있습니다. 또는, 주소창 URL에 in= 뒤에 있는 값을 확인해보세요. (예: https://www.daangn.com/kr/local-profile/?in=역삼동-6035) - 최근에 사용한 지역 코드가 있다면, "최근 지역 코드" 드롭다운 목록에서 선택할 수도 있습니다.
- 2. (선택 사항) 프록시 파일 지정:
- 만약
proxy.txt 파일의 이름이나 위치를 다르게 하고 싶다면, "2단계" 탭으로 이동하여 "프록시 파일" 입력란 옆의 "찾아보기" 버튼을 눌러 해당 파일을 직접 선택해주세요. (보통은 당근마켓스크래퍼.exe 와 같은 폴더에 proxy.txt 로 두면 자동으로 인식합니다.) - 3. 추출 시작:
- "1단계 시작" 버튼: 해당 지역의 기본적인 업체 목록(이름, 주소, 당근마켓 내 상세 페이지 URL)을 먼저 추출하여
[지역코드]-추출데이터.xlsx 및 .json 파일로 저장합니다. (전화번호는 아직 비어있음) - "2단계 시작" 버튼: (주의! 1단계가 먼저 실행되어 파일이 있어야 함) 1단계에서 저장된 파일에 있는 업체들의 상세 페이지에 접속하여 전화번호(안심번호 포함) 정보를 추가로 가져와 기존 파일에 덮어씁니다. 프록시 사용을 권장합니다.
- "1, 2단계 동시 실행" 버튼: 1단계와 2단계를 순차적으로 모두 실행합니다. 가장 간편하게 모든 정보를 얻는 방법입니다. 프록시 사용을 권장합니다. (사용법 : https://youtu.be/ji58jaYjaeg)
- 4. 작업 중지 버튼:
- 정보 추출 작업이 너무 오래 걸리거나 중간에 멈추고 싶을 때 "작업 중지" 버튼을 누르면 진행 중인 작업을 안전하게 중단하려고 시도합니다.
- [2단계: 상세 정보 추가] 탭: (주로 "1, 2단계 동시 실행"을 사용하면 이 탭을 직접 사용할 일은 적습니다)
- 1. 프록시 파일 확인/지정:
proxy.txt 파일 경로를 확인하거나, "찾아보기" 버튼으로 다른 프록시 파일을 선택할 수 있습니다.- 2. 실행:
- "2단계 시작" 버튼을 누르면, 현재 [1단계] 탭에 입력된 지역 코드에 해당하는 1단계 결과 파일(
[지역코드]-추출데이터.json)을 찾아 전화번호 정보를 추가로 수집하고 덮어씁니다. - 로그 창:
- * 프로그램 창 하단에는 작업 진행 상황이나 오류 메시지가 표시됩니다. 작업이 잘 되고 있는지, 혹은 문제가 발생했는지 확인할 수 있습니다.
4. 결과 확인:
- 작업이 완료되면 프로그램 창에 완료 메시지와 함께 결과 파일의 전체 경로가 표시됩니다.
당근마켓스크래퍼.exe 파일이 있는 폴더(또는 프로그램이 실행된 위치)에 [지역코드]-추출데이터.xlsx 파일이 생성되었는지 확인합니다.- 엑셀 파일을 열어 추출된 업체 정보를 확인합니다.
💡 유용한 팁 💡
- 정보 수집 시간: 지역의 업체 수나 네트워크 상태, 프록시 서버 상태에 따라 정보 수집 시간이 달라질 수 있습니다. 많은 정보를 가져올 때는 시간이 다소 걸릴 수 있으니 참고 기다려주세요.
- 프록시 사용의 중요성: 특히 2단계(상세 정보 추가) 작업이나 "1, 2단계 동시 실행" 시에는 많은 페이지에 접속하게 됩니다. 이때 프록시를 사용하지 않으면 IP가 차단되어 정보를 제대로 가져오지 못할 수 있습니다. 가급적
proxy.txt 파일을 준비하여 사용하시는 것을 강력히 권장합니다. - 오류 발생 시: 로그 창의 메시지를 확인해보세요. "ChromeDriver" 관련 오류가 발생하면 인터넷 연결을 확인하거나, 프로그램 폴더 내에
chromedriver.exe 파일이 올바르게 있는지 (또는 PATH 설정이 되어 있는지) 확인해야 할 수 있습니다. (보통은 프로그램이 자동으로 처리하려고 시도합니다.) "삭제된 페이지 접근 중" 또는 HTTP 오류 등이 자주 발생하면 프록시 서버 문제이거나 당근마켓의 정책 변경일 수 있습니다. - 지역 코드: 정확한 지역 코드를 입력해야 원하는 결과를 얻을 수 있습니다.
❓ 자주 묻는 질문 (FAQ) ❓
Q: 프로그램 실행 시 "오류" 창이 떠요. / 로그에 "ChromeDriver" 관련 메시지가 나와요.
A: 인터넷이 연결되어 있는지 확인해주세요. 프로그램이 처음 실행될 때, 또는 가끔 웹 브라우저를 제어하는 데 필요한 'ChromeDriver'라는 작은 프로그램을 자동으로 다운로드하고 설정하려고 합니다. 방화벽이나 백신 프로그램이 이 과정을 막고 있을 수도 있습니다. 잠시 해제 후 시도해보거나, 수동으로 ChromeDriver를 설치하고 당근마켓스크래퍼.exe가 있는 폴더에 chromedriver.exe를 넣어주시는 방법도 있습니다 (이 경우 고급 사용자를 위한 안내가 필요할 수 있습니다).
Q: 정보가 하나도 안 나와요. / 엑셀 파일은 만들어졌는데 내용이 비어있어요.
A:
1. 입력하신 지역 코드가 정확한지 다시 한번 확인해주세요.
2. 해당 지역에 당근마켓 비즈 프로필에 등록된 업체가 없을 수도 있습니다.
3. 프록시를 사용하지 않고 많은 요청을 보내 IP가 일시적으로 차단되었을 수 있습니다. 잠시 후 프록시를 사용하여 다시 시도해보세요.
4. 로그 창에 특별한 오류 메시지가 없는지 확인해주세요.
Q: "작업 중지" 버튼을 눌렀는데 바로 멈추지 않아요.
A: "작업 중지"는 현재 진행 중인 작은 단위의 작업(예: 한 업체의 정보 가져오기)이 완료된 후에 멈추도록 설계되어 있습니다. 즉시 반응하지 않더라도 잠시 기다려주시면 대부분의 경우 안전하게 중단됩니다.
Q: 추출된 전화번호가 "안심번호"인가요, 아니면 실제 번호인가요?
A: 당근마켓에서 제공하는 번호를 가져옵니다. 여기에는 실제 전화번호 또는 050X로 시작하는 안심번호가 포함될 수 있습니다. 프로그램은 phone (실제 번호 칸)과 safeNumber (안심번호 칸) 두 가지 정보를 모두 수집하려고 시도하며, 있는 정보를 저장합니다.
⚠️ 주의사항 ⚠️
- 본 프로그램은 웹 스크래핑 기술을 사용합니다. 웹사이트의 구조가 변경되거나 정책이 바뀌면 프로그램이 정상적으로 작동하지 않을 수 있습니다.
- 과도한 데이터 수집은 대상 웹사이트에 부하를 줄 수 있으며, 계정 정지 등의 불이익을 받을 수 있습니다. 책임감 있게 사용해주시기 바랍니다.
- 본 프로그램을 불법적인 용도로 사용하는 것을 금지하며, 사용으로 인해 발생하는 모든 법적 책임은 사용자 본인에게 있습니다.
이용해주셔서 다시 한번 감사드립니다! 😊