코드가 있거나 없는 상태에서 Etsy에서 스크래핑하는 방법은?

Etsy는 수공예품, 빈티지 아이템, 장인 공예품을 판매하는 사이트입니다. 거의 모든5억매월 방문자 수가 5억 명입니다. 이는 사업을 성장시키고자 하는 판매자에게 매우 수익성이 좋은 시장입니다.

잘 팔리는 상품을 파악하고, 최신 트렌드를 따르고, 경쟁자를 분석하는 것은 사업을 성장시키는 데 꼭 필요한 요소입니다.

하지만, 수백만 개의 Etsy 제품 목록을 수동으로 조사하는 것은 너무 많은 작업이며, 불가능하지는 않습니다.

그때 Etsy 데이터를 스크래핑해야 합니다. 그렇게 하면 귀중한 Etsy 데이터를 체계적으로 정리된 형태로 많이 얻을 수 있고, 시간과 노력도 절약할 수 있습니다.

이 가이드는 바로 그 내용을 담고 있습니다. 코드가 필요 없는 Etsy 스크래퍼와 Python을 사용하여 Etsy에서 데이터를 스크래핑하는 방법을 알려드립니다. 따라서 코딩 경험이 있든 없든 이 가이드는 유용할 것입니다.

Etsy에서 데이터를 스크래핑하는 두 가지 방법

아래는 Etsy에서 스크래핑하는 두 가지 방법입니다. 첫 번째 방법은 코드가 없는 Etsy 스크래퍼를 사용하며 sp;help 비코더를 위한 반면, 두 번째 방법은 Python을 사용합니다. 그러므로 자신의 기술 세트에 따라서 두 방법 중 선택 하세요.

즉시 사용 가능한 Etsy 스크래퍼 사용하기

과거에는 스크래핑이 코더의 유일한 업무였습니다. 하지만, 노코드 스크래핑 도구가 등장하면서 최소한의 컴퓨팅 지식만 있어도 누구나 웹 스크래핑에 접근할 수 있게 되었습니다.

오늘은 Octoparse라는 노코드 도구를 사용하여 Etsy에서 데이터를 스크래핑해 보겠습니다. 자, 그럼 단계별 튜토리얼을 시작해 볼까요?

1단계: Octoparse 다운로드 및 설치

Octoparse를 방문하세요Octoparse 웹사이트도구를 다운로드하세요. 다운로드가 완료되면 제공된 간단한 단계에 따라 컴퓨터에 설치하세요.

이제 Octoparse를 실행하고 새 계정을 만들거나, 이미 Google 또는 Microsoft 계정이 있다면 해당 계정을 사용하여 로그인하세요.

Octoparse를 사용하면 Etsy 데이터를 스크래핑하는 데 두 가지 옵션이 있습니다. 미리 작성된 템플릿을 사용하거나 사용자 지정 스크래퍼를 만드는 것입니다.



이 가이드는 맞춤형 Etsy 스크래퍼를 만드는 데 중점을 둡니다. 템플릿을 사용하는 것은 비교적 쉽지만, 직접 만들면 더욱 다양한 맞춤 설정이 가능합니다. 시작해 보겠습니다.

2단계: Etsy URL을 입력하여 자동화된 워크플로우를 받으세요.

Octoparse를 실행하고 검색 창에 스크래핑하려는 Etsy 페이지의 URL을 붙여넣으세요.

Etsy 제품 목록 페이지나 검색 결과 페이지를 스크래핑할 수 있습니다. Octoparse는 모든 URL을 처리할 수 있습니다.



URL을 붙여넣은 후 "시작"을 눌러 Octoparse 내에서 Etsy 페이지를 로드합니다. 예를 들어, 검색 결과 페이지를 사용하여 “수제 양초”.

3단계: 추출할 데이터 선택

시작을 누르면 페이지가 Octoparse로 로드되고, Octoparse는 자동으로 데이터를 식별하고 스크랩 가능한 것으로 간주하는 레이블을 지정합니다.



이 프로세스가 완료되면 감지된 모든 제품 데이터에 레이블이 지정되고(정확도를 위해 일부 데이터의 이름을 바꿔야 할 수도 있음) 아래 미리보기 표에 표시됩니다.

불필요한 데이터 열을 제거하려면 해당 열 옆에 있는 휴지통 아이콘을 클릭하세요.

모든 것이 순조롭게 진행된다면 Octoparse는 자동으로 페이지 매김을 처리하여 스크래퍼가 여러 페이지를 탐색할 수 있도록 합니다.

“워크플로 만들기”를 클릭하면 스크래핑 프로젝트의 흐름 차트를 볼 수 있습니다. 필요에 따라 단계를 추가하거나 제거하여 자유롭게 조정할 수 있습니다.



4단계: 데이터 레이블 조정

Octoparse에서 데이터 필드의 레이블이 잘못 지정되는 경우가 있습니다. 이러한 레이블을 수정해야 합니다. 예를 들어, "title"이라는 이름이 잘못 지정된 열을 "rating"으로 변경해 보겠습니다. 열 이름을 두 번 클릭하고 올바른 이름을 입력합니다.



마찬가지로, 잘못 표시된 다른 열 이름도 변경합니다.

또한 워크플로에서 통화 기호나 버튼 텍스트와 같은 쓸모없는 데이터도 스크래핑한다는 것을 알 수 있습니다. 열 이름 옆에 있는 세 개의 점을 클릭하고 '필드 삭제'를 선택하면 이러한 필드를 제거할 수 있습니다. 메뉴에서 옵션을 선택하세요.



데이터 필드를 구성하고 이름을 지정한 후, 미리보기 테이블이 다음과 같이 표시됩니다.



5단계: Etsy 스크래퍼 실행

모든 것이 설정되면 "저장"을 클릭한 다음 창 오른쪽 상단의 "실행"을 클릭하여 Etsy에서 데이터 스크래핑을 시작합니다.



작업을 기기에서 실행할지, 아니면 클라우드에서 실행할지 묻는 메시지가 나타납니다. 이 튜토리얼은 로컬에서 실행하기로 했습니다.



작업이 무기한으로 실행되는 것을 방지하려면 "중지" 또는 "일시 중지"를 클릭하여 작업을 수동으로 중지해야 합니다. Etsy에서는 페이지 제한을 설정하지 않았으며 무한한 페이지가 있을 수 있습니다.



6단계: 스크래핑한 Etsy 데이터 내보내기

마지막으로, 스크래핑한 데이터를 Excel, CSV 또는 귀하의 요구 사항에 따라 다른 형식으로 내보낼 수 있습니다.

Python을 사용하여 Etsy 웹 스크래핑

코드 없는 도구를 사용하여 스크래핑하는 것이 가장 쉽지만 Python을 사용하여 Etsy를 스크래핑하는 쉬운 방법도 있습니다.

Etsy Python APIEtsy에서 제품 및 공급업체 데이터를 스크래핑하는 내장 함수가 있습니다.

제품 스크래핑 기능은 제품 URL을 입력으로 받아서 제품 ID, 제목, 설명, 가격 등을 추출합니다. ributes. vendor 함수는 같은 방식으로 작동하며 vendor 이름, 위치, 판매량, 제품 목록과 같은 데이터 필드를 반환합니다.

시스템에 라이브러리를 설치하기만 하면 됩니다.etsy_scraper를 pip로 설치하고다음을 입력하여 스크립트로 가져옵니다.etsy_scraper 가져오기.

그런 다음 관련 Etsy URL을 입력으로 사용하여 제품 또는 공급업체 함수를 호출합니다. 이와 같습니다.

가져오기 etsy_scraper productScrape(https://www.etsy.com/listing/540091623/italian-garden-essential-oil-candle?click_key=100bc1abf4cfe1ad2b3fef753903f0f5003a836b%3A540091623&click_sum=e4f02487&external=1&ref=hp_signed_out_opfy-1-1) vendorScrape(https://www.etsy.com/shop/OctoandCo?ref=shop-header-name&listing_id=540091623&from_page=listing)

그러나 이 라이브러리는 기능이 제한되어 있으며 Etsy 제품 목록 페이지나 검색 결과를 스크래핑할 수 없습니다.

그러므로, Etsy 스크래퍼 Python을 처음부터 코딩해야 합니다. 이를 위한 기본 단계는 다음과 같습니다.

1. Python 설치:최신 Python 버전을 다운로드하세요.공식 웹사이트.
   
   
2. BeautifulSoup 및 기타 라이브러리 설치:웹 스크래핑에 필요한 Python 라이브러리를 설치해야 합니다.
   
   
   • BeautifulSoup4HTML 및 XML 문서 구문 분석을 위한
   • 요청HTTP 요청을 만드는 라이브러리
   • lxmlPython에서 XML 및 HTML 구문 분석을 위한
   • soupsieve고급 CSS 선택을 위한
     
     
3. 초기 코드 작성:코드 편집기를 열고 bs4 및 요청에서 BeautifulSoup을 가져옵니다.
   
   
4. 브라우저인 척하기:스크립트에 다음을 포함합니다.HTTP 헤더브라우저 요청을 모방합니다. 변경사용자 에이전트헤더는 스크립트나 봇의 접근을 제한하는 웹 페이지에 접근하는 데 종종 필요합니다.
   
   
5. 웹 페이지 가져오기:'요청' 라이브러리를 사용하여 스크래핑하려는 Etsy 페이지를 가져옵니다. URL과 헤더를 인수로 전달합니다.
   
   
6. 페이지 구문 분석:페이지 콘텐츠가 있으면 BeautifulSoup을 사용하여 구문 분석합니다. 여기에는 BeautifulSoup 객체를 만들고 'lxml'을 구문 분석기로 지정하는 작업이 포함됩니다.
   
   
7. CSS 선택기 사용: Etsy 페이지를 검사하여 스크래핑하려는 데이터에 해당하는 CSS 선택기를 식별합니다. 웹페이지의 구조를 이해하고 원하는 데이터가 포함된 클래스 또는 태그를 찾습니다.
   
   
8. 데이터 추출:CSS 선택기로 선택한 요소를 반복하고 제품 제목, 가격, 평점 또는 이미지와 같이 필요한 정보를 추출합니다.
   
   
9. 데이터 내보내기:스크립트가 예상대로 작동하면 데이터를 CSV 또는 JSON과 같이 원하는 파일 형식으로 내보냅니다.

코드 조각이 포함된 자세한 튜토리얼을 보려면 다음으로 이동하세요.이 블로그.

어려움 없이 Etsy 스크랩하기

튜토리얼에서는 Etsy 데이터의 표면만 긁어냈기 때문에 문제가 발생하지 않았습니다. 하지만 Etsy 스크래퍼는 대량의 데이터를 스크래핑하는 경우 약간의 저항을 경험할 수 있습니다.

<스팬 data-type="text">대량의 데이터를 스크래핑하려면 Etsy 웹 서버에 많은 HTTP 요청을 보내야 하는데, 이는 정상적인 인간의 행동이 아닙니다. 이로 인해 Etsy 스크래퍼의 마스크가 손상되어 영구적으로 차단될 수 있습니다.

하지만 좋은 소식이 있습니다.AdsPower AdsPower를 사용하면 Etsy 스크래핑 프로젝트가 차단되지 않고 원활하게 진행될 수 있습니다.

AdsPower는 스크래핑 활동을 감추기 위해 설계된 평판 좋은 탐지 방지 브라우저입니다. 프록시 회전, fi와 같은 고급 기술을 사용합니다. 지문 스푸핑, 요청 지연을 통해 스크래퍼를 위장하고 Etsy의 봇 방지 시스템에 일반 브라우저 트래픽처럼 보이게 합니다.

지금 바로 AdsPower에 가입하세요AdsPower에 무료로 가입하고 차단이나 금지에 대한 두려움 없이 Etsy에서 스크랩하세요.