Shopify 스크래퍼 가이드: 코드 사용 및 미사용 두 가지 방법

480만 개 이상의 매장을 보유한 Shopify는 선도적인 전자상거래 플랫폼입니다. 최근 몇 년 동안 Shopify의 매출은 이전 기록을 경신하며 연간 70억 6천만 달러를 돌파했습니다. Shopify의 2023년 재무 결과.

이러한 수치를 고려할 때, 플랫폼의 광범위한 전자상거래 데이터는 매우 귀중합니다. 이 데이터는 기업과 제휴 마케터가 앞서 나가고, 시장 동향을 주시하고, 제품 제공을 개선할 수 있는 큰 잠재력을 가지고 있습니다.

일반적인 생각과는 달리, 이 데이터에 접근하는 데 반드시 고도의 코딩 기술이 필요한 것은 아닙니다.

이 블로그에서는 초보자에게 적합한 노코드 Shopify 스크래퍼 활용법과 프로그래밍 경험이 있는 분들을 위한 Python Shopify 스크래퍼 개발 방법을 안내합니다.

Shopify 데이터를 활용하여 이점을 얻는 방법을 살펴보겠습니다.

Shopify를 스크래핑할 수 있나요?

Shopify 서비스 약관,“귀하는 로봇, 스파이더, 스크래퍼 또는 기타 자동화된 수단을 사용하여 서비스에 액세스하거나 서비스의 자료 또는 정보를 모니터링하지 않는 데 동의합니다.”

이 조항은 계정 약관 섹션에 속하며, 모든 Shopify 사용자는 계정 생성 시 이에 동의해야 합니다.

따라서 Shopify 계정을 보유한 경우 스크래핑 활동에 계정을 사용하지 않아야 합니다. 이는 일반 Shopify 사용자와 비즈니스 계정 소유자 모두에게 적용됩니다.

Shopify 스크래퍼를 사용하여 플랫폼 데이터를 추출하는 경우 시스템에서 감지되지 않고 계정이 정지될 수 있습니다.

Shopify API 이용 약관은 또한 허용된 것보다 더 많은 데이터 수집을 위한 API 사용을 제한합니다. 따라서 Shopify 스크래핑에 API를 사용하려고 한다면 실패할 가능성이 높습니다.

그러니 두 가지가 분명합니다. Shopify 계정에 로그인한 상태에서는 외부 Shopify 스크래퍼 도구나 스크립트를 사용하지 마세요. 또한 공식 API를 Shopify 스크래퍼로 사용하지 마세요.

그렇다면 Shopify를 어떻게 스크래핑할 수 있을까요? 걱정하지 마세요. 이러한 제한 사항은 개인 데이터를 스크래핑하는 데 적용됩니다. 사이트에서 Shopify 스크래퍼를 실행할 수 있습니다.

공개적으로 사용 가능한 데이터만 스크래핑해야 합니다. 또한 Shopify 데이터 내보내기를 복제 목적으로 사용하지 않도록 주의해야 합니다. 복제할 경우 데이터가 삭제될 수 있습니다. 이 케이스.

윤리적인 사용을 위해 모든 플랫폼에서 공개적으로 사용 가능한 데이터를 스크래핑하는 것은 허용된다는 것은 비공식적인 글로벌 합의입니다.

Shopify 스크래퍼: 두 가지 다른 접근 방식

이와 관련하여 Shopify 스크래핑 기술을 더욱 자세히 살펴보겠습니다.

코드 없는 Shopify 스크래퍼

스크래핑이 코딩 전문가만의 몫이었던 시대는 지났습니다. 요즘에는 스크래핑을 간편하게 만들어 주는 여러 가지 코드 없는 솔루션이 시중에 나와 있습니다.

이러한 도구 중 ParseHub, Apify의 Shopify 스크래퍼, 그리고 Shopify Product Scraper가 시장을 선도하고 있습니다.

이 가이드에서는 ParseHub를 사용하여 Shopify 제품 스크래퍼를 만드는 방법을 안내해 드립니다. 시작해 보겠습니다.

1단계: 계정 다운로드 및 생성

다음 페이지로 이동하세요.ParseHub를 다운로드하고 운영 체제에 맞는 설치 파일을 다운로드하여 소프트웨어를 설치하세요.

ParseHub를 열고 이름, 이메일 주소, 강력한 비밀번호를 입력하여 가입 양식을 작성한 후 '등록' 버튼을 누르세요.

2단계: 새 프로젝트 시작하기

로그인하면 '새 프로젝트' 버튼이 표시됩니다. 클릭하세요.

다음 화면에서 제공된 입력란에 스크래핑하려는 Shopify 스토어의 URL을 붙여넣으세요.

이 데모에서는 스크래핑을 진행합니다.이 매장입니다.

상점의 타겟 페이지 링크를 붙여넣은 후, 바 하단의 버튼을 누르세요.

해당 페이지는 화면 오른쪽에 로드됩니다.

팁: 프로젝트 이름을 변경하면 나중에 다른 파일들 사이에서 해당 파일을 쉽게 식별할 수 있습니다.

shopify_products처럼 관련성 있는 이름을 지정하세요.

3단계: 스크래핑할 요소 선택 시작

ParseHub를 사용하면 스크래핑하려는 요소(예: 제품 이름, 가격, 평점)를 클릭하면 선택 항목이 기억됩니다.

Shopify 제품 스크래퍼를 개발 중이므로 제품 제목부터 시작하면 제품 제목은 녹색으로 바뀌고, 다른 제품 제목은 노란색으로 바뀝니다.

다른 제품 제목을 선택하면 모두 친환경으로 표시됩니다.

제품 이름과 URL이 표시된 미리보기 표가 표시됩니다.

4단계: 선택 항목 이름 변경

선택 항목에 적절한 이름을 지정합니다. 제품 URL과 이름을 추출하고 있으므로 'product'라고 명명했습니다.

프로젝트의 모든 선택 항목의 이름을 적절하게 변경하는 것이 좋습니다.

5단계: 프로젝트 시작하기

스크래핑하려는 요소를 더 많이 얻으려면 3단계와 4단계를 반복하세요. 제품 이름과 URL만 원했기 때문에 Shopify 웹 스크래퍼 워크플로는 다음과 같습니다.

Shopify 제품 스크래퍼를 시작하려면 '데이터 가져오기' 버튼을 누르고 다음 화면에서 '실행'을 선택하세요.

데이터 양에 따라 시간이 다소 걸릴 수 있습니다.

아, 드디어! 이제 원하는 다운로드 옵션을 선택하세요.

예를 들어, 파일을 Shopify_products.json으로 저장했습니다.

Python을 사용하여 Shopify 스크래퍼 만들기

노코드 도구는 의심할 여지 없이 작업을 10배 더 쉽게 만들어줍니다. 하지만 이러한 도구에도 한계가 있습니다. 예를 들어, 원하는 종류의 데이터를 스크래핑하는 메커니즘이 없을 수 있습니다. 또한 한 번에 스크래핑할 수 있는 데이터 양에 제한이 있을 수 있습니다.

이것은 복잡한 스크래핑 작업을 위해 Shopify 스크래퍼를 코딩해야 하는 이유에 대한 답입니다. 스크립트를 프로그래밍하면 자유를 얻을 수 있습니다. 필요에 따라 원하는 제한을 설정하세요. 페이지의 모든 데이터를 스크래핑할 수 있습니다. 프로그램만 작성하면 됩니다.

스크래핑에 Python보다 더 좋은 언어가 있을까요? 간단하고 읽기 쉬운 구문과 유용한 패키지가 풍부하게 포함되어 있습니다.

Shopify 스토어는 스토어 스크래핑을 매우 쉽게 만드는 고유한 기능을 가지고 있습니다. 모든 Shopify 스토어에는 공개적으로 접근 가능한 product.json 파일이 있습니다. 이 파일에는 스토어의 전체 제품 재고에 대한 데이터가 포함되어 있습니다. 각 제품의 이름, 고유 ID, 가격, 공급업체, 설명 등 다양한 세부 정보가 있습니다.

이 Shopify product.json 파일에 액세스하려면 스토어 루트 URL의 마지막 부분, 즉 https://helmboots.com/products.json.

Shopify 제품 스크래퍼를 코딩하고 싶다면, 이 Shopify products.json 파일을 사용하면 번거로운 작업을 줄일 수 있습니다.

이제 Shopify 웹 스크래퍼가 이 파일로 단일 요청을 전송하여 필요한 모든 데이터를 추출하도록 설정하기만 하면 됩니다.

Shopify Python 스크래퍼 프로그래밍을 시작해 보겠습니다.

1단계: 필수 라이브러리 가져오기

python 파일(python_shopify.py)을 만들고 패키지를 가져옵니다. 다음 라이브러리가 필요합니다.

• Json
• 요청
• 판다
  
  

가져오기 json 가져오기 판다 으로 pd 가져오기 요청

2단계: 스토어의 products.json 파일 가져오기

사이트 URL과 페이지 번호를 인수로 받아 스토어의 product.json 파일을 반환하는 fetch_json 함수를 만들어 보겠습니다. 페이지당 제품 개수를 30개로 제한했습니다.

이 함수에는 일부 오류에 대한 예외 처리도 포함됩니다.

def fetch_json(url, 페이지): 시도하세요: 응답 = 요청.get(f'{url}/products.json?limit=30&page={페이지}', 시간 초과=5) products_json = response.text response.raise_for_status() 반환 products_json 제외요청.예외.HTTPError 로 오류_http: print("HTTP 오류:", error_http) 제외요청.예외.연결 오류 로 오류_연결: print("연결 오류:", error_connection) 제외요청.예외.시간 초과 다음과 같이 오류_시간 초과: print("시간 초과 오류:", error_timeout) 제외요청.예외.RequestException 다음과 같이 오류: print("오류: ", error)

3단계: products.json을 사용하여 Pandas 데이터프레임 만들기

함수는 products.json 파일을 입력으로 받아 Pandas 데이터프레임으로 변환합니다.

def make_df(products_json): 시도: products_dict = json.loads(products_json) df = pd.DataFrame.from_dict(products_dict['제품']) 반환 df 제외예외다음과 같이다음과 같이 print(e)

4단계: 모든 페이지에서 데이터 가져오기

모든 제품을 스크래핑하려면 후속 페이지를 반복해야 합니다.

이를 위해 함수는 사이트 URL을 입력으로 받아 Shopify 스토어의 모든 제품 데이터가 포함된 Pandas 데이터 프레임을 반환합니다.

def get_all_products(url): 결과 = 참 페이지 = 1 df = pd.DataFrame() while 결과: products_json = fetch_json(url, page) products_dict = make_df(products_json) if len(products_dict) == 0: 브레이크 그렇지 않으면: df = pd.concat([df, products_dict], ignore_index=참) 페이지 += 1 df['url'] = f"{url}/제품/" + df['핸들'] return df

Python Shopify 스크래퍼가 준비되었습니다.

매장의 URL을 이 함수에 전달하기만 하면 모든 데이터가 product 변수에 저장됩니다.

products.head() 함수를 사용하여 데이터를 미리 볼 수도 있습니다.

모든_제품 = 모든_제품_가져오기('https://helmboots.com/') all_products.head(1).T

이 방법 외에도 Shopify Python API를 사용하여 Shopify 데이터를 내보냅니다.

Shopify 스크래퍼 감지 불가능하게 만들기

Shopify 스크래퍼가 중단 없이 실행되도록 하려면 AdsPower. AdsPower는 Shopify 웹 스크래퍼가 낮은 프로필을 유지하고, 사이트와 상호 작용하며, 번거로움 없이 Shopify 데이터를 내보내는 데 필요한 모든 기능을 제공합니다.