알리바바에서 쉽게 스크래핑하는 방법?

알리바바는 중국 전자상거래 시장에서 엄청난 독점 을 보유하고 있습니다. 중국은 수많은 제품을 생산하는 세계적인 명성을 가지고 있기 때문에, 알리바바는 중국 시장을 개척하고 저렴한 제품을 찾아 상당한 수익을 창출하려는 마케터들에게 비옥한 토양을 제공합니다.

하지만 이 황금빛 보물을 찾으려면 알리바바에서 스크래핑하는 방법을 알아야 합니다. 다행히 이 가이드가 도와드리겠습니다.

코드 없는 스크래퍼를 사용하여 알리바바 상품을 스크래핑하는 방법을 보여드리겠습니다. 하지만 그 전에 알리바바가 웹 스크래핑에 대해 어떻게 생각하는지 알아보겠습니다.

알리바바 스크래핑은 합법인가요?

알리바바에 따르면 이용 약관알리바바의 서면 허가 없이 사이트의 콘텐츠를 "체계적으로 검색"하여 컬렉션, 데이터베이스 또는 디렉토리를 만들거나 편집하는 것은 엄격히 금지됩니다. 여기에는 이러한 목적으로 로봇, 스파이더, 자동 장치 또는 수동 프로세스를 사용하는 것이 포함됩니다.

알리바바의 입장은 2021년 6월, 사용자 이름과 휴대전화 번호를 포함한 11억 건의 심각한 데이터 유출 사고를 겪었다는 점을 고려하면 더욱 이해가 됩니다. 11억 건의 사용자 데이터 유출 사고이 발생했다는 점을 고려하면 더욱 설득력이 있습니다.

이러한 상황을 고려할 때, 알리바바는 사이트 콘텐츠 보호와 사용자의 개인정보 보호를 매우 중요하게 생각합니다.

그러나 여기서는 무단 데이터 스크래핑과 윤리적인 웹 스크래핑을 구분하는 것이 중요합니다. 문제의 데이터 유출은 무단 웹 스크래핑에 해당하는 사용자 개인 정보를 표적으로 삼았습니다.

반대로, 웹 스크래핑은 윤리적이고 합법적인 목적으로 수행될 경우 다른 근거를 갖습니다. 윤리적인 웹 스크래핑은 개인 정보나 사이트 상태를 손상시키지 않으면서 제품 정보와 같은 공개적으로 이용 가능한 데이터를 수집하는 데 중점을 둡니다.

예를 들어, 제품 탐색, 시장 또는 경쟁사 분석은 알리바바 또는 다른 플랫폼의 웹 스크래핑을 위한 합법적인 근거로 간주되는 경우가 많습니다.

간단히 말해, 알리바바를 스크래핑할 수는 있지만, 합법적인 이유와 안전한 방법을 사용해야 합니다.

이 글은 바로 그 내용입니다. 알리바바의 가이드라인을 위반하지 않고 공개적으로 이용 가능한 데이터를 스크래핑하는 방법을 알려드리겠습니다.

알리바바를 스크래핑하는 가장 쉬운 방법은 무엇일까요?

마케터는 코딩에 대한 지식과 전문성을 겸비한 만능 마케터가 아니기 때문에 알리바바 웹 스크래핑은 마케터에게 어려운 과제가 됩니다.

바로 이 부분에서 무코드 알리바바 스크래퍼가 그 빈틈을 메꿔줍니다. 다양한 솔루션이 있지만, 이 가이드에서는 Octoparse라는 무료 알리바바 스크래퍼를 선택했습니다.

무코드 알리바바 스크래퍼

Octoparse를 사용하여 카테고리 페이지에서 알리바바 상품을 스크래핑하는 방법을 보여드리겠습니다. 하지만 알리바바 웹사이트의 모든 페이지에서 동일한 방법을 사용할 수 있습니다. 이제 가이드를 시작해 보겠습니다.

Octoparse를 사용하여 알리바바를 스크래핑하는 두 가지 방법

Octoparse는 모든 플랫폼에서 스크래핑하는 두 가지 방법을 제공합니다. 템플릿 갤러리에서 미리 제작된 스크래퍼를 사용하거나 모든 플랫폼에 맞는 맞춤형 웹 스크래핑 작업을 빌드할 수 있습니다.

알리바바 추출기 템플릿을 찾으려면 템플릿 갤러리를 찾아보세요. "템플릿" 버튼을 누르고 "알리바바"를 입력하세요. 검색창에서.



아, 여기서 막다른 길에 다다른 것 같네요. Octoparse에는 미리 구축된 Alibaba Scraper가 없습니다.

그럼 이제 Alibaba에서 어떻게 스크래핑해야 할까요? 바로 이 부분에서 Octoparse가 제공하는 두 번째 방법이 유용합니다.

알리바바 스크래퍼를 직접 만들어 보겠습니다. 아주 간단합니다. 단계별 가이드를 시작해 보겠습니다.


1단계: Octoparse 다운로드 및 설치

Octoparse는 소프트웨어 프로그램으로 제공되므로 다운로드 페이지에서 최신 버전의 Octoparse를 다운로드하세요.

다운로드가 완료되면 설치 프로그램을 실행하고 화면의 지시에 따라 Octoparse를 설치하세요.

2단계: 계정 가입

Octoparse를 사용하려면 플랫폼에 등록해야 합니다. 이메일 주소와 강력한 비밀번호를 사용하여 새 계정을 만들거나, Google 또는 Microsoft 계정을 사용하여 간편하게 가입할 수 있습니다.



3단계: 복사 및 알리바바 페이지 URL 붙여넣기

Octoparse를 열고 스크래핑하려는 알리바바 페이지 URL을 검색창에 붙여넣으세요. 제품 페이지, 카테고리 페이지 또는 검색 결과 페이지 등 어떤 페이지든 상관없습니다.

데모를 위해 게임용 인이어 헤드폰 카테고리 페이지를 선택했습니다.



링크를 붙여넣은 후 검색 창 옆에 있는 시작 버튼을 누르세요.



4단계: Octoparse가 페이지를 로드하고 데이터 필드를 자동 감지하도록 설정

이전 단계에서 시작 버튼을 누르면 Octoparse가 페이지를 로드하기 시작하고 자동 감지 기능을 통해 스크래핑 가능한 데이터를 검색하기 시작합니다. 페이지에 '팁' 패널이 마우스를 가져가면 자동 감지 진행률이 표시됩니다.

페이지 길이와 데이터 양에 따라 자동 감지에 시간이 걸릴 수 있으므로 완료될 때까지 기다려 주세요.



자동 감지가 종료되면 각 제품의 데이터 필드가 녹색으로 강조 표시되어 해당 데이터가 스크래핑을 위해 자동으로 선택되었음을 나타냅니다.



편의를 위해 Octoparse는 웹 페이지에서 스크래핑 가능한 모든 데이터를 페이지 하단의 데이터 미리보기 표에 표시하며, 각 데이터 유형별로 별도의 열을 제공합니다.

이 표를 자세히 살펴보면 Octoparse가 제품 제목, 가격, 평점, 이미지와 같은 유용한 정보는 물론 굵게 표시된 키워드나 버튼 텍스트와 같은 관련 없는 데이터까지 모든 종류의 제품 데이터를 선별하여 표시했음을 알 수 있습니다.

다음 단계에서 이 문제를 해결해 보겠습니다.

5단계: 관련 없는 열 삭제

표 아래에 있는 가로 슬라이더를 사용하여 모든 열을 확인하세요. 불필요한 데이터가 포함되어 있다고 생각되는 열을 짧게 나열하세요.

예를 들어, Title1, Keywords, Mark 등의 열은 아무런 가치도 더하지 못하는 것으로 나타났습니다.





열을 삭제하려면 열 이름 위로 마우스를 가져가 나타나는 삭제 버튼을 누르세요. 불필요한 모든 열에 대해 이 작업을 반복하세요.

6단계: 워크플로 생성

알리바바 스크래퍼가 곧 준비됩니다. 팁 패널에서 “워크플로 생성”을 클릭하세요. 버튼을 클릭합니다.



스크래핑 프로세스에 대한 흐름도가 생성됩니다. 이 흐름도는 알리바바 페이지를 스크래핑하는 데 필요한 단계의 순서를 보여줍니다. 단계를 추가하거나 제거하여 워크플로를 사용자 지정할 수 있습니다. 예를 들어, 첫 번째 위치 이외의 위치에서 데이터를 스크래핑하려면 워크플로에 페이지 매김을 추가할 수 있습니다.

7단계: 표 레이블 이름 바꾸기

Octoparse는 표 열에 자동으로 레이블을 지정하지만, 모든 열의 이름이 올바른 것은 아닙니다. 예를 들어, 회사 URL을 나열하는 열의 이름이 Year_URL로 잘못 지정되었습니다. 평점 열의 레이블도 View로 지정되었습니다. 마찬가지로, 다른 열에도 약간의 이름 변경이 필요할 수 있습니다.



열 이름을 바꾸려면 열 이름을 두 번 클릭하고 올바른 이름을 입력하세요.



이 단계는 나중에 열을 참조할 때 도움이 되므로 필수입니다.

8단계: 알리바바 스크래퍼 실행

모든 것이 정상이고 알리바바 스크래퍼가 실행될 준비가 되었는지 확인한 후, 스크래퍼를 실행할 차례입니다.

화면 오른쪽 상단에 있는 '저장' 버튼을 누르세요. 이제 '저장' 버튼 옆에 있는 '실행' 버튼을 눌러 알리바바 스크래핑을 시작하세요.



'실행' 버튼을 누르면 알리바바 스크래핑을 위한 두 가지 옵션을 제공하는 팝업 창이 나타납니다. Alibaba를 로컬 또는 클라우드에서 스크래핑할 수 있습니다.