Jak scrapować Etsy z kodem i bez niego?

Etsy to dom dla rękodzieła, przedmiotów vintage i rzemiosła artystycznego. Z prawie 500 milionówwizyt miesięcznie. To bardzo lukratywny rynek dla sprzedawców, którzy chcą rozwijać swój biznes.

Dobra znajomość tego, co się sprzedaje, śledzenie najnowszych trendów i analizowanie konkurencji to niezbędne elementy rozwoju Twojej firmy.

Jednak ręczne przeszukiwanie milionów ofert produktów na Etsy jest zbyt pracochłonne, a nawet niemożliwe.

Właśnie wtedy będziesz musiał zeskrobać dane z Etsy. Dzięki temu uzyskasz mnóstwo cennych danych z Etsy w uporządkowany sposób, oszczędzając jednocześnie czas i wysiłek.

Właśnie o tym jest ten poradnik. Pokażemy Ci, jak scrapować dane z Etsy za pomocą narzędzia do scrapowania bez kodu i Pythona. Niezależnie od tego, czy masz doświadczenie w kodowaniu, czy nie, ten poradnik będzie dla Ciebie przydatny.

2 sposoby na scrapowanie danych z Etsy

Korzystanie z gotowego do użycia narzędzia Etsy Scraper

W przeszłości scrapowanie było zajęciem wyłącznie dla programistów. Jednak wraz z rozwojem narzędzi do scrapowania bez kodu, scrapowanie stron internetowych stało się dostępne dla każdego, kto ma minimalną wiedzę z zakresu informatyki.

Dziś używamy narzędzia bez kodu o nazwie Octoparse do scrapowania treści z Etsy. Zacznijmy więc samouczek krok po kroku.

Krok 1: Pobierz i zainstaluj Octoparse

Odwiedź Strona internetowa Octoparse, aby pobrać narzędzie. Po pobraniu wykonaj poniższe proste kroki, aby zainstalować je na swoim komputerze.

Teraz uruchom Octoparse i utwórz nowe konto lub zaloguj się za pomocą swojego konta Google lub Microsoft, jeśli już je posiadasz.

Dzięki Octoparse masz dwie opcje scrapowania danych z Etsy: użycie gotowego szablonu lub utworzenie własnego scrapera.



Ten przewodnik skupi się na tworzeniu własnego scrapera Etsy. Chociaż korzystanie z szablonu jest stosunkowo łatwe, stworzenie własnego pozwala na większą personalizację. Zacznijmy od tego.

Krok 2: Wprowadź adres URL Etsy, aby uzyskać zautomatyzowany przepływ pracy

Uruchom Octoparse i w pasku wyszukiwania wklej adres URL strony Etsy, którą chcesz zeskrobać.

Możesz zeskrobać stronę z ofertą produktów Etsy lub stronę z wynikami wyszukiwania. Octoparse może obsługiwać dowolny adres URL.



Po wklejeniu adresu URL kliknij „Start”, aby załadować stronę Etsy w Octoparse. W naszym przykładzie użyjemy strony z wynikami wyszukiwania dla ręcznie robione świece”.

Krok 3: Wybierz dane do wyodrębnienia

Po naciśnięciu przycisku Start strona zostanie załadowana w programie Octoparse, który następnie automatycznie zidentyfikuje i oznaczy dane, które uzna za nadające się do pobrania.



Po zakończeniu tego procesu zobaczysz wszystkie wykryte dane produktu oznaczone etykietami (niektóre nazwy mogą wymagać zmiany, aby były dokładniejsze) i wyświetlone w tabeli podglądu poniżej.

Masz możliwość usunięcia wszelkich niepotrzebnych kolumn danych, klikając ikonę kosza obok nich.

Jeśli wszystko idzie gładko, Octoparse może również automatycznie obsługiwać paginację, dzięki czemu Scraper może poruszać się po wielu stronach.

Kliknij „Utwórz przepływ pracy”, aby zobaczyć schemat przepływu swojego projektu scrapowania. Możesz go swobodnie modyfikować, dodając lub usuwając kroki w razie potrzeby.



Krok 4: Dostosuj etykiety danych

Czasami Octoparse może błędnie oznaczać pola danych. Warto to poprawić. Na przykład, zmieńmy kolumnę o niepoprawnej nazwie „title” do “oceny” klikając dwukrotnie nazwę kolumny i wpisując poprawną.



Podobnie zmień inne błędnie oznaczone nazwy kolumn.

Zauważ, że nasz przepływ pracy zbiera również pewne bezużyteczne dane, takie jak symbole walut lub tekst przycisku. Możesz usunąć te pola, klikając trzy kropki obok nazwy kolumny i wybierając opcję „Usuń pole”. opcję z menu.



Po uporządkowaniu i nazwaniu pól danych, oto jak wygląda nasza tabela podglądu.



Krok 5: Uruchom narzędzie Etsy Scraper

Gdy wszystko będzie skonfigurowane, kliknij „Zapisz”, a następnie „Uruchom” w prawym górnym rogu okna, aby rozpocząć scrapowanie danych z Etsy.



Pojawi się monit z pytaniem, czy wolisz uruchomić zadanie na swoim urządzeniu czy w chmurze. Wybraliśmy opcję uruchomienia tego samouczka lokalnie.



Pamiętaj, że musisz ręcznie zatrzymać zadanie, klikając „Zatrzymaj” lub „Wstrzymaj”, aby zapobiec jego nieskończonemu działaniu, ponieważ nie ustawiamy limitu stron, a Etsy może mieć nieskończoną liczbę stron.



Krok 6: Eksport zebranych danych Etsy

Na koniec możesz wyeksportować zebrane dane do formatów takich jak Excel, CSV lub innych, w zależności od Twoich wymagań.

Web Scraping Etsy Using Python

Chociaż scrapowanie bez użycia kodu jest najłatwiejsze, istnieje również łatwy sposób na scrapowanie Etsy przy użyciu Pythona.

API Pythona Etsyma wbudowane funkcje umożliwiające pobieranie danych o produktach i dostawcach z Etsy.

Wszystko, co pozostaje, to zainstalować bibliotekę w systemie za pomocą zainstalować etsy_scraper za pomocą pipi zaimportować ją do skryptu, wpisując importuj etsy_scraper.

Po tym wywołaj produkt lub funkcję dostawcy z odpowiednim adresem URL Etsy jak dane wejściowe tak jak tu;

import etsy_scraper productScrape(https://www.etsy.com/listing/540091623/italian-garden-essential-oil-candle?click_key=100bc1abf4cfe1ad2b3fef753903f0f5003a836b%3A540091623&click_sum=e4f02487&external=1&ref=hp_signed_out_opfy-1-1) vendorScrape(https://www.etsy.com/shop/OctoandCo?ref=shop-header-name&listing_id=540091623&from_page=listing)

Jednak ta biblioteka ma ograniczoną funkcjonalność i nie może pobierać danych ze strony z ofertą produktów Etsy ani wyników wyszukiwania.

Musisz więc napisać kod Etsy Scraper w Pythonie od podstaw. Oto podstawowe kroki, aby to zrobić:

1. Zainstaluj Pythona:Pobierz najnowszą wersję Pythona ze stronyoficjalna strona internetowa.
   
   
2. Zainstaluj BeautifulSoup i inne biblioteki:Musisz zainstalować biblioteki Python niezbędne do scrapowania stron internetowych.
   
   
   • BeautifulSoup4do analizowania dokumentów HTML i XML
   • żądańbiblioteka do tworzenia żądań HTTP
   • lxmldo analizy składniowej XML i HTML w Pythonie
   • sitodo zaawansowanego wyboru CSS
     
     
3. Napisz początkowy kod:Otwórz edytor kodu i zaimportuj BeautifulSoup z bs4 i żądań.
   
   
4. Udawaj, że jesteś przeglądarką:W swoim skrypcie uwzględnijNagłówki HTTP, aby naśladować żądanie przeglądarki. Zmianauser agent nagłówek jest często niezbędny do dostępu do stron internetowych, które ograniczają dostęp do skryptów lub botów.
   
   
5. Pobierz stronę internetową:Użyj biblioteki „requests”, aby pobrać stronę Etsy, którą jesteś zainteresowany scrapowaniem. Przekaż adres URL i nagłówki jako argumenty.
   
   
6. Analizuj stronę:Gdy masz już zawartość strony, użyj BeautifulSoup do jej analizy. Wymaga to utworzenia obiektu BeautifulSoup i określenia „lxml” jako parsera.
   
   
7. Użyj selektorów CSS:Przejrzyj stronę Etsy, aby zidentyfikować selektory CSS odpowiadające danym, które chcesz zeskrobać. Zrozum strukturę strony internetowej i znajdź klasy lub tagi, które zawierają pożądane dane.
   
   
8. Wyodrębnij dane:Pętla po elementach wybranych przez selektory CSS i wyodrębnij potrzebne informacje, takie jak tytuły produktów, ceny, oceny lub obrazy.
   
   
9. Eksportuj dane:Gdy Twój skrypt działa zgodnie z oczekiwaniami, wyeksportuj dane do pliku w wybranym przez Ciebie formacie, takim jak CSV lub JSON.

Aby uzyskać szczegółowy samouczek z fragmentami kodu, przejdź do sekcji tego bloga.

Zbieraj dane z Etsy bez żadnych przeszkód

W naszym samouczku jedynie zarysowaliśmy powierzchnię danych Etsy, więc nie napotkaliśmy żadnych problemów. Jednak Twój scraper Etsy może napotkać pewien opór, jeśli zeskrobane zostaną duże ilości danych.

Zbieranie dużych ilości danych wymaga wysyłania wielu żądań HTTP do serwera internetowego Etsy, który nie jest serwerem internetowym To nie jest normalne ludzkie zachowanie. Może ono zniszczyć Twoją maskę skrobaka Etsy i spowodować jej trwałe zablokowanie.

Ale oto dobra wiadomość:AdsPowermoże sprawić, że Twoje projekty scrapingowe Etsy będą działać płynnie i bez blokowania.

AdsPower to renomowana przeglądarka z funkcją antywykrywania, zaprojektowana w celu maskowania działań związanych ze scrapowaniem. Wykorzystuje zaawansowane techniki, takie jak rotacja serwerów proxy, podszywanie się pod odcisk palca i opóźnienia żądań w celu zakamuflowania Twojego scrapera i sprawienia, by wyglądał jak zwykły ruch przeglądarki kierujący się do systemów antybotowych Etsy.

Zarejestruj sięw AdsPower już dziś i zbieraj dane z Etsy bez obaw o blokady i bany.