Przewodnik po programie Shopify Scraper: dwa sposoby z kodem i bez niego

Z ponad 4,8 miliona sklepów Shopify jest wiodącą platformą e-commerce. W ostatnich latach przychody Shopify pobiły poprzednie rekordy, przekraczając 7,06 miliarda dolarów rocznie, co stanowi Wyniki finansowe Shopify za rok 2023.

Biorąc pod uwagę te dane, obszerne dane e-commerce platformy stają się bezcenne. Dane te niosą ze sobą ogromny potencjał dla firm i marketerów afiliacyjnych, pozwalając im wyprzedzać konkurencję, śledzić trendy rynkowe lub udoskonalać swoją ofertę produktów.

Wbrew powszechnemu przekonaniu, dostęp do tych danych niekoniecznie wymaga rozległych umiejętności kodowania.

W tym blogu przeprowadzimy Cię przez proces korzystania z bezkodowego scrapera Shopify, odpowiedniego dla początkujących, a także jak stworzyć scraper Shopify w Pythonie dla osób z doświadczeniem programistycznym.

Zbadajmy, jak możesz wykorzystać dane Shopify dla swojej przewagi.

Czy potrafisz scrapować Shopify?

Zgodnie z Warunki korzystania z usług Shopify,“Zgadzasz się nie uzyskiwać dostępu do Usług ani nie monitorować żadnych materiałów ani informacji z Usług za pomocą żadnego robota, pająka, scrapera ani innych zautomatyzowanych środków.”

Niniejsza klauzula znajduje się w sekcji „Warunki konta” i wszyscy użytkownicy Shopify akceptują ją podczas tworzenia konta.

W związku z tym, jeśli posiadasz konto Shopify, koniecznie powstrzymaj się od jego używania do scrapowania. Dotyczy to zarówno zwykłych użytkowników Shopify, jak i posiadaczy kont firmowych.

Używanie scrapera Shopify do wyodrębniania danych z platformy grozi wykryciem przez system i potencjalnym zawieszeniem konta.

Warunki korzystania z API Shopify ograniczają również korzystanie z API do gromadzenia danych w ilości większej niż dozwolona. Jeśli więc liczysz na wykorzystanie go do scrapowania Shopify, nie masz szczęścia.

Dwie rzeczy są jasne. Nie używaj żadnych zewnętrznych narzędzi ani skryptów Shopify Scraper, będąc zalogowanym na koncie Shopify, i nie używaj oficjalnego API jako narzędzia do scrapowania danych Shopify.

Jak więc możesz scrapować dane z Shopify? Nie martw się. Te ograniczenia dotyczą scrapowania danych prywatnych. Nadal możesz uruchomić narzędzie do scrapowania danych Shopify na stronie.

Upewnij się, że pobierasz tylko publicznie dostępne dane. Upewnij się również, że nie używasz danych Shopify do eksportowania w celach kopiowania, ponieważ mogą one zostać pobrane, tak jak ww tym przypadku.

Istnieje nieoficjalny globalny konsensus, że pobieranie publicznie dostępnych danych z dowolnej platformy jest dozwolone w celach etycznych.

Shopify Scraper: Dwa różne podejścia

W związku z tym przejdźmy dalej w kierunku technik scrapowania Shopify.

Shopify Scraper bez kodu

Minęły czasy, gdy scrapowanie było wyłącznie zadaniem programisty. Obecnie na rynku dostępnych jest wiele rozwiązań bez kodu, które sprawiają, że scrapowanie jest dziecinnie proste.

Wśród tych narzędzi liderami rynku są ParseHub, Shopify Scraper od Apify i Shopify Product Scraper.

W tym przewodniku przeprowadzimy Cię przez proces tworzenia scrapera produktów Shopify za pomocą ParseHub. Zaczynajmy.

Krok 1: Pobierz i utwórz konto

Przejdź doParseHub, pobierz plik instalacyjny dla swojego systemu operacyjnego i zainstaluj oprogramowanie.

Otwórz ParseHub, wypełnij formularz rejestracyjny, podając swoje imię i nazwisko, adres e-mail i silne hasło, a następnie kliknij przycisk „Zarejestruj się”.

Krok 2: Rozpocznij nowy projekt

Po zalogowaniu zobaczysz przycisk z napisem „Nowy projekt”. Kliknij go.

Na następnym ekranie wklej w wyświetlonym pasku adres URL sklepu Shopify, który chcesz zeskrobać.

W tym demo będziemy zeskrobaćten sklep.

Po wklejeniu linku do strony docelowej sklepu, naciśnij przycisk u dołu paska.

Podana strona zostanie załadowana po prawej stronie ekranu.

Wskazówka: Zmień nazwę projektu, aby łatwo zidentyfikować plik wśród innych plików w przyszłości.

Powinieneś nazwać to czymś istotnym, na przykład shopify_products.

Krok 3: Rozpocznij wybieranie elementów do scrapowania

ParseHub pozwala klikać elementy, które chcesz zeskrobać (takie jak nazwy produktów, ceny, oceny) i zapamiętuje Twoje wybory.

Ponieważ tworzymy Scraper Produktów Shopify, zacznijmy od tytułu produktu, który zmieni kolor na zielony, a pozostałe na żółty.

Wybierz inny tytuł produktu, aby uczynić je wszystkie ekologicznymi.

Zobaczysz tabelę podglądu, która wyświetla nazwy produktów i adresy URL.

Krok 4: Zmień nazwę zaznaczenia

Nazwij zaznaczenie odpowiednio. Ponieważ wyodrębniamy adresy URL i nazwy produktów, nazwaliśmy je „produkt”.

Dobrą praktyką jest zmiana nazw wszystkich zaznaczeń projektu w odpowiedni sposób.

Krok 5: Rozpocznij projekt

Powtórz kroki 3 i 4, aby uzyskać więcej elementów, które chcesz zeskrobać. Ponieważ chcieliśmy tylko nazwę produktu i adres URL, nasz przepływ pracy ze scraperem internetowym Shopify wygląda następująco.

Aby uruchomić scraper produktów Shopify, wystarczy nacisnąć przycisk Pobierz dane i wybrać opcję „Uruchom” na następnym ekranie.

Zajmie to trochę czasu, w zależności od ilości danych.

Aaaa i masz! Teraz po prostu wybierz preferowaną opcję pobierania.

Na przykład zapisaliśmy nasz plik jako Shopify_products.json.

Tworzenie scrapera Shopify za pomocą Pythona

Narzędzia bez kodu bez wątpienia ułatwiają pracę 10-krotnie. Mają jednak swoje ograniczenia. Na przykład mogą nie mieć mechanizmu do scrapowania danych, które chcesz zeskrobać. Dodatkowo, może mieć ograniczenia co do ilości danych, które można zeskrobać jednorazowo.

To odpowie na pytanie, dlaczego będziesz musiał napisać kod Shopify Scraper do złożonych zadań scrapowania. Skrypty programistyczne dają Ci swobodę w ustawianiu ;Twoje własne limity, zgodnie z Twoimi potrzebami. Może zeskrobać dowolne dane ze strony. Wystarczy, że napiszesz do niego program.

A w jakim języku lepiej się zeskrobać niż w Pythonie? Ma prostą i czytelną składnię oraz obszerną bibliotekę przydatnych pakietów.

Sklepy Shopify mają unikalną funkcję, która sprawia, że ich scrapowanie jest niezwykle łatwe. Wszystkie sklepy Shopify mają plik product.json, który jest publicznie dostępny. Ten plik zawiera dane o wszystkich produktach dostępnych w sklepie. Zawiera nazwę każdego produktu, jego unikalny identyfikator, cenę, dostawcę, opis i mnóstwo innych szczegółów.

Aby uzyskać dostęp do tego pliku product.json Shopify, wystarczy umieścić plik products.json na końcu głównego adresu URL sklepu, czyli https://helmboots.com/products.json.

Jeśli chcesz zakodować narzędzie Shopify Product Scraper, ten plik Shopify products.json uwolni Cię od żmudnej pracy.

Teraz wystarczy, że w swoim Web Scraperze Shopify wyślesz pojedyncze żądanie do tego pliku i wyodrębnisz wszystkie wymagane dane.

Zacznijmy więc programować nasz Shopify Python Scraper.

Krok 1: Import niezbędnych bibliotek

Utwórz plik Pythona, np. python_shopify.py, i zaimportuj pakiety. Będziemy potrzebować następujących bibliotek:

• Json
• Żądania
• Pandas
  
  

importuj json importuj pandasjako pd importuj żądania

Krok 2: Pobierz plik products.json sklepu

Utworzymy funkcję fetch_json, która będzie przyjmować jako argument adres URL witryny i numer strony oraz zwracać plik product.json sklepu. Ustawiliśmy limit 30 produktów na stronę.

Nasza funkcja będzie również zawierać obsługę wyjątków dla niektórych błędów.

def pobierz_json(url, strona): spróbuj: odpowiedź = requests.get(f'{url/products.json?limit=30&page={strona', timeout=5) products_json = response.text response.raise_for_status() powrót products_json z wyjątkiem requests.exceptions.HTTPError jak error_http: print("Błąd HTTP:", error_http) z wyjątkiem requests.exceptions.ConnectionError jak błąd_połączenia: print("Błąd połączenia:", error_connection) z wyjątkiem requests.exceptions.Timeout jak error_timeout: print("Błąd przekroczenia limitu czasu:", error_timeout) z wyjątkiem requests.exceptions.RequestException jak błąd: print("Błąd: ", error)

Krok 3: Utwórz ramkę danych Pandas za pomocą pliku products.json

Nasza funkcja przyjmuje plik products.json jako dane wejściowe i konwertuje go na ramkę danych Pandas.

def make_df(products_json): wypróbuj: products_dict = json.loads(products_json) df = pd.DataFrame.from_dict(products_dict['produkty']) powrót df z wyjątkiem wyjątku jak e: print(e)

Krok 4: Pobierz dane ze wszystkich stron

Aby zeskrobać wszystkie produkty, będziemy musieli przejść przez kolejne strony.

W tym celu nasza funkcja przyjmie adres URL witryny jako dane wejściowe i zwróci ramkę danych Pandas zawierającą wszystkie dane produktów sklepu Shopify.

def get_all_products(url): wyniki = Prawda strona = 1 df = pd.DataFrame() podczas gdyWyniki: products_json=pobierz_json(url, strona) products_dict = make_df(products_json) jeśli len(products_dict) == 0: przerwa inaczej: df = pd.concat([df, products_dict], ignore_index=Prawda) strona += 1 df['url'] = f"{url/produkty/" + df['uchwyt'] return df

Nasz Python Shopify Scraper jest gotowy.

Po prostu przekaż adres URL sklepu do tej funkcji, a wszystkie dane zostaną zapisane w zmiennej produktu.

Możesz również wyświetlić podgląd danych za pomocą funkcji products.head().

wszystkie_produkty = pobierz_wszystkie_produkty('https://helmboots.com/') all_products.head(1).T

Oprócz tej metody, możesz również użyćAPI Shopify w Pythonie do eksportowania danych Shopify.

Uczyń swój scraper Shopify niewykrywalnym

Chociaż scrapowanie danych z Shopify jest zazwyczaj nieszkodliwe, zawsze lepiej jest mieć mechanizm pozwalający ominąć wykrycie. Możliwe, że Twój Shopify Scraper napotka przeszkody, takie jak CAPTCHA, blokady adresów IP i limity przepustowości.

Aby mieć pewność, że Twój Shopify Scraper działa bez zakłóceń, możesz użyć przeglądarki z funkcją antywykrywania, takiej jakAdsPower. AdsPower oferuje niezbędne środki, aby Twój Shopify Web Scraper pozostał dyskretny, umożliwiał interakcję ze stronami i bezproblemowy eksport danych Shopify.