Szczegółowy przewodnik po korzystaniu z Amazon Scraper

Scraping stron internetowych z Amazon może być bardzo lukratywny dla firm, jeśli robi się to mądrze. Nie wierzysz nam? RozważTa historiao witrynie, która w ciągu zaledwie dwóch miesięcy zarobiła oszałamiające 800 tys. dolarów, podczas gdy oni zajmowali się tylko codziennym zbieraniem recenzji z Amazon. Super, prawda?

Nie możemy obiecać, że zarobisz mnóstwo pieniędzy z dnia na dzień, ale możemy Cię nauczyć, jak to zrobić aby zeskrobać dane z Amazon, aby spróbować się tam dostać.

Przeczytaj więc tego bloga, aby poznać dwa sposoby na zeskrobanie danych z Amazon: jeden z użyciem Amazon Scraper bez kodu i drugi, w którym tworzymy Python Amazon Scraper za pomocą kodu.

Ale najpierw sprawdźmy, czy zeskrobanie danych z Amazon jest dozwolone.

Czy scrapowanie danych z Amazon jest legalne?

Jeśli chodzi o scrapowanie danych z Amazon, zasady są nieco niejasne.robots.txtPlik określa dopuszczalne parametry scrapowania na długiej liście, która określa, co jest dopuszczalne do scrapowania, a które obszary są surowo zabronione.

Plik robots.txt służy jednak wyłącznie jako wytyczna etyczna i nie jest prawnie wiążący. Dzięki temu Twój Amazon Scraper może bez problemu uzyskać dostęp do niedostępnych obszarów.

Amazon jednak na tym nie poprzestaje. Idzie dalej, wdrażając bariery techniczne, aby zapobiec przeciążaniu serwerów przez boty.

Na przykład, stosuje środki zapobiegające scrapowaniu, takie jak testy CAPTCHA i ograniczanie przepustowości. Aby pokonać te przeszkody, Twój Amazon Scraper musi posiadaćzaawansowane techniki, takie jak podszywanie się pod użytkownika, agenta,Rozwiązywanie zagadnień CAPTCHA, lub opóźnianie żądań; w przeciwnym razie Twoje zadanie scrapowania na Amazon pozostanie marzeniem.

Dlatego, aby krótko odpowiedzieć “Czy Amazon zezwala na scrapowanie danych z sieci?”: legalność scrapowania danych z sieci Amazon nie jest jednoznaczna i zależy od różnych czynników, w tym

• rodzaju scrapowanych danych
• metody używane do scrapowania
• i cel scrapowanych danych

O ile scrapowanie nie wiąże się z nieautoryzowanym dostępem, np. danymi za loginem lub nie przytłacza infrastruktury witryny, zazwyczaj mieści się ona w kategorii bezpiecznej. Sąd Najwyższy również broniłfirma Data Analytics, która została pozwana przez LinkedInna podstawie ustawy CFAA, powołując się na nieautoryzowane scrapowanie danych z sieci.

Ponadto należy upewnić się, że wykorzystanie zeskrobanych danych jest zgodne z prawem, tzn. nie są one odsprzedawane ani powielane, ponieważ może to mieć poważne konsekwencje prawne.

Teraz pytanie za milion dolarów: jak zeskrobać dane z Amazon?

Jak scrapować dane z Amazon?

Pomimo wyzwań technicznych, scrapowanie danych z Amazon jest łatwe. Istnieje wiele narzędzi do scrapowania danych z Amazon, zarówno tych z kodem, jak i bez kodu, oferujących rozwiązania umożliwiające zwalczanie zabezpieczeń Amazon przed botami. Za pomocą tych narzędzi możesz łatwo pozyskiwać recenzje, produkty i ceny z Amazon, a także inne dane.

Zacznijmy więc od narzędzia Amazon Scraper bez kodu.

Scraper Amazon bez kodu:

Bądźmy szczerzy, są duże szanse, że obecny czytelnik, który to czyta, nie ma umiejętności kodowania. Ale to nie stanowi problemu. Nie potrzebujesz wiedzy z zakresu kodowania, skoro dostępne są narzędzia Amazon Scrapers bez kodu.

Dzięki tym narzędziom wystarczy podać adres URL strony produktu lub kategorii, a scraper pobierze wszystkie dane produktów Amazon z tej strony. Po zakończeniu scrapowania danych z witryny Amazon dostępne są również liczne opcje zapisu plików.

Do tej wersji demonstracyjnej wybraliśmy narzędzie Amazon Scraper firmy Apify. Apify oferuje oddzielne narzędzia do scrapowania danych z różnych obszarów witryny Amazon, w tym Amazon Product Scraper, Amazon Review Scraper i Amazon Bestsellers Scraper.

W tym przewodniku będziemy korzystać z narzędzia Amazon Product Scraper firmy Apify. Amazon Product Scraper oferuje funkcje rozwiązywania testów CAPTCHA i ustawiania serwerów proxy, które pomagają omijać zabezpieczenia antybotowe.

Rozpocznijmy więc demo.

Krok 1: Odwiedź stronę Amazon Product Scraper

Uzyskaj dostęp doScraper produktów Amazonw sklepie Apify i kliknij przycisk „Wypróbuj za darmo”. To narzędzie umożliwia zbieranie danych o produktach Amazon, w tym cen, recenzji, opisów produktów, zdjęć i wielu innych atrybutów.

Krok 2: Utwórz swoje konto Apify

Jeśli jesteś nowy, załóż bezpłatne konto Apify. Platforma oferuje możliwość rejestracji przez e-mail, Google lub GitHub.

Krok 3: Wklej adresy URL Amazon dla treści docelowej

W konsoli Apify wprowadź adres URL produktu lub kategorii Amazon, które chcesz zeskrobać. Użyliśmy Konsole do gier wideo i akcesoriaorazMebleKategoria w tym przykładzie.



Możesz wstawić więcej linków, naciskając przycisk ‘+ Dodaj’. Jeśli linków jest wiele, możesz po prostu dodać je wszystkie do pliku tekstowego i przesłać go do Amazon Scraper.

Określ również maksymalną liczbę elementów, które chcesz zeskrobać, ustawiając limit w polu „Maks. liczba elementów”. My ustawiliśmy go na 15, ale możesz ustawić dowolną wartość.

Krok 4: Włącz funkcję rozwiązywania kodów CAPTCHA

Nie da się skanować danych Amazon bez funkcji rozwiązywania kodów CAPTCHA. Amazon jest znany z bardzo skutecznego wykrywania botów. Gdy tylko podejrzewa aktywność bota, wysyła mu CAPTCHA.

Aby upewnić się, że Twój Amazon Scraper działa bezproblemowo, włącz rozwiązywanie CAPTCHA.

Krok 5: Skonfiguruj serwer proxy

Użycie serwera proxy jest niezbędne do obejścia zabezpieczeń przed scrapowaniem. Amazon scraper oferuje różne opcje proxy, w tym Residential, Datacenter lub własne, aby maskować działania scrapujące i omijać ograniczenia. Przeczytaj o Różnice między serwerami proxy mieszkaniowymi a serwerami proxy centrów danychw naszym innym blogu.

Opcja serwera proxy mieszkaniowego jest wybierana domyślnie, ponieważ najlepiej sprawdza się w systemach zapobiegających pobieraniu danych.

Krok 6: Uruchom Scraper

Po ustawieniu parametrów uruchom Amazon Product Scraper, naciskając przycisk „Start”. przycisk na dole strony.

Po zakończeniu status zmieni się z „Uruchomione” na „Pomyślne”.



Po zakończeniu zobaczysz podgląd danych na ekranie.

Krok 7: Eksportuj swój plik

Naciśnij przycisk „Eksportuj wyniki”, aby pobrać zebrane dane. Platforma obsługuje wiele formatów, w tym CSV, JSON i Excel.

Python Amazon Scraper z wykorzystaniem programowania

W powyższym, bezkodowym programie Amazon Scraper, jeśli przyjrzysz się uważnie wspomnianemu wcześniej krokowi 6, 69 z 173 żądań nie powiodło się. Dzieje się tak, ponieważ Amazon blokuje te żądania.

Aby ominąć ten problem, musisz zaprogramować własny skrypt scrapujący. W tym przewodniku tworzymy narzędzie Python Amazon Product Scraper.

Zaczynamy.

Krok 1: Zainstaluj Pythona

Aby napisać kod naszego narzędzia Python Amazon Scraper, konieczne jest zainstalowanie Pythona na komputerze. Zaleca się, aby pobierz najnowsząlub nowszą wersję w celu zapewnienia zgodności z wymaganymi bibliotekami.

Krok 2: Importowanie niezbędnych bibliotek

Kluczem każdego scrapera Amazon jest pobieranie i analizowanie treści internetowych. W tym celu używamy kombinacji bibliotek Pythona.

• Żądania:do wysyłania żądań HTTP do witryny Amazon
• BeautifulSoup:Aby poruszać się po zwróconej zawartości HTML i ją analizować
• lxml:Aby analizować
• Pandas: do organizowania i eksportowania danych
  
  

Przed ich zaimportowaniem należy je zainstalować za pomocą następującego polecenia:

python -m pip install requests beautifulsoup4 lxml pandas

Teraz zaimportujemy je do naszego skryptu Pythona dla Amazon scraper:

żądania importu z bs4 import BeautifulSoup z urllib.parse import urljoin import pandas as pd

Krok 3: Konfigurowanie nagłówków HTTP

Częstą przeszkodą w scrapowaniu stron internetowych Amazon są środki obronne Amazona chroniące przed automatycznym dostępem. Aby tego uniknąć, nasz skrypt Pythona dla Amazon Scraper naśladuje żądanie przeglądarki internetowej, uwzględniając niestandardowe nagłówki HTTP, takie jak 'User-Agent' 'Accept-Language'.

Lepiej jest dodać więcej nagłówków.

custom_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, jak Gecko) Chrome/122.0.0.0 Safari/537.36', 'Accept-Language': 'en-US,en;q=0.9', 'Accept-Encoding': 'gzip, deflate, br, zstd', 'Akceptuj': 'image/avif,image/webp,image/apng,image/svg+xml,image/*,*/*;q=0.8', 'Referent': 'https://www.amazon.com/'

Aby uzyskać te nagłówki dla swojej przeglądarki,

• Naciśnij klawisz F12 na stronie Amazon, aby otworzyć narzędzia dla programistów,
• Otwórz kartę Sieci i wybierz Nagłówki
• Przeładuj stronę
• Wybierz pierwsze żądanie
• Na karcie Nagłówki przewiń w dół do sekcji Nagłówki żądania i skopiuj wartości nagłówków wymienionych powyżej.
  
  
  
  

Bez tych nagłówków istnieje duże prawdopodobieństwo, że Amazon zablokuje żądania GET i zwróci odpowiedź podobną do poniższej z kodem statusu 503 (błąd) zamiast 200 (powodzenie).

Aby omówić automatyczny dostęp do danych Amazon, prosimy o kontakt pod adresem api-services-support@amazon.com.

Krok 4: Wyodrębnianie informacji o produkcie

Nasz Amazon Product Scraper zawiera funkcjęscrape_amazon_product, która wykonuje krytyczne zadanie wyodrębniania szczegółów produktu. Funkcja przyjmuje adres URL strony kategorii Amazon jako dane wejściowe i zwraca słownik z informacjami o produkcie.

Metoda ta następnie wysyła żądanie do Amazon, używając adresu URL i niestandardowej zmiennej nagłówka, którą utworzyliśmy powyżej.

Następnie, używając selektorów CSS BeautifulSoup, pobierzemy tytuł, cenę, adres URL zdjęcia i opis produktu z poszczególnych stron produktów.

def scrape_amazon_product(url): odpowiedź = requests.get(url, headers=custom_headers) jeśli response.status_code != 200: print(f"Błąd podczas pobierania strony internetowej:{url") powrót Brak soup = PięknaZupa(tekst odpowiedzi, "lxml") title_element = soup.select_one("#productTitle") title = title_element.text.strip() if title_element inaczej Brak price_element = soup.select_one('span.a-offscreen') price = price_element.text if price_element inaczej Brak image_element = soup.select_one("#landingImage") image = image_element.attrs.get("src") jeślielement_obrazu w przeciwnym razie Brak description_element = soup.select_one("#productDescription") description = description_element.text.strip() if description_element inaczej Brak return { "title": title, "price": price, "image": image, "description": description, "url": url

Krok 5: Obsługa list produktów i Paginacja

Aby nasz skrypt Amazon Scraper Pythona zbierał obszerne dane, poruszając się po stronach kategorii i obsługując paginację, skrypt nawiguje po stronach z listami produktów Amazon.

Identyfikuje linki do produktów za pomocą selektorów CSS i podąża za nimi. paginacja poprzez wykrycie linku „Następna strona”.

odwiedzone_adresy_URL=set() def analizuj_strony(listing_url): globalne odwiedzone_adresy URL odpowiedź = requests.get(listing_url, headers=custom_headers) print(response.status_code) soup_search = BeautifulSoup(tekst odpowiedzi, "lxml") link_elements = soup_search.select("[data-asin] h2 a") page_data = [] dla link w elementy_łącza: pełny_url = urljoin(listing_url, link.attrs.get("href")) jeśli pełny_url nie w odwiedzone_adresy URL: odwiedzone_urls.add(full_url) print(f"Zbieranie produktu z {full_url[:100]", flush=Prawda) product_info = scrape_amazon_product(full_url) if product_info: page_data.append(product_info) next_page_el = soup_search.select_one('a.s-pagination-next') jeśli next_page_el: next_page_url = next_page_el.attrs.get('href') next_page_url = urljoin(listing_url, next_page_url) print(f'Scraping next page: {next_page_url', flush=Prawda) page_data += parse_pages(next_page_url) return page_data

Krok 6: Zapisywanie zeskrobanych danych

Na koniec zeskrobane dane są agregowane w listę słowników, która następnie jest konwertowana na ramkę danych Pandas. Ta ramka danych jest następnie eksportowana jako plik CSV.

def main(): data = [] search_url = "https://www.amazon.com/s?k=dell&rh=n%3A13896617011&ref=nb_sb_noss" data = parse_pages(search_url) df = pd.DataFrame(data) df.to_csv("Computer_Tablets.csv", orient='rekordy') jeśli __name__ == '__main__': main()

Używaj Amazon Scraper dyskretnie

Scraping Amazon jest zazwyczaj prosty. Możesz jednak napotkać wiele wyzwań, takich jak CAPTCHA, blokady żądań i limity szybkości.

Aby uniknąć tych problemów, powinieneś używać przeglądarki z funkcją antywykrywania, takiej jakAdsPower. AdsPower zapewnia, że Twój Amazon Scraper pozostaje niewykryty, oferując funkcje takie jak podszywanie się pod odciski palców i rotacje proxy.

Dlatego Zarejestruj się za darmo już teraz i zacznij bezproblemowo scrapować dane z Amazon.