Jak scrapować Instagram? 3 sposoby na maksymalne wykorzystanie scrapowania

Czy scrapowanie danych z Instagrama jest legalne?

Odpowiedź na pytanie „Czy scrapowanie danych z Instagrama jest legalne?” brzmi jednocześnie tak i nie, ponieważ zależy to od rodzaju zbieranych danych. Jeśli chcesz scrapować dane z Instagrama w celu uzyskania danych publicznie dostępnych, odpowiedź brzmi: tak.

Ale jeśli scrapujesz dane prywatne z Instagrama, które wymagają logowania na Instagramie, jest to wyraźnie zabronione i możesz zostać zawieszony na koncie, a w najgorszym przypadku pociągnięty do odpowiedzialności prawnej. Jednak nawet w przypadku danych publicznych musisz upewnić się, że metoda scrapowania jest legalna.

Aby zbierać dane z Instagrama w celu uzyskania legalnych danych, możesz skorzystać z interfejsów API udostępnianych przez Instagram. Należą do nich Instagram Graph API i Instagram Basic Display API.

Interfejs Graph API umożliwia zarządzanie danymi o kontach firmowych i twórców oraz ich wyodrębnianie. Natomiast interfejs Basic Display API zapewnia dostęp tylko do odczytu podstawowych informacji o użytkowniku. Oba te interfejsy API są zgodne z polityką Instagrama dotyczącą zbierania danych, więc zbieranie danych z Instagrama za ich pomocą jest w pełni legalne.

Jeśli jednak korzystasz z niepublicznych lub nielegalnych interfejsów API, oznacza to, że uzyskujesz dostęp do platformy bez wcześniejszej zgody i często przebierać się za zwykłego użytkownika, co stanowi nieautoryzowane scrapowanie i narusza zasady InstagramaWarunki korzystania z usługi.

Zanim zaczniesz scrapować dane z Instagrama, zatrzymaj się i zastanów: „Czy Instagram umożliwia scrapowanie” i upewnij się, że postępujesz ostrożnie.

Które dane z Instagrama możesz łatwo scrapować?

Zanim pokażemy Ci, jak pobierać dane z Instagrama, najpierw dowiedzmy się, jakie dane można legalnie pobierać z platformy. Legalne pobieranie danych z sieci za pomocą Instagrama może zapewnić Ci dostęp do tych trzech kategorii danych:

• Hashtagi: Możesz uzyskać najpopularniejsze lub najnowsze zdjęcia i filmy oznaczone w podpisie konkretnym hashtagiem.

• Profile: Możesz uzyskać dane profilu, takie jak posty, liczba mediów i liczba obserwujących/obserwowanych.

• Posty: Możesz uzyskać metryki, takie jak liczba komentarzy, liczba polubień, identyfikator profilu, data publikacji i adres URL.
  

3 sposoby na scrapowanie Instagrama

Oto trzy sposoby scrapowania Instagrama. Wybierz ten, który odpowiada Twoim potrzebom i możliwościom:

Scraping Instagram za pomocą Instagram API

Oto przewodnik krok po kroku, jak scrapować Instagram, ale najpierw upewnij się, że spełniasz następujące wymagania:

• Konto firmowe/twórcze na Instagramie

• Strona na Facebooku powiązana z kontem firmowym/twórczym na Instagramie

• Konto programisty Facebooka do korzystania z interfejsu API Instagram Graph

• Zarejestrowana konfiguracja aplikacji Facebooka z minimalnymi ustawieniami
  

Po spełnieniu tych wymagań wstępnych kolejne etapy wyglądają następująco.

Dodaj funkcjonalność logowania przez Facebooka:

Przejdź do pulpitu nawigacyjnego swojej aplikacji Facebook i kliknij przycisk „Produkt +” w panelu po lewej stronie okna. Następnie dodaj produkt logowania przez Facebooka. Na razie nie zmieniaj ustawień tego produktu i pozostaw je domyślne.

Następnie będziesz musiał zalogować się do Facebooka w swojej aplikacji, korzystając z pomocy Dokumentacja logowania do Facebooka i upewnij się, że Twoja procedura logowania spełnia te dwa podstawowe wymagania:

• instagram_basic

• pages_show_list
  

Generuj token dostępu:

Wykonywanie działań z pulpitu nawigacyjnego aplikacji na koncie Instagram wymaga tokenu dostępu użytkownika. Po prawej stronie pulpitu nawigacyjnego otwórz Użytkownik lub Strona rozwijane i wybierz opcję Pobierz token dostępu użytkownika.

Pojawi się okno podręczne informujące, że aplikacja (w tym przypadku Twoja aplikacja) prosi o powyższe uprawnienia. ;Po prostu naciśnij przycisk Kontynuuj lub OK, a otrzymasz Token Dostępu Użytkownika w polu Token Dostępu w swoim panelu.

Teraz używając tokenu dostępu użytkownika, wykonamy kilka podstawowych zapytań na koncie Instagram.

1. Uzyskaj identyfikator strony na Facebooku:

Najpierw potrzebujemy identyfikatora strony na Facebooku, która jest połączona z kontem firmowym na Instagramie. W tym celu uruchom następujące zapytanie Get w panelu.

Zwróci to nazwę i identyfikator stron na Facebooku należących do danego użytkownika Facebooka. Wynik będzie wyglądał następująco.

Skopiuj identyfikator strony połączonej z kontem firmowym na Instagramie.

2. Pobierz identyfikator konta firmowego na Instagramie:

Używając identyfikatora Facebooka, wpisz poniższy skrypt na pasku poleceń i naciśnij Prześlij.

Otrzymasz następujący wynik.

3. Pobierz obiekty multimedialne konta na Instagramie:

Skopiuj identyfikator Instagrama z danych wyjściowych i wykonaj poniższy skrypt, aby uzyskać identyfikatory wszystkich relacji aktualnie publikowanych na koncie firmowym na Instagramie.

Wyjście będzie zawierać identyfikator każdej historii.

To był tylko jeden przykład. Za pomocą interfejsu API Instagram Graph możesz również uzyskać inne informacje, takie jak metadane użytkownika Instagrama, i przeprowadzić badanie hashtagów.

Przejdźmy teraz do innego sposobu scrapowania danych z Instagrama.

Scrapping danych z Instagrama za pomocą No Code Cloud Scrapper

Dla osób bez doświadczenia w kodowaniu powyższa metoda może być trudna do zrozumienia, a co dopiero do wykonania. Ale bez obaw. Istnieją narzędzia do scrapowania danych z Instagrama, które wykonują zadanie bez konieczności stosowania kodu.

Oto, jak scrapować dane z Instagrama, używając jednego z narzędzi o nazwieApify.

Przejdź do strony Apify Instagram Scraper:

Otwórz stronę Apify Instagram Scraper i kliknij Wypróbuj za darmo.

Zarejestruj się w Apify, używając swojego adresu e-mail lub kont Google lub Github. Przeniesie Cię to do konsoli Apify, gdzie odbywa się prawdziwe scrapowanie Instagrama.

Zbierz docelowe adresy URL Instagrama:

Korzystając z aplikacji lub strony internetowej Instagrama, zbierz wszystkie adresy URL profili kont, które chcesz scrapować. W konsoli Apify wklej wszystkie te adresy URL w podane pola wejściowe, jeden po drugim. Aby wprowadzić je wszystkie naraz, możesz kliknąć przycisk Edycja zbiorcza.

Apify oferuje trzy opcje scrapowania dla podanych adresów URL. Możesz scrapować posty i komentarze lub uzyskać różne szczegóły z profili.

Kliknij Zapisz i uruchom:

Pozostaw resztę ustawień bez zmian i naciśnij Zapisz i Uruchom, aby uruchomić scraper. Wynik będzie miał postać tabeli zawierającej wiersze odpowiadające liczbie podanych adresów URL profili z kilkoma kolumnami zawierającymi metadane profilu, takie jak biografia, liczba obserwujących, liczba postów, liczba filmów, identyfikator konta i status weryfikacji, żeby wymienić tylko kilka.

Wyniki Przechowuj:

Naciśnij przycisk Eksportuj wyniki i wybierz żądany format pliku z wyskakującego okna. Możesz również wyczyścić dane, zaznaczając lub pomijając pola, których nie potrzebujesz. Następnie możesz pobrać wyniki, wyświetlić je w nowej karcie lub udostępnić za pomocą linku.

Scraping Instagrama za pomocą języka programowania

Stworzenie własnego scrapera Instagrama może być najskuteczniejszym rozwiązaniem, jeśli Twoje wymagania są nietypowe i masz solidną wiedzę programistyczną lub masz w swoim zespole programistę. Możesz to zrobić, używając dowolnego języka programowania połączonego z frameworkiem do scrapowania danych z sieci.

Ten przewodnik pokazuje, jak scrapować dane z Instagrama za pomocą Pythona i Selenium, frameworka automatyzacji przeglądarek.

Importuj biblioteki Essential:

Na początek zaimportuj podstawowe biblioteki, w tym Selenium, jego webdriver i Selenium-Stealth, aby zapobiec wykryciu.

Biblioteka pprint pomoże nam wydrukować dane wyjściowe w sposób bardziej przejrzysty, zwiększając ich czytelność.

Zbierz nazwy użytkowników Instagrama:

Utwórz listę i dodaj nazwy użytkowników profili Instagrama, które chcesz objąć zasięgiem.

Zmienna wyjściowa to słownik, którego będziemy używać do przechowywania wyników.

Zdefiniuj funkcję główną:

Funkcja główna będzie przeglądać listę nazw użytkowników pojedynczo i wywoływać funkcję scrape dla każdej nazwy użytkownika.

Zdefiniuj funkcję do zarządzania ustawieniami przeglądarki:

Ta funkcja będzie dostosowywać ustawienia przeglądarki przed każdym żądaniem scrapowania, aby dodać anonimowość i uniknąć wykrycia przez Instagram. Zmiany te obejmują rotację serwerów proxy, konfigurację ustawień Selenium-Stealth i utworzenie sztucznego klienta użytkownika.

Zdefiniuj funkcję do scrapowania:

Funkcja scrape() wywoływana w funkcji głównej przyjmuje jako argument pojedynczą nazwę użytkownika z Instagrama i tworzy punkt końcowy profilu, którego użyjemy do wysłania żądania za pomocą przeglądarki Chrome za pomocą funkcji prepare_browser().

Sprawdzimy również status żądania. Jeśli żądanie zostało przekierowane na stronę logowania, oznacza to, że żądanie się nie powiodło. Jeśli natomiast nie podano ciągu logowania, żądanie zostanie zrealizowane pomyślnie, a wynik zostanie przeanalizowany jako JSON i przesłany do funkcji parse_data() wraz z nazwą użytkownika.

Zdefiniuj funkcję parse_data():

Ta funkcja analizuje dane JSON w argumencie user_data w celu uzyskania żądanego pola danych. W tym przykładzie zbieramy pełną nazwę użytkownika, kategorię konta, liczbę obserwujących i podpisy postów.

Napisz kod sterownika:

Kod sterownika rozpoczyna proces scrapowania, wyodrębnia dane do zmiennej wyjściowej i wywołuje na nich funkcję pprint(), aby wyświetlić je w atrakcyjny sposób.

Omijanie wykrywania dzięki przeglądarce AdsPower Antidetect

Instagram jest rygorystyczny w kwestii scrapowania i zapewnia bardzo ograniczony dostęp do danych publicznych na swojej platformie. Obejmuje to podstawowe informacje, takie jak identyfikator profilu, liczba obserwujących, polubienia i liczba komentarzy. Aby dokładniej przyjrzeć się temu tematowi, wymagane jest zalogowanie się, co jest sprzeczne z polityką Instagrama i może doprowadzić do zawieszenia konta.

W tym miejscu znajduje sięAdsPower jest niezwykle przydatny, pomagając Ci zachować niski profil podczas scrapowania danych z Instagrama, które mogą naruszać zasady Instagrama. AdsPower wykorzystuje techniki zapobiegające wykryciu, takie jak rotacja adresów IP i ograniczanie przepustowości, aby uniknąć blokowania scrapowania środki.

Następnym razem, gdy będziesz scrapować Instagram, używając narzędzia bez kodu lub nieoficjalnych interfejsów API Instagrama, upewnij się, że użyjesz funkcji AdsPower AntiDetect w przeglądarce, aby ominąć wykrywanie.

Wniosek

Instagram pozwala na scrapowanie tylko publicznie dostępnych danych na swojej platformie, dla której udostępnia dwa interfejsy API. Jednak te interfejsy API oferują bardzo podstawowy poziom scrapowania, nie pozwalając na scrapowanie danych z Instagrama, które są faktycznie istotne.

To pozostawia nas z zewnętrznymi scraperami internetowymi lub tworzy własny scraper przy użyciu języków programowania. Jednak scrapowanie Instagrama Korzystanie z tych nieoficjalnych metod daje większe szanse na wykrycie, dlatego należy upewnić się, że przeglądarka korzysta z funkcji AdsPower zapobiegającej wykryciu w celu zapewnienia dodatkowej ochrony.