Посібник зі скрепера Shopify: два способи з кодом і без нього

Маючи понад 4,8 мільйона магазинів, Shopify є провідною платформою електронної комерції. За останні роки доходи Shopify побили попередні рекорди, перевищивши 7,06 мільярда доларів США на рік, згідно з Фінансові результати Shopify за 2023 рік.

Враховуючи ці цифри, обширні дані платформи про електронну комерцію стають безцінними. Ці дані мають великий потенціал для бізнесу та партнерських маркетологів, щоб залишатися на крок попереду, стежити за ринковими тенденціями або вдосконалювати свої пропозиції продуктів.

Всупереч поширеній думці, доступ до цих даних не обов'язково вимагає широких навичок кодування.

У цьому блозі ми розповімо вам про використання скрепера Shopify без коду, придатного для початківців, а також про те, як розробити скрепер Shopify на Python для тих, хто має досвід програмування.

Давайте розглянемо, як ви можете використовувати дані Shopify на свою користь.

Чи можна парсити Shopify?

Згідно зУмови надання послуг Shopify,“Ви погоджуєтеся не отримувати доступ до Сервісів або не відстежувати будь-які матеріали чи інформацію з Сервісів за допомогою будь-якого робота, павука, скрепера або інших автоматизованих засобів.”

Цей пункт знаходиться в розділі «Умови облікового запису», і всі користувачі Shopify погоджуються з ним під час створення облікового запису.

Отже, якщо у вас є обліковий запис Shopify, вкрай важливо утримуватися від його використання для парсингу. Це стосується як звичайних користувачів Shopify, так і власників бізнес-акаунтів.

Використання парсера Shopify для вилучення даних платформи ризикує бути виявленим системою та потенційним блокуванням облікового запису.

Умови використання API Shopify також обмежують використання API для збору даних у більшій кількості, ніж дозволено, тому, якщо ви сподівалися використати його для парсингу Shopify, вам не пощастило.

Отже, дві речі зрозумілі. Не використовуйте жодних зовнішніх інструментів чи скриптів Shopify Scraper, коли ви ввійшли у свій обліковий запис Shopify, і не використовуйте офіційний API як скрепер Shopify.

Тоді як ви можете парсити Shopify? Не хвилюйтеся. Ці обмеження стосуються парсингу приватних даних. Ви все ще можете запустити парсер Shopify на сайті.

Просто переконайтеся, що ви парсите лише загальнодоступні дані. Вам також слід переконатися, що ви не використовуєте експортовані дані Shopify для дублювання, оскільки вони можуть бути видалені, як у цей випадок.

Це неофіційний глобальний консенсус що збір публічно даних з будь-якої платформи дозволений для етичного використання.

Shopify Скрепер: два різні підходи

З огляду на це, давайте перейдемо далі до методів парсингу Shopify.

Shopify Скрепер без коду

Минули ті часи, коли парсинг був виключно роботою кодера. Сьогодні на ринку доступно кілька рішень без кодування, які значно спрощують парсинг.

Серед цих інструментів лідерами ринку є ParseHub, Shopify Scraper від Apify та Shopify Product Scraper.

У цьому посібнику ми розповімо вам про створення парсера продуктів Shopify за допомогою ParseHub. Давайте почнемо.

Крок 1: Завантаження та створення облікового запису

Перейдіть за посиланнямParseHub, завантажте файл встановлення для вашої операційної системи та встановіть програмне забезпечення.

Відкрийте ParseHub, заповніть форму реєстрації, вказавши своє ім'я, адресу електронної пошти та надійний пароль, а потім натисніть кнопку «Зареєструватися».

Крок 2: Розпочати новий проект

Після входу ви побачите кнопку з написом «Новий проект». Натисніть на неї.

На наступному екрані вставте URL-адресу магазину Shopify, з якого ви хочете зібрати дані, у наданий рядок.

Для цієї демонстрації ми будемо зібрати даніцей магазин.

Після вставки посилання на цільову сторінку магазину натисніть кнопку внизу панелі.

Задана сторінка завантажиться у правій частині екрана.

Порада:Перейменуйте назву проекту, щоб легко ідентифікувати файл серед інших файлів у майбутньому.

Вам слід назвати це якось релевантно, наприклад, shopify_products.

Крок 3: Почніть вибирати елементи для парсингу

ParseHub дозволяє вам натискати на елементи, які ви хочете зібрати (наприклад, назви продуктів, ціни, рейтинги), і запам'ятовує ваш вибір.

Оскільки ми створюємо скрепер продуктів Shopify, почніть з назви продукту; вона стане зеленою, а інші стануть жовтими.

Виберіть іншу назву продукту, щоб зробити їх усі зеленими.

Ви побачите таблицю попереднього перегляду з назвами продуктів та URL-адресами.

Крок 4: Перейменуйте виділення

Назвіть своє виділення належним чином. Оскільки ми витягуємо URL-адреси та назви продуктів, ми назвали наш «продукт».

Доброю практикою є перейменовувати всі виділення проєкту належним чином.

Крок 5: Розпочати проект

Повторіть кроки 3 та 4, щоб отримати більше елементів, які ви хочете зібрати. Оскільки нам потрібна була лише назва продукту та URL-адреса, наш робочий процес веб-скрепера Shopify виглядає ось так.

Щоб запустити наш парсер продуктів Shopify, просто натисніть кнопку «Отримати дані» та виберіть «Запустити» на наступному екрані.

Це займе певний час, залежно від кількості даних.

І-і-і ось воно! Тепер просто виберіть бажаний варіант завантаження.

Наприклад, ми зберегли наш файл як Shopify_products.json.

Створення парсера Shopify за допомогою Python

Інструменти без коду, безсумнівно, спрощують роботу в 10 разів. Але вони мають свої обмеження. Наприклад, у нього може не бути механізму для парсингу того типу даних, який ви хочете парсити. Крім того, у нього можуть бути обмеження на обсяг даних, які він може парсити за один раз.

Це відповідає на питання, чому вам доведеться написати скрепер Shopify для складних завдань парсингу. Програмні скрипти дають вам свободу встановлювати власні обмеження відповідно до ваших потреб. Він може парсити будь-які дані на сторінці. Вам просто потрібно буде написати для цього програму.

А яка ж мова краща для парсингу, ніж Python? Вона має простий та зрозумілий синтаксис і велику бібліотеку корисних пакетів.

Магазини Shopify мають унікальну функцію, яка робить парсинг надзвичайно простим. Усі магазини Shopify мають файл product.json, який є загальнодоступним. Цей файл містить дані про весь асортимент товарів у магазині. Він містить назву кожного товару, його унікальний ідентифікатор, ціну, постачальника, опис та безліч інших деталей.

Щоб отримати доступ до цього файлу Shopify product.json, вам потрібно лише розмістити файл products.json в кінці кореневої URL-адреси магазину, тобто https://helmboots.com/products.json.

Якщо ви хочете написати код для скрепера товарів Shopify, цей файл Shopify products.json позбавить вас від важкої роботи.

Тепер вам просто потрібно зробити так, щоб ваш веб-скрепер Shopify надіслав один запит до цього файлу та витягнув усі необхідні дані.

Отже, давайте почнемо програмувати наш скрепер Shopify на Python.

Крок 1: Імпорт основних бібліотек

Створіть файл Python, тобто python_shopify.py, та імпортуйте пакети. Нам знадобляться такі бібліотеки:

• Json
• Запити
• Панди
  
  

import json import pandasas pd import запити

Крок 2: Отримання файлу products.json магазину

Ми створимо функцію fetch_json, яка прийматиме URL-адресу сайту та номер сторінки як аргумент і повертатиме файл product.json магазину. Ми встановили обмеження до 30 товарів на сторінці.

Наша функція також міститиме обробку винятків для деяких помилок.

def fetch_json(url, сторінка): спробуйте: requests.get(f'{url/products.json?limit=30&page={page', timeout=5) data-type="text"> return products_json за винятком requests.exceptions.HTTPError as error_http: print("Помилка HTTP:", error_http) за винятком requests.exceptions.ConnectionError as error_connection: print("Помилка з'єднання:", error_connection) за винятком requests.exceptions.Timeout as error_timeout: print("Помилка тайм-ауту:", error_timeout) за винятком requests.exceptions.RequestExceptionas error: print("Помилка: ", error)

Крок 3: Створення фрейму даних Pandas за допомогою products.json

Наша функція приймає файл products.json як вхідні дані та перетворює його на фрейм даних Pandas.

def make_df(products_json): спробуйте: products_dict=json.loads(products_json) = pd.DataFrame.from_dict(products_dict['products']) return df за виняткомВинятокякe: print(e)

Крок 4: Отримання даних з усіх сторінок

Щоб зібрати всі продукти, нам доведеться переглянути наступні сторінки.

Для цього наша функція візьме URL-адресу сайту як вхідні дані та поверне фрейм даних Pandas, що містить усі дані про продукт магазину Shopify.

def get_all_products(url): результати= True сторінка= 1 = pd.DataFrame() while результати: products_json= fetch_json(url, сторінка) products_dict=make_df(products_json) if len(products_dict) == 0: break else: df = pd.concat([df, products_dict], ignore_index=True) сторінка += 1 df['url']=f"{url/products/"+df['дескриптор'] return df

Наш скрепер для Shopify на Python готовий.

Просто передайте URL-адресу сховища до цієї функції, і всі дані будуть збережені до змінної product.

Ви також можете переглянути дані за допомогою функції products.head().

all_products=get_all_products('https://helmboots.com/') all_products.head(1).T

Окрім цього методу, ви також можете використовувати Shopify API Pythonдля експорту даних Shopify.

Зробіть свій парсер Shopify непомітним

Хоча парсинг Shopify зазвичай нешкідливий, завжди краще мати механізм для обходу виявлення. Можливо, ваш Shopify Scraper може зіткнутися з перешкодами, такими як CAPTCHA, заборони IP-адрес та обмеження швидкості.

Щоб забезпечити безперебійну роботу вашого Shopify Scraper, ви можете використовувати браузер-антидетектор, такий як AdsPower. AdsPower має необхідні заходи, щоб допомогти вашому веб-скреперу Shopify підтримувати низький профіль, взаємодіяти з сайтами та експортувати дані Shopify без будь-яких проблем.