Guide du scraper Shopify : deux méthodes avec et sans code

Résultats financiers 2023 de Shopify.

Compte tenu de ces chiffres, les vastes données e-commerce de la plateforme deviennent inestimables. Ces données représentent un potentiel considérable pour les entreprises et les spécialistes du marketing d'affiliation, leur permettant de garder une longueur d'avance, de suivre les tendances du marché ou d'affiner leur offre de produits.

Contrairement aux idées reçues, accéder à ces données ne nécessite pas forcément de compétences approfondies en codage.

Dans cet article, nous vous guiderons dans l'utilisation d'un scraper Shopify sans code, adapté aux débutants, ainsi que dans le développement d'un scraper Shopify Python pour les personnes ayant des connaissances en programmation.

Découvrons comment exploiter les données Shopify à votre avantage.

Peut-on scraper Shopify ?

D'après Conditions d'utilisation de Shopify, “Vous acceptez de ne pas accéder aux Services ni de surveiller les contenus ou informations des Services à l'aide de robots, d'araignées, de scrapers ou de tout autre moyen automatisé.”

Cette clause figure dans la section Conditions du compte, et tous les utilisateurs Shopify l'acceptent lors de la création de leur compte.

Par conséquent, si vous possédez un compte Shopify, il est impératif de ne pas l'utiliser pour des activités de scraping. Ceci s'applique aussi bien aux utilisateurs Shopify réguliers qu'aux titulaires de comptes professionnels.

L'utilisation d'un scraper Shopify pour extraire les données de la plateforme risque d'être détectée par le système et d'entraîner une suspension potentielle du compte.

LeLes conditions d'utilisation de l'API Shopify restreignent également l'utilisation de l'API pour la collecte de données en quantité supérieure à celle autorisée. Par conséquent, si vous espériez l'utiliser pour scraper des données Shopify, vous n'avez pas de chance.

Deux choses sont claires : n’utilisez aucun outil ou script de scraping Shopify externe lorsque vous êtes connecté à votre compte Shopify, et n’utilisez pas l’API officielle comme scraping Shopify.

Alors, comment scraper Shopify ? Pas d’inquiétude. Ces limitations concernent le scraping de données privées. Vous pouvez toujours utiliser un scraper Shopify sur le site.

Assurez-vous simplement de récupérer uniquement les données accessibles au public. Vous devez également vous assurer de ne pas utiliser l'exportation de données Shopify à des fins de duplication, car elle risque d'être supprimée, comme dans ce cas.

Il existe un consensus mondial officieux selon lequel le scraping de données accessibles au public, quelle que soit la plateforme, est autorisé pour une utilisation éthique.

Shopify Scraper : deux approches différentes

Sur ce, explorons les techniques de scraping Shopify.

Scrapeur Shopify sans code

L'époque où le scraping était réservé aux codeurs est révolue. Aujourd'hui, plusieurs solutions sans code sont disponibles sur le marché pour simplifier le scraping.

Parmi ces outils, ParseHub, Shopify Scraper d'Apify et Shopify Product Scraper sont les leaders du marché.

Dans ce guide, nous vous guiderons dans la création d'un scraper de produits Shopify à l'aide de ParseHub. Commençons !

Étape 1 : Télécharger et créer un compte

Accédez àParseHub, téléchargez le fichier d'installation de votre système d'exploitation et installez le logiciel.

Ouvrez ParseHub, remplissez le formulaire d'inscription avec votre nom, votre adresse e-mail et un mot de passe sécurisé, puis cliquez sur le bouton « S'inscrire ».

Étape 2 : Démarrer un nouveau projet

Une fois connecté, vous verrez un bouton « Nouveau projet ». Cliquez dessus.

Dans l'écran suivant, collez l'URL de la boutique Shopify que vous souhaitez scraper dans la barre prévue à cet effet.

Pour cette démonstration, nous allons scraperce magasin.

Après avoir collé le lien vers la page cible de la boutique, cliquez sur le bouton en bas de la barre.

La page affichée se chargera à droite de l'écran.

Conseil : Renommez le projet pour identifier facilement le fichier parmi d'autres fichiers ultérieurement.

Vous devriez lui donner un nom pertinent, comme « shopify_products ».

Étape 3 : Commencer à sélectionner les éléments à extraire

ParseHub vous permet de cliquer sur les éléments à extraire (comme les noms de produits, les prix, les notes) et mémorise vos sélections.

Puisque nous développons un scraper de produits Shopify, commencez par le titre du produit ; il deviendra vert, et les autres deviendront jaunes.

Sélectionnez un autre titre de produit pour les rendre tous écologiques.

Vous verrez le tableau d'aperçu indiquant les noms et les URL des produits.

Étape 4 : Renommer la sélection

Nommez votre sélection de manière appropriée. Puisque nous extrayons les URL et les noms des produits, nous avons appelé la nôtre « produit ».

Il est recommandé de renommer toutes les sélections du projet de manière appropriée.

Étape 5 : Démarrer le projet

Répétez les étapes 3 et 4 pour extraire les éléments supplémentaires que vous souhaitez extraire. Comme nous souhaitions uniquement le nom et l'URL du produit, notre flux de travail pour l'extraction de données Web Shopify ressemble à ceci.

Pour démarrer notre scraper de produits Shopify, cliquez simplement sur le bouton « Obtenir les données » et sélectionnez « Exécuter » dans l'écran suivant.

Cela prendra du temps, selon la quantité de données.

Et voilà ! Choisissez simplement votre option de téléchargement préférée.

Par exemple, nous avons enregistré notre fichier sous le nom Shopify_products.json.

Créer un scraper Shopify avec Python

Les outils no-code, sans aucun doute, simplifient considérablement la tâche. Mais ils ont leurs limites. Par exemple, ils peuvent ne pas disposer d'un mécanisme permettant de scraper le type de données souhaité. De plus, ils peuvent limiter la quantité de données pouvant être extraites en une seule fois.

Cela répond à la question de savoir pourquoi vous devrez coder un Scraper Shopify pour les tâches de scraping complexes. Les scripts de programmation vous donnent la liberté de bsp;définissez vos propres limites selon vos besoins. Il peut extraire toutes les données de la page. Il vous suffit d'écrire un programme.

Et quel meilleur langage que Python pour extraire des données ? Sa syntaxe est simple et lisible, et il dispose d'une vaste bibliothèque de packages utiles.

Les boutiques Shopify disposent d'une fonctionnalité unique qui simplifie considérablement leur scraping. Toutes les boutiques Shopify disposent d'un fichier product.json accessible au public. Ce fichier contient les données relatives à l'ensemble du stock de produits de la boutique. Il contient le nom de chaque produit, son identifiant unique, son prix, le nom du fournisseur, sa description et de nombreux autres détails.

Pour accéder à ce fichier Shopify product.json, il vous suffit de placer le fichier « products.json » à la fin de l'URL racine de la boutique, c'est-à-dire https://helmboots.com/products.json.

Si vous souhaitez coder un scraper de produits Shopify, ce fichier Shopify products.json vous simplifie la tâche.

Il ne vous reste plus qu'à créer un scraper Web Shopify pour envoyer une seule requête à ce fichier et extraire toutes les données nécessaires.

Commençons donc à programmer notre scraper Python Shopify.

Étape 1 : Importer les bibliothèques essentielles

Créez un fichier Python (p. ex. python_shopify.py) et importez les packages. Nous aurons besoin des bibliothèques suivantes :

• Json
• Requêtes
• Pandas
  
  

importer json importer pandascomme pd import requêtes

Étape 2 : Récupérer le fichier products.json de la boutique

Nous allons créer une fonction fetch_json qui prendra l'URL et le numéro de page du site comme argument et renverra le fichier product.json de la boutique. Nous avons fixé la limite à 30 produits par page.

Notre fonction gérera également les exceptions pour certaines erreurs.

def fetch_json(url, page): essayer: réponse = requests.get(f'{url}/products.json?limit=30&page={page}', timeout=5) products_json = response.text response.raise_for_status() retour produits_json sauf requests.exceptions.HTTPError comme erreur_http : print("Erreur HTTP :", error_http) sauf requests.exceptions.ConnectionError comme erreur_connexion : print("Erreur de connexion :", error_connection) sauf requests.exceptions.Timeout comme erreur_délai_d'expiration : print("Erreur de dépassement de délai :", error_timeout) sauf requests.exceptions.RequestException comme erreur : print("Erreur :", erreur)

Étape 3 : Créer un dataframe Pandas avec products.json

Notre fonction prend le fichier products.json en entrée et le convertit en dataframe Pandas.

def make_df(products_json): essayez: products_dict = json.loads(products_json) df = pd.DataFrame.from_dict(products_dict['produits']) retour df sauf Exception comme e: print(e)

Étape 4 : Récupérer les données de toutes les pages

Pour extraire tous les produits, nous devons parcourir les pages suivantes.

Pour cela, notre fonction prend l'URL du site en entrée et renvoie le dataframe Pandas contenant toutes les données produit de la boutique Shopify.

def obtenir_tous_les_produits(url): résultats = Vrai page = 1 df = pd.DataFrame() while résultats : products_json = fetch_json(url, page) products_dict = make_df(products_json) si len(products_dict) == 0: break sinon : df = pd.concat([df, products_dict], ignore_index=True) page += 1 df['url'] = f"{url}/produits/" + df['handle'] return df

Notre scraper Python Shopify est prêt.

Transmettez simplement l'URL du magasin à cette fonction, et toutes les données seront stockées dans la variable produit.

Vous pouvez également prévisualiser les données à l'aide de la fonction products.head().

tous_produits = obtenir_tous_produits('https://helmboots.com/') all_products.head(1).T

Outre cette méthode, vous pouvez également utiliser API Python Shopify pour exporter les données Shopify.

Rendez votre scraper Shopify indétectable

Bien que le scraping de Shopify soit généralement inoffensif, il est toujours préférable de disposer d'un mécanisme permettant de contourner la détection. Il est possible que votre scraper Shopify rencontre des obstacles tels que des CAPTCHA, des interdictions d'adresse IP et des limites de débit.

Pour garantir le bon fonctionnement de votre scraper Shopify, vous pouvez utiliser un navigateur anti-détection commeAdsPower. AdsPower dispose des mesures nécessaires pour aider votre scraper Web Shopify à maintenir un profil bas, à interagir avec les sites et à exporter les données Shopify sans problème.