Guia de Scraper do Shopify: Duas Maneiras Com e Sem Código

Com mais de 4,8 milhões de lojas, a Shopify se destaca como uma plataforma líder de comércio eletrônico. Nos últimos anos, a receita da Shopify quebrou recordes anteriores, ultrapassando US$ 7,06 bilhões anuais, de acordo com os Resultados Financeiros de 2023 da Shopify.

Tendo em vista esses números, os vastos dados de comércio eletrônico da plataforma se tornam inestimáveis. Esses dados têm grande potencial para empresas e afiliados se manterem à frente, ficarem de olho nas tendências do mercado ou refinarem suas ofertas de produtos.

Ao contrário da crença popular, acessar esses dados não requer necessariamente habilidades extensas de codificação.

Neste blog, iremos guiá-lo pela utilização de um scraper do Shopify sem código, adequado para iniciantes, e também ensinaremos como desenvolver um scraper do Shopify em Python para aqueles com experiência em programação.

Vamos explorar como você pode tirar proveito dos dados do Shopify.

É Possível Fazer Scrapping do Shopify?

De acordo com os Termos de Serviço do Shopify, "Você concorda em não acessar os Serviços ou monitorar qualquer material ou informação dos Serviços usando qualquer robô, spider, scraper ou outros meios automatizados."

Esta cláusula está presente na seção de Termos da Conta, e todos os usuários do Shopify concordam com ela ao criar uma conta.

Consequentemente, se você possui uma conta Shopify, é essencial evitar usá-la para atividades de scraping. Isso se aplica tanto a usuários regulares do Shopify quanto a proprietários de contas comerciais.

Usar um scraper do Shopify para extrair dados da plataforma pode ser detectado pelo sistema e levar a uma possível suspensão da conta.

Os Termos de Serviço da API do Shopify também restringem o uso da API para coletar dados além do permitido. Portanto, se você esperava usá-la para fazer scraping do Shopify, não terá sorte.

Então, duas coisas ficam claras. Não use nenhuma ferramenta ou script externo de scraping do Shopify enquanto estiver logado com sua conta do Shopify e não use a API oficial como um scraper do Shopify.

Então, como você pode fazer scraping do Shopify? Não se preocupe. Essas limitações são para dados privados. Você ainda pode executar um scraper do Shopify no site.

Apenas certifique-se de coletar apenas dados disponíveis publicamente. Você também deve se certificar de não usar os dados exportados do Shopify para fins de duplicação, pois eles podem ser removidos, assim como neste caso.

Há um consenso global não oficial de que o scraping de dados disponíveis publicamente de qualquer plataforma é permitido para uso ético.

Scraper do Shopify: Duas Abordagens Diferentes

Com isso dito, vamos seguir em frente para as técnicas de scraping do Shopify.

Scraper do Shopify sem Código

Já se foram os dias em que o scraping era apenas uma tarefa para programadores. Hoje em dia, existem várias soluções sem código disponíveis no mercado que tornam o scraping muito fácil.

Entre essas ferramentas, ParseHub, Shopify Scraper da Apify e Shopify Product Scraper são líderes de mercado.

Neste guia, iremos guiá-lo pela criação de um scraper de produtos Shopify usando o ParseHub. Vamos começar.

Passo 1: Baixe e Crie uma Conta

Acesse o ParseHub, baixe o arquivo de instalação para o seu sistema operacional e instale o software.

Abra o ParseHub, preencha o formulário de registro com seu nome, endereço de e-mail, uma senha forte e clique no botão "Register".

Passo 2: Iniciar Novo Projeto

Após o login, você verá um botão que diz "New project". Clique nele.



Na próxima tela, cole a URL da loja Shopify que deseja fazer scraping na barra fornecida.

Para esta demonstração, estaremos fazendo scraping desta loja.



Depois de colar o link da página alvo da loja, clique no botão na parte inferior da barra.

A página fornecida será carregada no lado direito da tela.

Dica: Renomeie o nome do projeto para identificá-lo facilmente entre outros arquivos no futuro.



Você pode nomeá-lo com algo relevante, como "produtos_da_shopify".

Passo 3: Selecionar Elementos para Scraping

O ParseHub permite que você clique nos elementos que deseja extrair (como nomes de produtos, preços, classificações) e ele lembra suas seleções.

Como estamos criando um scraper de produtos Shopify, comece com o título do produto; ele ficará verde e os outros ficarão amarelos.



Selecione outro título de produto para torná-los todos verdes.



Você verá a tabela de visualização mostrando nomes e URLs dos produtos.

Passo 4: Renomear a Seleção

Dê um nome apropriado à sua seleção. Como estamos extraindo URLs e nomes de produtos, a chamamos de 'produto'.

É uma boa prática renomear todas as seleções do projeto de forma adequada.

Passo 5: Iniciar o Projeto

Repita os passos 3 e 4 para mais elementos que você deseja extrair. Como queríamos apenas o nome e o URL do produto, nosso fluxo de trabalho do scraper da web do Shopify se parece com isso.



Para iniciar nosso scraper de produtos Shopify, basta clicar no botão "Get Data" e escolher "Run" na próxima tela.



Isso levará algum tempo, dependendo da quantidade de dados.



E aí está! Agora, basta escolher a opção de download de sua preferência.



Por exemplo, salvamos nosso arquivo como Shopify_products.json.

Criando um Scraper do Shopify Usando Python

Ferramentas sem código, sem dúvida, tornam o trabalho 10 vezes mais fácil. Mas elas vêm com suas próprias limitações. Por exemplo, pode não haver um mecanismo para coletar o tipo de dado que você deseja. Além disso, pode haver limites na quantidade de dados que ele pode extrair de uma só vez.

Isso responde porque você precisa programar um scraper do Shopify para tarefas complexas de scraping. Scripts de programação te dão a liberdade de definir seus próprios limites de acordo com suas necessidades. Ele pode extrair qualquer dado da página. Você só precisa escrever um programa para isso.

E qual melhor linguagem para scraping do que Python? Possui uma sintaxe simples e legível e uma grande biblioteca de pacotes úteis.

As lojas Shopify têm um recurso exclusivo que torna o scraping extremamente fácil. Todas as lojas Shopify possuem um arquivo product.json que é acessível publicamente. Este arquivo contém dados sobre todo o estoque de produtos da loja. Possui o nome de cada produto, seu ID exclusivo, preço, fornecedor, descrição e uma infinidade de outros detalhes.

Para acessar este arquivo product.json do Shopify, tudo o que você precisa fazer é colocar "products.json" no final do URL raiz da loja, por exemplo: https://helmboots.com/products.json.



Se você deseja programar um scraper de produtos Shopify, este arquivo product.json do Shopify elimina o trabalho pesado.

Agora você só precisa fazer com que o seu scraper do Shopify envie uma única requisição para este arquivo e extraia todos os dados necessários.
Então, vamos começar a programar nosso scraper Python do Shopify.

Passo 1: Importar Bibliotecas Essenciais

Crie um arquivo Python, por exemplo, python_shopify.py, e importe os pacotes necessários. Vamos precisar das seguintes bibliotecas:

• Json

• Requests

• Pandas

import json import pandas as pd import requests

Passo 2: Buscar o arquivo products.json da loja

Vamos criar uma função fetch_json que receberá a URL do site e o número da página como argumento e retornará o arquivo product.json da loja. Definimos o limite para 30 produtos por página.

Nossa função também conterá tratamento de exceção para alguns erros.

def fetch_json(url, page): try: response = requests.get(f'{url}/products.json?limit=30&page={page}', timeout=5) products_json = response.text response.raise_for_status() return products_json except requests.exceptions.HTTPError as error_http: print("HTTP Error:", error_http) except requests.exceptions.ConnectionError as error_connection: print("Connection Error:", error_connection) except requests.exceptions.Timeout as error_timeout: print("Timeout Error:", error_timeout) except requests.exceptions.RequestException as error: print("Error: ", error)

Passo 3: Criar um Dataframe Pandas usando products.json

Nossa função recebe o arquivo products.json como entrada e o converte em um dataframe Pandas.

def make_df(products_json): try: products_dict = json.loads(products_json) df = pd.DataFrame.from_dict(products_dict['products']) return df except Exception as e: print(e)

Passo 4: Obter Dados de Todas as Páginas

Para coletar todos os produtos, precisamos percorrer as páginas subsequentes.

Para isso, nossa função receberá a URL do site como entrada e retornará o dataframe Pandas contendo todos os dados dos produtos da loja Shopify.

def get_all_products(url): results = True page = 1 df = pd.DataFrame() while results: products_json = fetch_json(url, page) products_dict = make_df(products_json) if len(products_dict) == 0: break else: df = pd.concat([df, products_dict], ignore_index=True) page += 1 df['url'] = f"{url}/products/" + df['handle'] return df

Nosso scraper Python do Shopify está pronto.

Basta passar a URL da loja para esta função e todos os dados serão armazenados na variável products. Você também pode visualizar os dados usando a função products.head().

all_products = get_all_products('https://helmboots.com/') all_products.head(1).T

Além desse método, você também pode utilizar a API Python do Shopify para exportar dados da Shopify.

Mantenha Seu Scraper do Shopify Discreto

Embora o scraping do Shopify geralmente seja inofensivo, é sempre melhor ter um mecanismo para evitar a detecção. É possível que seu scraper do Shopify encontre obstáculos como CAPTCHAs, bloqueios de IP e limites de taxa.

Para garantir que seu scraper do Shopify funcione sem interrupções, você pode usar um navegador antidetect como o AdsPower. O AdsPower possui as medidas necessárias para ajudar seu scraper da web Shopify a manter um perfil discreto, interagir com os sites e exportar dados do Shopify sem nenhum problema.