Como Scrapear o Etsy Com e Sem Código?

O Etsy é o lar de produtos artesanais, itens vintage e artesanatos. Com quase 500 milhões de visitas mensais, é um mercado altamente lucrativo para vendedores que buscam expandir seus negócios.

Saber o que vende bem, seguir as últimas tendências e analisar os concorrentes é essencial para o crescimento do seu negócio.

No entanto, vasculhar manualmente milhões de listagens de produtos Etsy é muito trabalho, se não impossível.

É aí que você precisa raspar os dados do Etsy. Ao fazer isso, você obterá muitos dados valiosos do Etsy de forma organizada, economizando tempo e esforço.

É exatamente disso que trata este guia. Mostraremos como raspar o Etsy usando um scraper Etsy sem código e Python. Portanto, quer você tenha experiência em codificação ou não, este guia será útil.

2 maneiras de raspar o Etsy

Abaixo estão os dois métodos para raspar o Etsy. O primeiro usa um scraper Etsy sem código e ajudará usuários sem experiência em codificação, enquanto o segundo depende do Python. Portanto, escolha entre duas abordagens com base em seu conjunto de habilidades.

Usando um scraper Etsy pronto para usar

Antigamente, raspar era apenas um trabalho para programadores. No entanto, com o surgimento de ferramentas de scraping sem código, o web scraping se tornou acessível a qualquer pessoa com conhecimento mínimo de computação.

Hoje, estamos usando uma ferramenta sem código chamada Octoparse para raspar o Etsy. Então, vamos começar o tutorial passo a passo.

1º passo: Baixe e instale o Octoparse

Visite o site do Octoparse para baixar a ferramenta. Depois de baixado, siga as etapas simples fornecidas para instalá-lo em seu computador.

Agora, inicie o Octoparse e crie uma nova conta ou entre usando sua conta do Google ou Microsoft, se já tiver uma.

Com o Octoparse, você tem duas opções para raspar dados do Etsy: usar um modelo pré-construído ou criar um scraper personalizado.



Este guia se concentrará na construção de um scraper Etsy personalizado. Embora usar um modelo seja relativamente fácil, criar o seu próprio permite mais personalização. Vamos começar com isso.

2º passo: Insira a URL do Etsy para obter um fluxo de trabalho automatizado

Inicie o Octoparse e, na barra de pesquisa, cole a URL da página do Etsy que deseja raspar.

Você pode querer raspar a página de listagem de produtos do Etsy ou a página de resultados de pesquisa. O Octoparse pode lidar com qualquer URL.



Depois de colar a URL, clique em "Iniciar" para carregar a página do Etsy no Octoparse. Para nosso exemplo, usaremos uma página de resultados de pesquisa para “velas artesanais”.

3º passo: escolha os dados para extrair

Depois de pressionar Iniciar, a página será carregada no Octoparse, que então identifica e rotula automaticamente os dados que considera raspáveis.



Assim que esse processo for concluído, você verá todos os dados do produto detectados rotulados (talvez seja necessário renomear alguns para maior precisão) e exibidos em uma tabela de visualização abaixo.

Você tem a opção de remover qualquer coluna de dados que considerar desnecessária clicando no ícone da lixeira ao lado delas.

Se as coisas correrem bem, o Octoparse também pode lidar automaticamente com a paginação para que o scraper possa navegar por várias páginas.

Clique em “Criar Fluxo de Trabalho” para ver um fluxograma do seu projeto de scraping. Sinta-se à vontade para ajustar isso adicionando ou removendo etapas conforme necessário.

4º passo: ajustar rótulos de dados

Às vezes, o Octoparse pode rotular incorretamente os campos de dados. Você vai querer corrigi-los. Por exemplo, vamos alterar uma coluna incorretamente nomeada de “título” para “avaliação” clicando duas vezes no nome da coluna e inserindo o correto.



Da mesma forma, altere outros nomes de colunas incorretamente rotulados.

Você notará que nosso fluxo de trabalho também coleta alguns dados inúteis, como símbolos de moeda ou texto de botão. Você pode remover esses campos clicando nos três pontos ao lado do nome da coluna e selecionando a opção ‘Excluir campo’ no menu.



Depois de organizar e nomear os campos de dados, é assim que se parece nossa tabela de visualização.

5º passo: Inicie o seu scraper Etsy

Depois que tudo estiver configurado, clique em "Salvar" seguido de "Executar" no canto superior direito da janela para iniciar a raspagem de dados do Etsy.



Um prompt aparecerá, perguntando se você prefere executar a tarefa no seu dispositivo ou na nuvem. Optamos por executar este tutorial localmente.



Lembre-se, você deve interromper manualmente a tarefa clicando em "Parar" ou "Pausar" para evitar que ela seja executada indefinidamente, pois não definimos um limite de página e o Etsy pode ter páginas infinitas.

6º passo: exportar os dados raspados do Etsy

Finalmente, você pode exportar os dados raspados em formatos como Excel, CSV ou outros com base em seus requisitos.

Raspagem do Etsy usando Python

Embora a raspagem por meio de ferramentas sem código seja a mais fácil, também existe uma maneira fácil de raspar o Etsy usando Python.

A API Python Etsy possui funções integradas para raspar dados de produtos e vendedores do Etsy.

A função de raspagem de produto pega a URL do produto como entrada e extrai o ID do produto, título, descrição e preço, entre outros atributos. A função do fornecedor funciona da mesma maneira e retorna campos de dados como nome do fornecedor, localização, número de vendas e lista de produtos.

Tudo o que resta para você é instalar a biblioteca em seu sistema usando pip install etsy_scraper e importá-la para o seu script digitando import etsy_scraper.

Depois disso, chame a função de produto ou fornecedor com a URL relevante do Etsy como entrada, assim:

import etsy_scraper productScrape(https://www.etsy.com/listing/540091623/italian-garden-essential-oil-candle?click_key=100bc1abf4cfe1ad2b3fef753903f0f5003a836b%3A540091623&click_sum=e4f02487&external=1&ref=hp_signed_out_opfy-1-1) vendorScrape(https://www.etsy.com/shop/OctoandCo?ref=shop-header-name&listing_id=540091623&from_page=listing)

No entanto, esta biblioteca possui funcionalidade limitada e não pode raspar a página de listagem de produtos do Etsy ou os resultados de pesquisa.

Portanto, você terá que codificar um scraper Python Etsy do zero. Aqui estão os passos básicos para fazer isso:

1. Instale o Python: Baixe a versão mais recente do Python no site oficial.

2. Instale BeautifulSoup e outras bibliotecas: Você precisa instalar as bibliotecas Python necessárias para web scraping.

   • BeautifulSoup4 para analisar documentos HTML e XML

   • Biblioteca requests para fazer solicitações HTTP

   • lxml para analisar XML e HTML em Python

   • soupsieve para seleção CSS avançada

3. Escreva o código inicial: Abra seu editor de código e importe BeautifulSoup de bs4 e requests.

4. Finja ser um navegador: No seu script, inclua cabeçalhos HTTP para imitar uma solicitação do navegador. Alterar o cabeçalho do agente do usuário geralmente é necessário para acessar páginas da web que restringem o acesso a scripts ou bots.

5. Buscar a página da web: Use a biblioteca 'requests' para buscar a página do Etsy que você está interessado em raspar. Passe a URL e os cabeçalhos como argumentos.

6. Analise a página: Depois de ter o conteúdo da página, use BeautifulSoup para analisá-la. Isso envolve a criação de um objeto BeautifulSoup e a especificação de 'lxml' como o analisador.

7. Use seletores CSS: Inspecione a página do Etsy para identificar os seletores CSS correspondentes aos dados que você deseja raspar. Entenda a estrutura da página da web e encontre as classes ou tags que contêm os dados desejados.

8. Extrair dados: Percorra os elementos selecionados pelos seletores CSS e extraia as informações de que você precisa, como títulos de produtos, preços, classificações ou imagens.

9. Exportar dados: Depois que seu script estiver funcionando como esperado, exporte os dados para um formato de arquivo de sua escolha, como CSV ou JSON.
   
   

Para um tutorial detalhado com snippets de código, visite este blog.

Raspe o Etsy sem Obstáculos

No nosso tutorial, apenas arranhamos a superfície dos dados do Etsy, então não tivemos problemas. No entanto, seu scraper Etsy pode encontrar resistência se você coletar grandes quantidades de dados.

Raspar grandes volumes de dados requer o envio de muitas solicitações HTTP ao servidor web do Etsy, o que não é um comportamento humano normal. Isso pode expor seu scraper Etsy e fazê-lo ser bloqueado permanentemente.

Mas aqui está a boa notícia: o AdsPower pode manter seus projetos de raspagem do Etsy funcionando sem problemas e evitando bloqueios.

O AdsPower é um navegador antidetect respeitável projetado para mascarar suas atividades de raspagem. Ele usa técnicas avançadas como rotação de proxy, falsificação de impressão digital e atrasos de solicitação para camuflar seu scraper e fazê-lo parecer tráfego regular do navegador para os sistemas anti-bot do Etsy.

Inscreva-se no AdsPower gratuitamente hoje e raspe o Etsy sem medo de bloqueios ou proibições.