Shopify Scraper Rehberi: Kodlu ve Kodsuz İki Yöntem

4,8 milyondan fazla mağazasıyla Shopify, lider bir e-ticaret platformu olarak öne çıkıyor. Son yıllarda Shopify gelirlerinin önceki rekorları altüst ettiğine ve yıllık 7,06 milyar doları aştığına tanık olduk. Shopify'ın 2023 Finansal Sonuçları.

Bu rakamlar göz önüne alındığında, platformun kapsamlı e-ticaret verileri paha biçilmez hale geliyor. Bu veriler, işletmelerin ve satış ortağı pazarlamacılarının öne çıkmaları, pazar trendlerini takip etmeleri veya ürün tekliflerini geliştirmeleri için büyük bir potansiyel taşıyor.

Yaygın inanışın aksine, bu verilere erişmek için kapsamlı kodlama becerilerine sahip olmak gerekmiyor.

Bu blog yazısında, yeni başlayanlar için uygun, kodsuz bir Shopify kazıyıcısının nasıl kullanılacağına ve programlama geçmişi olanlar için bir Python Shopify Kazıyıcısının nasıl geliştirileceğine dair size rehberlik edeceğiz.

Shopify verilerini kendi avantajınıza nasıl kullanabileceğinizi keşfedelim.

Shopify'ı Kazıyabilir misiniz?

'a göre href="https://www.shopify.com/legal/terms#11-d-m-c-a-notice-and-takedown-procedure" target="_blank" rel="noopener noreferrer" data-link-href-cangjie="https://www.shopify.com/legal/terms#11-d-m-c-a-notice-and-takedown-procedure">Shopify’ın Hizmet Şartları, “Hizmetlere erişmemeyi veya Hizmetlerden gelen hiçbir materyali veya bilgiyi herhangi bir robot, örümcek, kazıyıcı veya diğer otomatik araçlar kullanarak izlememeyi kabul edersiniz.”

Bu madde Hesap Şartları bölümüne aittir ve tüm Shopify kullanıcıları hesap oluştururken bunu kabul eder.

Sonuç olarak, bir Shopify hesabınız varsa, onu veri toplama faaliyetleri için kullanmaktan kaçınmanız zorunludur. Bu hem normal Shopify kullanıcıları hem de işletme hesabı sahipleri için geçerlidir.

Platform verilerini çıkarmak için bir Shopify veri kazıyıcısı kullanmak, sistem tarafından tespit edilme ve olası bir hesap askıya alma riski taşır.

Shopify API Kullanım Şartları ayrıca API'nin izin verilenden fazla veri toplamak için kullanımını da kısıtlar, bu nedenle onu Shopify'da veri toplamak için kullanmayı umuyorsanız, şansınız tükendi.

Yani, iki şey açık. Shopify hesabınızla oturum açmışken harici Shopify Scraper araçları veya betikleri kullanmayın ve resmi API'yi Shopify Scraper olarak kullanmayın.

Peki Shopify'ı nasıl scraper edebilirsiniz? Endişelenmeyin. Bu sınırlamalar özel verilerin scraper'ı içindir. Sitede yine de bir Shopify scraper çalıştırabilirsiniz.

Sadece kamuya açık verileri kazıdığınızdan emin olun. Ayrıca Shopify veri dışa çoğaltma amaçlarıyla kullanmadığınızdan emin olun, kaldırılmaya meyi ye me me me me me me me me me me me me me me me me me me me me me me me me me me me bu durum.

Herhangi bir platformdan kamuya açık verilerin toplanmasının etik kullanım için izin verildiğine dair resmi olmayan küresel bir fikir birliği vardır.

Shopify Kazıyıcı: İki Farklı Yaklaşım

Bu notla birlikte, Shopify Kazıma tekniklerine doğru ilerleyelim.

Kodsuz Shopify Scraper

Scraper'ın yalnızca bir kodlayıcının işi olduğu günler geride kaldı. Günümüzde, piyasada scraper'ı çocuk oyuncağı haline getiren birçok kodsuz çözüm bulunmaktadır.

Bu araçlar arasında ParseHub, Apify'dan Shopify Scraper ve Shopify Product Scraper pazar liderleridir.

Bu kılavuzda, ParseHub kullanarak bir Shopify Ürün Kazıyıcısı oluşturma adımlarını adım adım açıklayacağız. Hadi başlayalım.

1. Adım: İndirin ve Hesap Oluşturun

Şuraya gidin:ParseHub'a gidin, işletim sisteminiz için kurulum dosyasını indirin ve yazılımı yükleyin.

ParseHub'ı açın, kayıt formunu adınız, e-posta adresiniz ve güçlü bir parola ile doldurun ve ardından "Kayıt Ol" düğmesine basın.

Adım 2: Yeni Proje Başlat

Giriş yaptıktan sonra, "Yeni Proje" yazan bir düğme göreceksiniz. Üzerine tıklayın.

Sonraki ekranda, kopyalamak istediğiniz Shopify mağazasının URL'sini verilen çubuğa yapıştırın.

Bu demo için, kopyalama yapacağız.bu mağaza.

Mağazanın hedef sayfasının bağlantısını yapıştırdıktan sonra, çubuğun altındaki düğmeye basın.

Belirtilen sayfa, ekranın sağ tarafına yüklenecektir.

İpucu: Projenin adını yeniden adlandırın; böylece dosyayı gelecekte diğer dosyalar arasında kolayca tanımlayabilirsiniz.

Buna, shopify_products gibi, alakalı bir isim vermelisiniz.

3. Adım: Kazınacak Öğeleri Seçmeye Başlayın

ParseHub, kazımak istediğiniz öğelere (ürün adları, fiyatlar, puanlar gibi) tıklamanızı ve seçimlerinizi hatırlamanızı sağlar.

Bir Shopify Ürün Kazıyıcısı oluşturduğumuz için, ürün başlığıyla başlayın; yeşile, diğerleri ise sarıya dönecektir.

Hepsini yeşil yapmak için başka bir ürün başlığı seçin.

Ürün adlarını ve URL'lerini gösteren önizleme tablosunu göreceksiniz.

4. Adım: Seçimi Yeniden Adlandırın

Seçiminize uygun bir ad verin. Ürün URL'lerini ve adlarını çıkardığımız için, bizimkine "ürün" adını verdik.

Projenin tüm seçimlerini uygun şekilde yeniden adlandırmak iyi bir uygulamadır.

Adım 5: Projeyi Başlatın

Kazımak istediğiniz daha fazla öğe için 3. ve 4. adımları tekrarlayın. Sadece ürün adını ve URL'sini istediğimiz için, Shopify web kazıyıcı iş akışımız şuna benzer.

Shopify ürün kazıyıcımızı başlatmak için, Veri Al düğmesine basmanız ve bir sonraki ekranda 'çalıştır'ı seçmeniz yeterlidir.

Veri miktarına bağlı olarak biraz zaman&alacaktır.

Ve işte işte işte işte işte işte işte işte işte işte işte işte işte istediğiniz indirme seçeneğini

Örneğin, dosyamızı Shopify_products.json olarak kaydettik.

Python Kullanarak Shopify Veri Kazıyıcı Oluşturma

Kodsuz araçlar, şüphesiz, işi 10 kat daha kolaylaştırır. Ancak bunların da kendine özgü sınırlamaları vardır. Örneğin, kazımak istediğiniz veri türünü kazıyacak bir mekanizması olmayabilir. Ayrıca, tek seferde kazıyabileceği veri miktarı konusunda sınırlamalar olabilir.

Bu, karmaşık kazıma görevleri için bir Shopify Kazıyıcı kodlamanız gerektiği konularını çözgür verir. Programlama komut dosyaları size İhtiyaçlarınıza göre kendi sınırlarınızı ayarlayın. Sayfadaki tüm verileri tarayabilir. Tek yapmanız gereken bunun için bir program yazmak.

Ve Python'dan daha iyi bir veri tarama dili var mı? Basit ve okunabilir bir söz dizimine ve kullanışlı paketlerden oluşan geniş bir kütüphaneye sahiptir.

Shopify mağazaları, veri toplamayı son derece kolaylaştıran benzersiz bir özelliğe sahiptir. Tüm Shopify mağazalarının, herkesin erişebileceği bir product.json dosyası vardır. Bu dosya, mağazanın tüm ürün stokuyla ilgili verileri içerir. Her ürünün adı, benzersiz kimliği, fiyatı, satıcısı, açıklaması ve diğer birçok ayrıntıyı içerir.

Bu Shopify product.json dosyasına erişmek için tek yapmanız gereken, products.json dosyasını mağazanın kök URL'sinin sonuna yerleştirmektir. Yani, https://helmboots.com/products.json.

Bir Shopify Ürün Kazıyıcı kodlamak istiyorsanız, bu Shopify products.json dosyası sizi zor işlerden kurtarır.

Artık tek yapmanız gereken Shopify Web Kazıyıcınızı bu dosyaya tek bir istek göndermek ve gerekli tüm verileri ayıklamak.

Öyleyse, Shopify Python Scraper'ımızı programlamaya başlayalım.

1. Adım: Temel Kitaplıkları İçe Aktarma

Bir Python dosyası oluşturun, yani python_shopify.py ve paketleri içe aktarın. Aşağıdaki kütüphanelere ihtiyacımız olacak:

• Json
• İstekler
• Pandalar
  
  

içe aktar json içe aktarpandas olarak pd içe aktar istekler

Adım 2: Mağazanın products.json Dosyasını Getirin

Sitenin URL'sini ve sayfa numarasını argüman olarak alacak ve mağazanın product.json dosyasını döndürecek bir fetch_json fonksiyonu oluşturacağız. Sayfa başına ürün sınırını 30 olarak ayarladık.

Fonksiyonumuz ayrıca bazı hatalar için istisna işlemeyi de içerecektir.

def fetch_json(url, sayfa): dene: yanıt = istekler.get(f'{url}/products.json?limit=30&page={page}', zaman aşımı=5) products_json = response.text response.raise_for_status() return products_json hariçistekler.istisnalar.HTTPError olarak hata_http: yazdır("HTTP Hatası:", hata_http) hariç istekler.istisnalar.ConnectionError olarak bağlantı_hatası: print("Bağlantı Hatası:", hata_bağlantısı) hariçistekler.istisnalar.ZamanAşımı olarak hata_zaman_aşımı: print("Zaman Aşımı Hatası:", hata_zaman_aşımı) hariçistekler.istisnalar.İstekİstisnası olarak hata: print("Hata: ", hata)

3. Adım: products.json Kullanarak Bir Pandas Veri Çerçevesi Oluşturun

Fonksiyonumuz products.json dosyasını girdi olarak alır ve onu bir Pandas veri çerçevesine dönüştürür.

def make_df(products_json): deneyin: ürünler_sözlüğü = json.loads(ürünler_json) df = pd.DataFrame.from_dict(products_dict['ürünler']) dön df hariç İstisna olarak e: print(e)

4. Adım: Tüm Sayfalardan Veri Al

Tüm ürünleri taramak için sonraki sayfalarda döngü yapmamız gerekecek.

Bunun için fonksiyonumuz, sitenin URL'sini girdi olarak alacak ve Shopify mağazasının tüm ürün verilerini içeren Pandas veri çerçevesini döndürecektir.

def tüm_ürünleri_al(url): sonuçlar = Doğru sayfa = 1 df = pd.DataFrame() süre sonuçlar: products_json = fetch_json(url, sayfa) products_dict = make_df(products_json) eğer len(products_dict) == 0: kır değilse: df = pd.concat([df, products_dict], ignore_index=True) sayfa += 1 df['url'] = f"{url}/ürünler/" + df['tutamaç'] return df

Python Shopify Scraper'ımız hazır.

Mağazanın URL'sini bu işleve geçirmeniz yeterlidir; tüm veriler product değişkenine depolanır.

Verileri products.head() işlevini kullanarak da önizleyebilirsiniz.

tüm_ürünler = tüm_ürünleri_al('https://helmboots.com/') all_products.head(1).T

Bu yöntemin dışında Shopify Python API Shopify verilerini dışa akmak

Shopify Scraper'ınızı Algılanmaz Hale Getirin

Shopify'dan veri toplamak genellikle zararsız olsa da, tespiti atlatmak için bir mekanizmaya sahip olmak her zaman daha iyidir. Shopify Scraper'ınızın CAPTCHA'lar, IP engellemeleri ve hız sınırları gibi engellerle karşılaşması mümkündür.

Shopify Scraper'ınızın kesintisiz çalışmasını sağlamak için, algılama önleyici bir tarayıcı kullanabilirsiniz.AdsPower. AdsPower, Shopify Web Kazıyıcınızın düşük bir profil tutmasına, sitelerle etkileşim kurmasına ve Shopify Verilerini hiçbir sorun yaşamadan dışa aktarmasına yardımcı olacak gerekli önlemlere sahiptir.