คู่มือ Shopify Scraper: สองวิธีด้วยโค้ดและไม่ใช้โค้ด

ด้วยจำนวนร้านค้ามากกว่า 4.8 ล้านร้าน Shopify จึงกลายเป็นแพลตฟอร์มอีคอมเมิร์ซชั้นนำ ในช่วงไม่กี่ปีที่ผ่านมา Shopify มีรายได้ทำลายสถิติเดิม โดยทำรายได้มากกว่า 7.06 พันล้านดอลลาร์ต่อปี ตามรายงานของผลประกอบการทางการเงินของ Shopify ปี 2023

ด้วยตัวเลขเหล่านี้ ข้อมูลอีคอมเมิร์ซที่ครอบคลุมของแพลตฟอร์มจึงมีค่าอย่างยิ่ง ข้อมูลเหล่านี้มีศักยภาพอย่างมากสำหรับธุรกิจและนักการตลาดแบบ Affiliate ที่จะก้าวล้ำนำหน้า จับตาดูแนวโน้มตลาด หรือปรับปรุงข้อเสนอผลิตภัณฑ์ของตน

ตรงกันข้ามกับความเชื่อที่แพร่หลาย การเข้าถึงข้อมูลนี้ไม่จำเป็นต้องอาศัยทักษะการเขียนโค้ดขั้นสูง

ในบล็อกนี้ เราจะแนะนำคุณเกี่ยวกับการใช้งาน Shopify scraper แบบไม่ต้องเขียนโค้ดที่เหมาะสำหรับผู้เริ่มต้น รวมถึงวิธีพัฒนา Shopify Scraper ที่ใช้ Python สำหรับผู้ที่มีพื้นฐานการเขียนโปรแกรม

มาสำรวจกันว่าคุณจะใช้ประโยชน์จากข้อมูล Shopify ให้เกิดประโยชน์สูงสุดได้อย่างไร

คุณสามารถสแกน Shopify ได้หรือไม่

ตามข้อกำหนดในการให้บริการของ Shopify “คุณตกลงที่จะไม่เข้าถึงบริการหรือตรวจสอบเนื้อหาหรือข้อมูลใดๆ จากบริการโดยใช้หุ่นยนต์ แมงมุม เครื่องมือสแกน หรือวิธีการอัตโนมัติอื่นๆ”

ข้อกำหนดนี้อยู่ภายใต้ส่วนข้อกำหนดบัญชี และผู้ใช้ Shopify ทุกคนต้องยอมรับข้อกำหนดนี้ขณะสร้างบัญชี

ดังนั้น หากคุณมีบัญชี Shopify อยู่แล้ว คุณจำเป็นต้องหลีกเลี่ยงการใช้บัญชีนั้นเพื่อกิจกรรมการขูดข้อมูล ซึ่งมีผลบังคับใช้กับทั้งผู้ใช้ Shopify ทั่วไปและผู้ถือบัญชีธุรกิจ

การใช้ Shopify scraper เพื่อดึงข้อมูลแพลตฟอร์ม จะทำให้ระบบตรวจจับความเสี่ยงและอาจถูกระงับบัญชีได้

ข้อกำหนดในการให้บริการของ Shopify API ยังจำกัดการใช้ API สำหรับการรวบรวมข้อมูลมากกว่าที่อนุญาต ดังนั้นหากคุณหวังว่าจะใช้ API นี้เพื่อรวบรวมข้อมูลใน Shopify คุณก็หมดโอกาสแล้ว

ดังนั้น มีสองสิ่งที่ชัดเจน อย่าใช้เครื่องมือหรือสคริปต์ Shopify Scraper ภายนอกใดๆ ขณะที่เข้าสู่ระบบด้วยบัญชี Shopify ของคุณ และอย่าใช้ API อย่างเป็นทางการเป็น Shopify Scraper

แล้วคุณจะขูด Shopify ได้อย่างไร? ไม่ต้องกังวล ข้อจำกัดเหล่านี้มีไว้สำหรับการขูดข้อมูลส่วนตัว คุณยังคงสามารถเรียกใช้ Shopify scraper บนเว็บไซต์ได้

เพียงตรวจสอบให้แน่ใจว่าได้รวบรวมข้อมูลที่เปิดเผยต่อสาธารณะเท่านั้น และคุณควรตรวจสอบให้แน่ใจว่าจะไม่นำข้อมูลที่ Shopify ส่งออกไปใช้ซ้ำซ้อน เนื่องจากข้อมูลดังกล่าวอาจถูกลบออกได้ เช่นเดียวกับในกรณีนี้.

มีความเห็นพ้องต้องกันอย่างไม่เป็นทางการทั่วโลกว่า การรวบรวมข้อมูลที่เปิดเผยต่อสาธารณะจากทุกแพลตฟอร์ม เป็นสิ่งที่อนุญาตให้นำไปใช้อย่างมีจริยธรรม

Shopify Scraper: สองแนวทางที่แตกต่าง

หมายเหตุนี้ เรามาต่อกันที่เทคนิคการขูด Shopify กันต่อดีกว่า

Shopify Scraper แบบไม่มีโค้ด

ยุคสมัยที่การสแครปข้อมูลเป็นงานของนักเขียนโค้ดเพียงอย่างเดียวนั้นหมดไปแล้ว ปัจจุบันมีโซลูชันแบบไม่ต้องเขียนโค้ดมากมายในตลาดที่ทำให้การสแครปข้อมูลเป็นเรื่องง่าย

ในบรรดาเครื่องมือเหล่านี้ ParseHub, Shopify Scraper จาก Apify และ Shopify Product Scraper เป็นผู้นำตลาด

ในคู่มือนี้ เราจะพาคุณสร้างเครื่องมือสแกนสินค้า Shopify โดยใช้ ParseHub มาเริ่มกันเลย

ขั้นตอนที่ 1: ดาวน์โหลดและสร้างบัญชี

ไปที่ParseHub ดาวน์โหลดไฟล์ติดตั้งสำหรับระบบปฏิบัติการของคุณ และติดตั้งซอฟต์แวร์

เปิด ParseHub กรอกแบบฟอร์มลงทะเบียนโดยระบุชื่อ ที่อยู่อีเมล และรหัสผ่านที่คาดเดายาก จากนั้นกดปุ่มลงทะเบียน

ขั้นตอนที่ 2: เริ่มโครงการใหม่

เมื่อเข้าสู่ระบบแล้ว คุณจะเห็นปุ่มที่ระบุว่า "โครงการใหม่" ให้คลิกปุ่มนั้น

ในหน้าจอถัดไป ให้วาง URL ของร้านค้า Shopify ที่คุณต้องการสแกนลงในแถบที่ให้มา

สำหรับการสาธิตนี้ เราจะทำการสแกนร้านนี้.

หลังจากวางลิงก์ของหน้าเป้าหมายของร้านค้าแล้ว ให้กดปุ่มที่ด้านล่างของแถบ

หน้าเว็บที่กำหนดจะโหลดทางด้านขวาของหน้าจอ

เคล็ดลับ: เปลี่ยนชื่อโครงการเพื่อให้ระบุไฟล์ได้ง่ายท่ามกลางไฟล์อื่นๆ ในอนาคต

คุณควรตั้งชื่อให้เกี่ยวข้องกับสินค้า เช่น shopify_products

ขั้นตอนที่ 3: เริ่มเลือกองค์ประกอบที่จะขูด

ParseHub ช่วยให้คุณคลิกที่องค์ประกอบที่คุณต้องการสแกน (เช่น ชื่อผลิตภัณฑ์ ราคา คะแนน) และจดจำการเลือกของคุณ

เนื่องจากเรากำลังสร้างเครื่องมือสแกนผลิตภัณฑ์ Shopify เริ่มต้นด้วยชื่อผลิตภัณฑ์ มันจะเปลี่ยนเป็นสีเขียว ส่วนชื่ออื่นๆ จะเปลี่ยนเป็นสีเหลือง

เลือกชื่อผลิตภัณฑ์อื่นเพื่อทำให้ผลิตภัณฑ์ทั้งหมดเป็นสีเขียว

คุณจะเห็นตารางแสดงตัวอย่างซึ่งแสดงชื่อผลิตภัณฑ์และ URL

ขั้นตอนที่ 4: เปลี่ยนชื่อการเลือก

ตั้งชื่อการเลือกของคุณให้เหมาะสม เนื่องจากเรากำลังดึง URL และชื่อผลิตภัณฑ์ เราจึงเรียกผลิตภัณฑ์ของเราว่า 'product'

การเปลี่ยนชื่อการเลือกทั้งหมดของโครงการให้เหมาะสมถือเป็นแนวทางปฏิบัติที่ดี

ขั้นตอนที่ 5: เริ่มต้นโครงการ

ทำซ้ำขั้นตอนที่ 3 และ 4 เพื่อให้ได้องค์ประกอบเพิ่มเติมที่คุณต้องการรวบรวม เนื่องจากเราต้องการเพียงแค่ชื่อผลิตภัณฑ์และ URL เวิร์กโฟลว์ของเครื่องมือรวบรวมเว็บ Shopify ของเราจึงมีลักษณะดังนี้

เพื่อเริ่มต้นเครื่องมือสแกนผลิตภัณฑ์ Shopify ของเรา เพียงกดปุ่ม "รับข้อมูล" และเลือก "เรียกใช้" ในหน้าจอถัดไป

อาจต้องใช้เวลาบ้าง ขึ้นอยู่กับปริมาณข้อมูล

และแล้วคุณก็พร้อม! ตอนนี้ เพียงเลือกตัวเลือกการดาวน์โหลดที่คุณต้องการ

ตัวอย่างเช่น เราได้บันทึกไฟล์ของเราเป็น Shopify_products.json

การสร้าง Shopify Scraper โดยใช้ Python

แน่นอนว่าเครื่องมือแบบ No-code ช่วยให้งานง่ายขึ้น 10 เท่า แต่ก็มีข้อจำกัดในตัวของมันเอง ตัวอย่างเช่น อาจไม่มีกลไกในการขูดข้อมูลประเภทที่คุณต้องการ นอกจากนี้ อาจมีข้อจำกัดเกี่ยวกับปริมาณข้อมูลที่สามารถขูดได้ในครั้งเดียว

นี่คือคำตอบว่าทำไมคุณถึงต้องเขียนโค้ดเครื่องมือขูดข้อมูลของ Shopify สำหรับงานขูดข้อมูลที่ซับซ้อน สคริปต์การเขียนโปรแกรมช่วยให้คุณมีอิสระในการ กำหนดขีดจำกัดของคุณเองได้ตามความต้องการ มันสามารถดึงข้อมูลใดๆ ก็ได้บนหน้านั้น คุณเพียงแค่เขียนโปรแกรมสำหรับมัน

แล้วจะมีภาษาอะไรที่ดีกว่า Python ในการดึงข้อมูลอีกล่ะ? มันมีไวยากรณ์ที่เรียบง่าย อ่านง่าย และมีไลบรารีขนาดใหญ่ของแพ็คเกจที่มีประโยชน์

ร้านค้า Shopify มีฟีเจอร์เฉพาะตัวที่ทำให้การรวบรวมข้อมูลเป็นเรื่องง่ายมาก ร้านค้า Shopify ทุกแห่งมีไฟล์ product.json ที่สามารถเข้าถึงได้แบบสาธารณะ ไฟล์นี้บรรจุข้อมูลสต็อกสินค้าทั้งหมดของร้านค้า มีชื่อผลิตภัณฑ์แต่ละรายการ รหัสเฉพาะ ราคา ผู้ขาย คำอธิบาย และรายละเอียดอื่นๆ อีกมากมาย

การเข้าถึงไฟล์ Shopify product.json นี้ สิ่งที่คุณต้องทำคือวาง products.json ไว้ที่ท้าย URL รากของร้านค้า นั่นคือ https://helmboots.com/products.json.

หากคุณต้องการเขียนโค้ด Shopify Product Scraper ไฟล์ Shopify products.json นี้จะช่วยให้คุณไม่ต้องยุ่งยากอีกต่อไป

ตอนนี้คุณเพียงแค่ต้องส่งคำขอเดียวไปยังไฟล์นี้และดึงข้อมูลที่จำเป็นทั้งหมด

มาเริ่มเขียนโปรแกรม Shopify Python Scraper ของเรากันเลย

ขั้นตอนที่ 1: นำเข้าไลบรารีที่จำเป็น

สร้างไฟล์ Python เช่น python_shopify.py และนำเข้าแพ็กเกจ เราต้องการไลบรารีต่อไปนี้:

• Json
• คำขอ
• แพนด้า
  
  

นำเข้า json นำเข้าแพนด้าเป็น pd นำเข้า คำขอ

ขั้นตอนที่ 2: ดึงไฟล์ products.json ของร้านค้า

เราจะสร้างฟังก์ชัน fetch_json ที่จะรับ URL และหมายเลขหน้าของเว็บไซต์เป็นอาร์กิวเมนต์ และส่งคืนไฟล์ product.json ของร้านค้า เราได้กำหนดขีดจำกัดไว้ที่ 30 สินค้าต่อหน้า

ฟังก์ชันของเรายังมีการจัดการข้อยกเว้นสำหรับข้อผิดพลาดบางรายการด้วย

def fetch_json(url, page): ลอง: การตอบกลับ= requests.get(f'{url>/products.json?limit=30&page={page>', หมดเวลา=5) products_json = response.text response.raise_for_status() กลับ products_json ยกเว้น requests.exceptions.HTTPError เป็น error_http: print("ข้อผิดพลาด HTTP:", error_http) ยกเว้น requests.exceptions.ConnectionError เป็น ข้อผิดพลาด_การเชื่อมต่อ: print("ข้อผิดพลาดในการเชื่อมต่อ:", error_connection) ยกเว้น requests.exceptions.Timeout เป็น error_timeout: print("ข้อผิดพลาดการหมดเวลา:", error_timeout) ยกเว้น requests.exceptions.RequestException เป็น ข้อผิดพลาด: print("ข้อผิดพลาด: ", error)

ขั้นตอนที่ 3: สร้าง Pandas Dataframe โดยใช้ products.json

ฟังก์ชันของเรารับไฟล์ products.json เป็นอินพุตและแปลงเป็น Pandas Data Frame

def make_df(products_json): ลอง: products_dict = json.loads(products_json) df = pd.DataFrame.from_dict(products_dict['ผลิตภัณฑ์']) กลับ df ยกเว้นข้อยกเว้นเป็นจ: print(e)

ขั้นตอนที่ 4: รับข้อมูลจากทุกหน้า

ในการดึงข้อมูลผลิตภัณฑ์ทั้งหมด เราจะต้องวนซ้ำผ่านหน้าถัดไป

สำหรับสิ่งนี้ ฟังก์ชันของเราจะนำ URL ของเว็บไซต์เป็นอินพุต และส่งคืนเฟรมข้อมูล Pandas ที่มีข้อมูลผลิตภัณฑ์ทั้งหมดของร้านค้า Shopify

def รับสินค้าทั้งหมด(url): ผลลัพธ์ = จริง หน้า = 1 df= pd.DataFrame() ขณะที่ ผลลัพธ์: products_json = fetch_json(url, page) products_dict = make_df(products_json) ถ้า len(products_dict) == 0: หยุด อื่น ๆ: ... data-type="text"> ... ประเภทข้อมูล="text">'url']=ฉ"{url>/ผลิตภัณฑ์/"+ df['จัดการ'] กลับ df

เครื่องมือ Python Shopify Scraper ของเราพร้อมใช้งานแล้ว

เพียงส่ง URL ของร้านค้าไปยังฟังก์ชันนี้ และข้อมูลทั้งหมดจะถูกเก็บไว้ในตัวแปรผลิตภัณฑ์

คุณยังสามารถดูตัวอย่างข้อมูลได้โดยใช้ฟังก์ชัน products.head()

ผลิตภัณฑ์ทั้งหมด = get_all_products('https://helmboots.com/') all_products.head(1).T

นอกจากวิธีนี้แล้ว คุณยังสามารถใช้Shopify Python API เพื่อส่งออกข้อมูล Shopify

ทำให้ Shopify Scraper ของคุณไม่ถูกตรวจจับ

แม้ว่าการขูดข้อมูล Shopify มักจะไม่เป็นอันตราย แต่การมีกลไกเพื่อหลีกเลี่ยงการตรวจจับย่อมดีกว่าเสมอ Shopify Scraper ของคุณอาจเจอกับอุปสรรคต่างๆ เช่น CAPTCHA การแบน IP และการจำกัดอัตรา

เพื่อให้มั่นใจว่า Shopify Scraper ของคุณทำงานได้โดยไม่สะดุด คุณสามารถใช้เบราว์เซอร์ป้องกันการตรวจจับ เช่น AdsPower AdsPower มีมาตรการที่จำเป็นเพื่อช่วยให้ Shopify Web Scraper ของคุณรักษาความเป็นส่วนตัว โต้ตอบกับเว็บไซต์ และส่งออกข้อมูล Shopify ได้อย่างสะดวกและง่ายดาย