آموزش وب اسکریپینگ با پایتون

برای کسی که پایتون را در حد مقدماتی بلد است و می‌خواهد از وب داده واقعی استخراج کند. اگر می‌توانید کد پایتون اجرا کنید، پکیج نصب کنید و با تابع، شرط، لیست و دیکشنری کار کنید، آماده‌اید.

پیشنهاد نمی‌شود. این دوره آموزش پایتون از صفر نیست؛ تمرکز آن روی استفاده از پایتون برای ساخت وب اسکریپر است. اگر هنوز پایتون را شروع نکرده‌اید، بهتر است اول مفاهیم پایه پایتون را یاد بگیرید.

چند خروجی واقعی می‌سازید: اسکریپتی که از API داده می‌خواند، اسکریپری که HTML صفحه را با BeautifulSoup تحلیل می‌کند، crawler ساده‌ای که pagination را جلو می‌برد، خروجی JSON/CSV تولید می‌کند، داده را در SQLite ذخیره می‌کند و برای صفحات داینامیک از Playwright کمک می‌گیرد. در پایان هم همین مهارت را به ابزار web search برای AI Agent وصل می‌کنیم.

چون همه سایت‌ها شبیه هم نیستند. وقتی HTML آماده در response داریم، BeautifulSoup سریع، خوانا و مناسب استخراج داده از تگ‌ها، کلاس‌ها و selectorهاست. وقتی محتوا با جاوااسکریپت ساخته می‌شود، Playwright مرورگر واقعی باز می‌کند و اجازه می‌دهد همان چیزی را بخوانیم که کاربر در صفحه می‌بیند.

بله. در فصل پایانی پروژه AI-Agent را بررسی می‌کنیم، ابزار web search می‌سازیم، آن را به ایجنت وصل می‌کنیم و مسیر اتصال به LLM را جلو می‌بریم تا scraping فقط یک اسکریپت جدا نباشد و به بخشی از محصول هوشمند تبدیل شود.