من با دوره های هولوسن و تدریس استاد بدرنژاد طراحی سایت رو یاد گرفتم و الان پروژه های واقعی انجام می دم. 🌟 محتوا کاملاً کاربردی، منظم و پروژه محور بود و استاد هر مبحث رو اون قدر روان و ساده توضیح می دادن که آدم از یادگیری لذت می برد. نکته ی ارزشمندتر، حمایت و دلسوزی استاد بود. فقط درس نمی دادن، تا آخر مسیر کنار شاگردشون می موندن و برای دیده شدن کارشون هم وقت می ذاشتن. اگه دنبال یادگیری جدی و حرفه ای هستید که آخرش به کار و درآمد برسه، با چشم بسته هولوسن رو پیشنهاد می کنم. 🙏💙 دمتون گرم، همیشه پیروز باشید ✨
آموزش وب اسکریپینگ با پایتون
دوره پروژه محور وب اسکریپینگ
در این دوره یاد میگیرید چطور با زبان پایتون از صفحات وب، APIها و سایتهای داینامیک داده استخراج کنید؛ از HTML و پشتپرده request/response تا BeautifulSoup، ذخیرهسازی، Playwright و ساخت ابزار web search برای AI Agent.
پیشنیاز دوره: بلد بودن پایتون
اگر با مفاهیم پایه پایتون، تابع، شرط، حلقه، نصب پکیج و کار با فایلها آشنا هستید، این دوره شما را وارد دنیای استخراج داده واقعی از وب میکند.
درصد پیشرفت دوره : ۱۰۰٪
دوره به صورت پروژه محور ضبط شده و مسیر ساخت اسکریپر واقعی را قدم به قدم جلو میبرد.
چرا وب اسکریپینگ با پایتون؟
وب اسکریپینگ یکی از کاربردیترین مهارتهای پایتون برای جمعآوری داده، تحلیل بازار، مانیتورینگ قیمت، ساخت دیتاست، ابزارهای تحقیق و حتی ایجنتهای هوش مصنوعی است. در این دوره فقط چند خط کد نمایشی نمینویسیم؛ یاد میگیرید صفحه را بررسی کنید، request و response را بفهمید، از API یا HTML داده بگیرید، خروجی را تمیز ذخیره کنید و برای سایتهای داینامیک از Playwright کمک بگیرید.
دوره وب اسکریپینگ با پایتون
از HTML و request/response تا BeautifulSoup، Playwright و ابزار web search برای AI Agent.
برای کسی که پایتون را در حد مقدماتی بلد است و میخواهد از وب داده واقعی استخراج کند. اگر میتوانید کد پایتون اجرا کنید، پکیج نصب کنید و با تابع، شرط، لیست و دیکشنری کار کنید، آمادهاید.
پیشنهاد نمیشود. این دوره آموزش پایتون از صفر نیست؛ تمرکز آن روی استفاده از پایتون برای ساخت وب اسکریپر است. اگر هنوز پایتون را شروع نکردهاید، بهتر است اول مفاهیم پایه پایتون را یاد بگیرید.
چند خروجی واقعی میسازید: اسکریپتی که از API داده میخواند، اسکریپری که HTML صفحه را با BeautifulSoup تحلیل میکند، crawler سادهای که pagination را جلو میبرد، خروجی JSON/CSV تولید میکند، داده را در SQLite ذخیره میکند و برای صفحات داینامیک از Playwright کمک میگیرد. در پایان هم همین مهارت را به ابزار web search برای AI Agent وصل میکنیم.
چون همه سایتها شبیه هم نیستند. وقتی HTML آماده در response داریم، BeautifulSoup سریع، خوانا و مناسب استخراج داده از تگها، کلاسها و selectorهاست. وقتی محتوا با جاوااسکریپت ساخته میشود، Playwright مرورگر واقعی باز میکند و اجازه میدهد همان چیزی را بخوانیم که کاربر در صفحه میبیند.
بله. در فصل پایانی پروژه AI-Agent را بررسی میکنیم، ابزار web search میسازیم، آن را به ایجنت وصل میکنیم و مسیر اتصال به LLM را جلو میبریم تا scraping فقط یک اسکریپت جدا نباشد و به بخشی از محصول هوشمند تبدیل شود.
سرفصلهای دوره
- وب اسکریپینگ چیه؟
- کاربردهاش کجاست؟
- الان کجا داره استفاده میشه؟
- وب اسکریپینگ در ChatGPT
- مثالهای کاربردی از وب اسکریپینگ
- بررسی صفحات و API ها
- نقش HTML
- تگهای کاربردی HTML
- کلاسهای CSS
- attribute تگ ها
- client / server
- Request در وب
- Response در وب
- header
- body
- http methods
- http headers
- query strings
- status codes
- بررسی inspect element
- انتخاب المنت ها در صفحه
- تغییر در المنت ها
- page source vs inspect element
- ساخت پروژه
- نصب کتابخانهها
- ارسال درخواست با پایتون
- دریافت پاسخ با پایتون
- کار با json
- معرفی کتابخانه BeautifulSoup
- کاربرد کتابخانه BeautifulSoup
- متد find
- متد find_all
- متد select_one
- متد select
- انتخاب المنت ها با selector
- تبدیل اعداد فارسی به انگلیسی
- خواندن اطلاعات از صفحات با BeautifulSoup
- پیدا کردن المنت ها در کنسول
- تفاوت crawler و scraper
- بیرون کشیدن اطلاعات از صفحه
- تبدیل اطلاعات صفحه وب به json
- مفهوم pagination
- دریافت اطلاعات صفحه بندی شده
- کنترل درخواست های تکراری
- ذخیره سازی اطلاعات صفحات وب
- ذخیره سازی بصورت json
- ذخیره سازی در فایل csv
- مفهوم دیتابیس
- ذخیره سازی در دیتابیس sqlite
- به معنی واقعی کلمه API چیه؟
- تفاوت API و Web Scraping
- چه زمانی از API استفاده کنیم
- چه زمانی وب اسکریپینگ کنیم
- خواندن اطلاعات از API
- مشکل خواندن صفحاتی که با جاوا اسکریپت لود میشوند
- کتابخانه playwright
- باز کردن مرورگر chromium
- نمایش سایت در chromium
- پیدا کردن المنت ها در chromium
- مدیریت خطا
- مکانیزم retry attempts
- ساخت کراولر قابل اعتماد
- مفهوم session
- مفهوم cookie
- ارسال درخواست با session
- خواندن cookie
- مکانیزم retry با کتابخانه
- بررسی پروژه AI-Agent
- ساخت ابزار web search
- اتصال ابزار به ایجنت هوش مصنوعی
- اتصال به LLM
- پروژه AI-Agent
روش پرداخت
پرداخت اقساطی
پرداخت نقدی
ضمانت بازگشت وجه 100% تمام محصولات
نظرات
**پرسش و پاسخ** سوال خود را مطرح کنید.
آدرس ایمیل شما منتشر نخواهد شد. فیلدهای الزامی علامت گذاری شدهاند *
دانشجویان ما چه میگویند؟
نظرهای ثبتشده درباره مسیر یادگیری با هولوسن
بدون اغراق این دوره یکی از بهترین و باارزش ترین دوره هایی بود که تا الان تهیه کردم. تدریس استاد بدرنژاد فوق العاده عمیق و اصولی هست و نکته مثبت بزرگ دوره، پروژه محور بودن اونه کلی پروژه عملی در طول آموزش پیاده سازی میشه که به درک واقعی مباحث هوش مصنوعی کمک می کنه. مزیت فوق العاده بعدی، پشتیبانی عالی در سایت هولوسن هست در هر مرحله ای که به چالش یا مشکلی خوردم، خیلی سریع، باحوصله و دقیق راهنمایی کردن. واقعاً خسته نباشید می گم به استاد بدرنژاد و تیم هولوسن
تقریبا همه دوره های هولوسن رو تهیه کردم و هر بار از کیفیت بینظیر دوره ها و سواد عالی جناب بدرنژاد غافلگیر شدم.در کنار این کیفیت کم نظیر، پشتیبانی متفاوتی دارن و به راحتی میشه با مدرس دوره ها ارتباط گرفت.سطح دوره ها از صفر مطلق و گاهی زیر صفر شروع میشه و با پروژه های مختلف و متعدد پیش میره و یواش یواش و اجر به اجر دانش بیننده رو بالا میبره تا در نهایت به دانش مورد نیاز بازار کار برسه.من که اونقدر راضیم که هر دوره جدیدی که معرفی میکنن وسوسه میشم تهیش کنم چون مطمئنم ارزششو داره.
نظرات