مدرسه دقیقه | تحلیل داده، هوش مصنوعی، علوم داده، هوش تجاری، داده‌کاوی و یادگیری ماشین
🔹یادگیری گام‌به‌گام مهارت کار با داده‌ها
وبسایت: d-learn.ir
▫️شناسه تلگرام پشتیبانی مدرسه
@dlearnsup
▫️اینستاگرام
instagram.com/dlearn.ir
▫️توییتر
twitter.com/dlearn_ir
▫️لینکدین
linkedin.com/company/dlearn
وبسایت: d-learn.ir
▫️شناسه تلگرام پشتیبانی مدرسه
@dlearnsup
▫️اینستاگرام
instagram.com/dlearn.ir
▫️توییتر
twitter.com/dlearn_ir
▫️لینکدین
linkedin.com/company/dlearn
TGlist rating
0
0
TypePublic
Verification
Not verifiedTrust
Not trustedLocation
LanguageOther
Channel creation dateFeb 28, 2022
Added to TGlist
Aug 03, 2024Linked chat
گروه عمومی مدرسه پردازش و تحلیل داده دقیقه
13
Records
21.04.202523:59
3.3KSubscribers04.04.202518:25
1700Citation index14.03.202511:16
6.3KAverage views per post14.03.202511:16
6.3KAverage views per ad post08.01.202523:59
12.37%ER14.03.202511:12
207.58%ERRPopular posts مدرسه دقیقه | تحلیل داده، هوش مصنوعی، علوم داده، هوش تجاری، داده‌کاوی و یادگیری ماشین
15.04.202516:48
🔍 آشنایی با الگوریتم K-means
🌐 واژه‌نامه #هوش_مصنوعی
الگوریتم K-means یکی از پرکاربردترین روش‌های خوشه‌بندی داده است. این الگوریتم در 1️⃣➕3️⃣ مرحله اصلی کار می‌کند:
1️⃣ گام اول: انتخاب مراکز اولیه
ابتدا به صورت تصادفی K نقطه داده (مثلاً 3 نقطه) از مجموعه داده را انتخاب می‌کنیم و آنها را به عنوان مراکز اولیه خوشه‌ها در نظر می‌گیریم. فرض کنید در یک نمودار دوبعدی، این سه نقطه اولیه با رنگ‌های متفاوت (قرمز، آبی و سبز) مشخص شده‌اند.
2️⃣ گام دوم: تخصیص نقاط به خوشه‌ها
در این مرحله، فاصله هر نقطه داده را با تمام مراکز خوشه‌ها محاسبه می‌کنیم. معمولاً از معیار فاصله اقلیدسی استفاده می‌شود (فرمول فیثاغورس). هر نقطه به خوشه‌ای تعلق می‌گیرد که مرکز آن نزدیک‌ترین فاصله را با نقطه دارد. در این مرحله، نمودار ما نقاط داده‌ای را نشان می‌دهد که به سه رنگ مختلف (متناسب با خوشه‌های متفاوت) رنگ‌آمیزی شده‌اند.
3️⃣ گام سوم: به‌روزرسانی مراکز خوشه‌ها
حالا مراکز جدید هر خوشه را با محاسبه میانگین تمام نقاط داده متعلق به آن خوشه به دست می‌آوریم. برای مثال، اگر خوشه قرمز شامل 20 نقطه داده باشد، مختصات x و y همه این نقاط را جمع کرده و بر 20 تقسیم می‌کنیم تا مرکز جدید خوشه به دست آید. مراکز جدید معمولاً با مراکز قبلی متفاوت هستند و در نمودار جابجا می‌شوند.
4️⃣ تکرار فرآیند تا همگرایی
گام‌های دوم و سوم را مرتباً تکرار می‌کنیم. در هر تکرار، نقاط داده دوباره به نزدیک‌ترین مرکز خوشه تخصیص می‌یابند و سپس مراکز خوشه‌ها مجدداً به‌روزرسانی می‌شوند. این فرآیند تا زمانی ادامه می‌یابد که مراکز خوشه‌ها دیگر تغییر نکنند یا تغییرات آنها کمتر از یک آستانه از پیش تعیین‌شده باشد.
🟠مثال کاربردی:
تصور کنید مجموعه داده‌ای از مشتریان فروشگاه دارید که شامل اطلاعاتی مانند میزان خرید سالانه و تعداد بازدید است. با استفاده از K-means می‌توانید این مشتریان را به گروه‌های مختلف (مثلاً مشتریان پرخرید و وفادار، مشتریان گاه‌به‌گاه، مشتریان کم‌خرید) دسته‌بندی کنید. هر خوشه نشان‌دهنده یک بخش از مشتریان با رفتار مشابه است و می‌توانید استراتژی‌های بازاریابی خاصی برای هر گروه طراحی کنید.
🟢 نکات مهم در استفاده از الگوریتم K-means:
انتخاب تعداد مناسب K (تعداد خوشه‌ها) بسیار مهم است و تأثیر زیادی بر نتایج دارد.
این الگوریتم ممکن است در مینیمم‌های محلی گیر کند، بنابراین اجرای آن با مراکز اولیه متفاوت توصیه می‌شود.
الگوریتم K-means برای خوشه‌های کروی (گرد) بهتر عمل می‌کند و برای اشکال پیچیده مناسب نیست.
مقیاس‌بندی داده‌ها قبل از اجرای الگوریتم اهمیت زیادی دارد.
💡 این الگوریتم در زمینه‌های متنوعی مانند بخش‌بندی بازار، فشرده‌سازی تصاویر، پردازش سیگنال، بیوانفورماتیک و تشخیص ناهنجاری کاربرد دارد.
➖➖⬇️➖➖
همچنین اگر علاقه‌مند به یادگیری هوش مصنوعی هستید، گام اول برای شما آموزش یادگیری ماشین هست.
دوره آموزشی «یادگیری ماشین با پایتون» از مبانی یادگیری ماشین آغاز می‌شود و گام به گام تا مباحث پیچیده‌تری مثل یادگیری گروهی، کاهش ابعاد داده و شبکه‌های عصبی پیش می‌رود.
😈 این دوره به صورت عملیاتی و کاربردی طراحی شده است. برای اطلاعات بیشتر و مشاهده طرح درس و ثبت‌نام می‌توانید به سایت مدرسه دقیقه سر بزنید:
🔗 d-learn.ir/mlpy
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
🌐 واژه‌نامه #هوش_مصنوعی
الگوریتم K-means یکی از پرکاربردترین روش‌های خوشه‌بندی داده است. این الگوریتم در 1️⃣➕3️⃣ مرحله اصلی کار می‌کند:
1️⃣ گام اول: انتخاب مراکز اولیه
ابتدا به صورت تصادفی K نقطه داده (مثلاً 3 نقطه) از مجموعه داده را انتخاب می‌کنیم و آنها را به عنوان مراکز اولیه خوشه‌ها در نظر می‌گیریم. فرض کنید در یک نمودار دوبعدی، این سه نقطه اولیه با رنگ‌های متفاوت (قرمز، آبی و سبز) مشخص شده‌اند.
2️⃣ گام دوم: تخصیص نقاط به خوشه‌ها
در این مرحله، فاصله هر نقطه داده را با تمام مراکز خوشه‌ها محاسبه می‌کنیم. معمولاً از معیار فاصله اقلیدسی استفاده می‌شود (فرمول فیثاغورس). هر نقطه به خوشه‌ای تعلق می‌گیرد که مرکز آن نزدیک‌ترین فاصله را با نقطه دارد. در این مرحله، نمودار ما نقاط داده‌ای را نشان می‌دهد که به سه رنگ مختلف (متناسب با خوشه‌های متفاوت) رنگ‌آمیزی شده‌اند.
3️⃣ گام سوم: به‌روزرسانی مراکز خوشه‌ها
حالا مراکز جدید هر خوشه را با محاسبه میانگین تمام نقاط داده متعلق به آن خوشه به دست می‌آوریم. برای مثال، اگر خوشه قرمز شامل 20 نقطه داده باشد، مختصات x و y همه این نقاط را جمع کرده و بر 20 تقسیم می‌کنیم تا مرکز جدید خوشه به دست آید. مراکز جدید معمولاً با مراکز قبلی متفاوت هستند و در نمودار جابجا می‌شوند.
4️⃣ تکرار فرآیند تا همگرایی
گام‌های دوم و سوم را مرتباً تکرار می‌کنیم. در هر تکرار، نقاط داده دوباره به نزدیک‌ترین مرکز خوشه تخصیص می‌یابند و سپس مراکز خوشه‌ها مجدداً به‌روزرسانی می‌شوند. این فرآیند تا زمانی ادامه می‌یابد که مراکز خوشه‌ها دیگر تغییر نکنند یا تغییرات آنها کمتر از یک آستانه از پیش تعیین‌شده باشد.
🟠مثال کاربردی:
تصور کنید مجموعه داده‌ای از مشتریان فروشگاه دارید که شامل اطلاعاتی مانند میزان خرید سالانه و تعداد بازدید است. با استفاده از K-means می‌توانید این مشتریان را به گروه‌های مختلف (مثلاً مشتریان پرخرید و وفادار، مشتریان گاه‌به‌گاه، مشتریان کم‌خرید) دسته‌بندی کنید. هر خوشه نشان‌دهنده یک بخش از مشتریان با رفتار مشابه است و می‌توانید استراتژی‌های بازاریابی خاصی برای هر گروه طراحی کنید.
🟢 نکات مهم در استفاده از الگوریتم K-means:
انتخاب تعداد مناسب K (تعداد خوشه‌ها) بسیار مهم است و تأثیر زیادی بر نتایج دارد.
این الگوریتم ممکن است در مینیمم‌های محلی گیر کند، بنابراین اجرای آن با مراکز اولیه متفاوت توصیه می‌شود.
الگوریتم K-means برای خوشه‌های کروی (گرد) بهتر عمل می‌کند و برای اشکال پیچیده مناسب نیست.
مقیاس‌بندی داده‌ها قبل از اجرای الگوریتم اهمیت زیادی دارد.
💡 این الگوریتم در زمینه‌های متنوعی مانند بخش‌بندی بازار، فشرده‌سازی تصاویر، پردازش سیگنال، بیوانفورماتیک و تشخیص ناهنجاری کاربرد دارد.
➖➖⬇️➖➖
همچنین اگر علاقه‌مند به یادگیری هوش مصنوعی هستید، گام اول برای شما آموزش یادگیری ماشین هست.
دوره آموزشی «یادگیری ماشین با پایتون» از مبانی یادگیری ماشین آغاز می‌شود و گام به گام تا مباحث پیچیده‌تری مثل یادگیری گروهی، کاهش ابعاد داده و شبکه‌های عصبی پیش می‌رود.
😈 این دوره به صورت عملیاتی و کاربردی طراحی شده است. برای اطلاعات بیشتر و مشاهده طرح درس و ثبت‌نام می‌توانید به سایت مدرسه دقیقه سر بزنید:
🔗 d-learn.ir/mlpy
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
07.04.202516:04
📈 شاخص‌های اساسی در مدیریت محصول
شاخص‌های محصول به شما کمک می‌کنند موفقیت و شکست را بسنجید و محصولاتی سریع‌تر، هوشمندانه‌تر و بهتر تولید کنید.
در ادامه برخی از این شاخص‌ها آمده‌اند:
💸 شاخص‌های درآمدی
🟢درآمد مکرر ماهیانه
Monthly Recurring Revenue (MRR)
درآمد کل ماهانه‌ای که انتظار می‌رود در یک ماه ایجاد شود.
🔴میانگین درآمد به ازای هر مشتری
Average Revenue Per User (ARPU)
چه میزان درآمد به ازای هر کاربر به صورت ماهانه یا سالانه ایجاد خواهد شد.
🔵ارزش طول عمر مشتری
Customer Lifetime Value (CLTV)
محاسبه درآمد قابل پیش‌بینی که می‌توانید در طول دوره عمر یک مشتری به عنوان کاربر پرداخت‌کننده کسب کنید.
🔴هزینه جذب مشتری
Customer Acquisition Cost (CAC)
هزینه جذب یک مشتری برای پرداخت هزینه محصول، شامل بازاریابی، فروش و تبلیغات.
👥 شاخص‌های کاربران
🔴 کاربران فعال روزانه/ماهانه
Daily/Monthly Active Users (DAU/MAU)
آیا کاربران در حال کاهش یا افزایش هستند و به پیش‌بینی، بودجه‌بندی و برنامه‌ریزی کمک می‌کند.
🔴بازدید از سایت
Website Traffic (Traffic)
چه تعداد کاربر وبسایت شما را پیدا کرده‌اند و به شما کمک می‌کنند تبلیغات، سئو و هزینه‌ها را سازماندهی کنید.
🟣نرخ پرش
Bounce rate (BR)
درصد کاربرانی که بعد از دیدن یک صفحه خارج شده‌اند. هر چه درصد پایین‌تر باشد، بهتر است.
🟠میانگین زمان سپری شده
Average Session Duration(A.SD)
پیگیری می‌کند کاربران به طور متوسط چه مدت زمانی را در وبسایت شما می‌گذرانند.
☺️ شاخص‌های رضایت
🔵نرخ ریزش
Churn Rate (CR)
پیگیری درصد کاربرانی که استفاده از محصول شما را در یک دوره زمانی مشخص متوقف کرده‌اند.
🔴شاخص خالص ترویج‌کنندگان
Net Promoter Score (NPS)
روشی برای دریافت بازخورد از کاربران و سنجش رضایت کلی آنها از محصول.
🟢نرخ جذب
Acquisition Rate (AR)
روشی برای دریافت بازخورد از کاربران و سنجش رضایت کلی آنها از محصول.
🔴نرخ حفظ مشتری
Client Retention Rate (CRR)
نشان‌دهنده توانایی محصول در حفظ کاربران و تعامل با آنها در یک دوره زمانی طولانی است.
➖➖⬇️➖➖
همچنین اگر علاقه‌مند به یادگیری گام به گام و پروژه‌محور مهارت‌های ساخت و ارزیابی محصول هستید دوره آنلاین مدیریت محصول برای شما طراحی شده‌است. اطلاعات بیشتر در:
🔗 d-learn.ir/pdmn
📞 تماس:
📲t.me/dlearnsup
📱 02188349244
📲 09103209837
@dlearn_ir
شاخص‌های محصول به شما کمک می‌کنند موفقیت و شکست را بسنجید و محصولاتی سریع‌تر، هوشمندانه‌تر و بهتر تولید کنید.
در ادامه برخی از این شاخص‌ها آمده‌اند:
💸 شاخص‌های درآمدی
🟢درآمد مکرر ماهیانه
Monthly Recurring Revenue (MRR)
درآمد کل ماهانه‌ای که انتظار می‌رود در یک ماه ایجاد شود.
🔴میانگین درآمد به ازای هر مشتری
Average Revenue Per User (ARPU)
چه میزان درآمد به ازای هر کاربر به صورت ماهانه یا سالانه ایجاد خواهد شد.
🔵ارزش طول عمر مشتری
Customer Lifetime Value (CLTV)
محاسبه درآمد قابل پیش‌بینی که می‌توانید در طول دوره عمر یک مشتری به عنوان کاربر پرداخت‌کننده کسب کنید.
🔴هزینه جذب مشتری
Customer Acquisition Cost (CAC)
هزینه جذب یک مشتری برای پرداخت هزینه محصول، شامل بازاریابی، فروش و تبلیغات.
👥 شاخص‌های کاربران
🔴 کاربران فعال روزانه/ماهانه
Daily/Monthly Active Users (DAU/MAU)
آیا کاربران در حال کاهش یا افزایش هستند و به پیش‌بینی، بودجه‌بندی و برنامه‌ریزی کمک می‌کند.
🔴بازدید از سایت
Website Traffic (Traffic)
چه تعداد کاربر وبسایت شما را پیدا کرده‌اند و به شما کمک می‌کنند تبلیغات، سئو و هزینه‌ها را سازماندهی کنید.
🟣نرخ پرش
Bounce rate (BR)
درصد کاربرانی که بعد از دیدن یک صفحه خارج شده‌اند. هر چه درصد پایین‌تر باشد، بهتر است.
🟠میانگین زمان سپری شده
Average Session Duration(A.SD)
پیگیری می‌کند کاربران به طور متوسط چه مدت زمانی را در وبسایت شما می‌گذرانند.
☺️ شاخص‌های رضایت
🔵نرخ ریزش
Churn Rate (CR)
پیگیری درصد کاربرانی که استفاده از محصول شما را در یک دوره زمانی مشخص متوقف کرده‌اند.
🔴شاخص خالص ترویج‌کنندگان
Net Promoter Score (NPS)
روشی برای دریافت بازخورد از کاربران و سنجش رضایت کلی آنها از محصول.
🟢نرخ جذب
Acquisition Rate (AR)
روشی برای دریافت بازخورد از کاربران و سنجش رضایت کلی آنها از محصول.
🔴نرخ حفظ مشتری
Client Retention Rate (CRR)
نشان‌دهنده توانایی محصول در حفظ کاربران و تعامل با آنها در یک دوره زمانی طولانی است.
➖➖⬇️➖➖
همچنین اگر علاقه‌مند به یادگیری گام به گام و پروژه‌محور مهارت‌های ساخت و ارزیابی محصول هستید دوره آنلاین مدیریت محصول برای شما طراحی شده‌است. اطلاعات بیشتر در:
🔗 d-learn.ir/pdmn
📞 تماس:
📲t.me/dlearnsup
📱 02188349244
📲 09103209837
@dlearn_ir
10.04.202506:35
🔴 یادگیری ماشین با پایتون
🖥 جزئیات بیشتر و لینک ثبت نام:
d-learn.ir/mlpy
Machine Learning with Python
🎓 Saeed Majidi
🎓 Hamideh Hosseinzadeh
#دوره_آموزشی_آنلاین
📽️ ویدئوی اول معرفی دوره 📽️
📽️ ویدئوی دوم معرفی دوره 📽️
📆 یکشنبه‌ها ۱۸:۰۰ تا ۲۱:۱۵
🗓 از ۱۴ اردیبهشت ۱۴۰۴
⏺️ ۳۰ ساعت (۱۰ هفته)
🎞 با دسترسی به ویدئوی جلسات
🏅 گواهی پایان دوره (قابل استعلام)
⏳ برای استفاده از تخفیف بیشتر زودتر ثبت‌نام کنید:
🙂 کد تخفیف
🙂 کد تخفیف
🔴 ثبت نام با تخفیف تا ۲۲ فروردین ۱۴۰۴:
d-learn.ir/mlpy
تماس:
@dlearnsup
09103209837
02188349244
@dlearn_ir
🖥 جزئیات بیشتر و لینک ثبت نام:
d-learn.ir/mlpy
Machine Learning with Python
🎓 Saeed Majidi
🎓 Hamideh Hosseinzadeh
#دوره_آموزشی_آنلاین
📽️ ویدئوی اول معرفی دوره 📽️
📽️ ویدئوی دوم معرفی دوره 📽️
📆 یکشنبه‌ها ۱۸:۰۰ تا ۲۱:۱۵
🗓 از ۱۴ اردیبهشت ۱۴۰۴
⏺️ ۳۰ ساعت (۱۰ هفته)
🎞 با دسترسی به ویدئوی جلسات
🏅 گواهی پایان دوره (قابل استعلام)
⏳ برای استفاده از تخفیف بیشتر زودتر ثبت‌نام کنید:
🙂 کد تخفیف
30% برای پرداخت کامل: SpH30🙂 کد تخفیف
20% برای پرداخت قسطی: FGh20🔴 ثبت نام با تخفیف تا ۲۲ فروردین ۱۴۰۴:
d-learn.ir/mlpy
تماس:
@dlearnsup
09103209837
02188349244
@dlearn_ir
14.04.202515:28
↗️پاکسازی داده‌ها با پانداس (Pandas)
در فرایند تحلیل معمولا داده‌ها نیاز به پیش‌پردازش و پاکسازی دارند تا به قالب مناسبی برای تحلیل نهایی برسند.
فرایند پاکسازی معمولا این چند مرحله است:
+ تغییر نام ستون‌ها
+ تغییر جنس ستون‌ها
+ مشاهده و حذف داده‌های تکراری
+ حذف داده‌های حاوی NaN
+ حذف سطر و ستون
⬇️تغییر نام ستون‌ها
عبارت columns: یک دیکشنری که نام فعلی ستون‌ها Key و نام جدید آنها Valueهای این دیکشنری هستند.
عبارت inplace: بیان می‌کند که این تغییرات بلافاصله بر روی DataFrame فعلی و بدون نیاز به یک کپی از آن انجام شود (True) یا خیر (False).
🔴تغییر نوع ستون‌ها
🟡مشاهده داده‌های تکراری
برای پی‌بردن به اینکه آیا DataFrame حاوی سطری تکراری است، از تابع زیر استفاده می‌شود:
این تابع یک لیست حاوی مقادیر Boolean و به‌اندازه تعداد سطرها برمی‌گرداند. به هر‌سطری که تکراری باشد مقدار True نسبت داده می‌شود. دقت داشته باشید که دو سطر درصورتی تکرار هم درنظرگرفته می‌شوند، که در تمامی ستون‌ها مقادیر آنها دقیقا مشابه یکدیگر باشد.
عبارت keep: فرض کنید که دوسطر i و j تکراری باشند و i قبل از j قرار گرفته باشد. درصورتی‌که 'keep = 'first باشد، Pandas سطر i را نگه‌داشته و سطر j را تکراری اعلام می‌کند. درصورتی که 'keep = 'last باشد، برعکس این اتفاق رخ می‌دهد و سری i تکراری درنظر گرفته می‌شود.
🔵حذف داده‌های تکراری
پس از تشخیص وجود داده، سطر، تکراری می‌توانیم، درصورت نیاز، با استفاده از تابع زیر اقدام به حذف آن سطور کنیم :
این تابع یک لیست حاوی مقادیر Boolean و به‌اندازه تعداد سطرها برمی‌گرداند. به هر‌سطری که تکراری باشد مقدار True نسبت داده می‌شود. دقت داشته باشید که دو سطر درصورتی تکرار هم درنظرگرفته می‌شوند، که در تمامی ستون‌ها مقادیر آنها دقیقا مشابه یکدیگر باشد.
عبارت inplace: یک مقدار Boolean که مشخص می‌کند که عمل حذف بر روی خود DataFrame انجام شود ('inplace = 'True) و یا DataFrame بدون تغییر مانده و عمل حذف بر روی یک کپی از آن اعمال شود ('inplace = 'False). مقدار پیش‌فرض برابر با False است.
عبارت keep: بیان می‌کند که از اعضای تکراری، مورد اول ('first') و یا مورد آخر('last') نگه‌داشته شوند.
🟠 کشف و مشاهده داده‌های ناموجود
در مرحله اول باید بررسی کنیم که آیا DataFrame حاوی مقدار Null است یا خیر. برای این امر از تابع ()isnull استفاده می‌کنیم:
خروجی این تابع یک DataFrame به اندازه‌ی DataFrame اصلی است که محتوای آن مقادیر True/False می‌باشد. اگر مقدار خانه‌ای برابر با True باشد، به این معنی است که خانه‌ی متناظر در DataFrame اصلی حاوی مقدار Null است.
🟢 حذف داده‌های ناموجود
ساده‌ترین رویکرد برخورد با داده‌های ناموجود، حذف سطرها و یا ستون هایی است که حداقل در یکی از خانه‌ها مقداری ندارند. Pandas برای این روش از تابع ()dropna استفاده می‌کند:
عبارت inplace: یک مقدار Boolean که مشخص می‌کند که عمل حذف بر روی خود DataFrame انجام شود ('inplace = 'True) و یا DataFrame بدون تغییر مانده و عمل حذف بر روی یک کپی از آن اعمال شود ('inplace = 'False). مقدار پیش‌فرض برابر با False است.
عبارت axis: درصورتی که 0 باشد بیانگر حذف سطر و 1 بیانگر حذف ستون است. مقدار پیش‌فرض آن برابر با 0 (حذف سطر) است.
📷 به دلیل محدودیت تعداد کلمات در تلگرام می‌توانید ادامه بحث را در اینستاگرام مدرسه دقیقه دنبال کنید.
💡 این آموزش بخشی از درسنامه پردازش و تبدیل داده با پانداس pandas که از بخش درسنامه‌ها می‌توانید از آن استفاده کنید.
➖➖👇➖➖
همچنین اگر علاقه‌مند به یادگیری مهارت‌های پردازش و تحلیل داده‌های حجیم در پایتون هستید، دوره آموزشی پردازش بهینه با pandas و polars برای شما طراحی شده‌است.
🙂 کد تخفیف
🙂 کد تخفیف
🔴 اعتبار کدهای تخفیف تا ۵ اردیبهشت ۱۴۰۴
لینک ثبت‌نام:
🔗 d-learn.ir/pyps
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
در فرایند تحلیل معمولا داده‌ها نیاز به پیش‌پردازش و پاکسازی دارند تا به قالب مناسبی برای تحلیل نهایی برسند.
فرایند پاکسازی معمولا این چند مرحله است:
+ تغییر نام ستون‌ها
+ تغییر جنس ستون‌ها
+ مشاهده و حذف داده‌های تکراری
+ حذف داده‌های حاوی NaN
+ حذف سطر و ستون
⬇️تغییر نام ستون‌ها
DataFrame.rename(columns = {dict}, inplace = True)عبارت columns: یک دیکشنری که نام فعلی ستون‌ها Key و نام جدید آنها Valueهای این دیکشنری هستند.
عبارت inplace: بیان می‌کند که این تغییرات بلافاصله بر روی DataFrame فعلی و بدون نیاز به یک کپی از آن انجام شود (True) یا خیر (False).
🔴تغییر نوع ستون‌ها
#بررسی نوع ستون‌ها🟡مشاهده داده‌های تکراری
برای پی‌بردن به اینکه آیا DataFrame حاوی سطری تکراری است، از تابع زیر استفاده می‌شود:
DataFrame.duplicated(keep = ['first', 'last'])این تابع یک لیست حاوی مقادیر Boolean و به‌اندازه تعداد سطرها برمی‌گرداند. به هر‌سطری که تکراری باشد مقدار True نسبت داده می‌شود. دقت داشته باشید که دو سطر درصورتی تکرار هم درنظرگرفته می‌شوند، که در تمامی ستون‌ها مقادیر آنها دقیقا مشابه یکدیگر باشد.
عبارت keep: فرض کنید که دوسطر i و j تکراری باشند و i قبل از j قرار گرفته باشد. درصورتی‌که 'keep = 'first باشد، Pandas سطر i را نگه‌داشته و سطر j را تکراری اعلام می‌کند. درصورتی که 'keep = 'last باشد، برعکس این اتفاق رخ می‌دهد و سری i تکراری درنظر گرفته می‌شود.
🔵حذف داده‌های تکراری
پس از تشخیص وجود داده، سطر، تکراری می‌توانیم، درصورت نیاز، با استفاده از تابع زیر اقدام به حذف آن سطور کنیم :
DataFrame.drop_duplicates(inplace, keep = ['first','last'])این تابع یک لیست حاوی مقادیر Boolean و به‌اندازه تعداد سطرها برمی‌گرداند. به هر‌سطری که تکراری باشد مقدار True نسبت داده می‌شود. دقت داشته باشید که دو سطر درصورتی تکرار هم درنظرگرفته می‌شوند، که در تمامی ستون‌ها مقادیر آنها دقیقا مشابه یکدیگر باشد.
عبارت inplace: یک مقدار Boolean که مشخص می‌کند که عمل حذف بر روی خود DataFrame انجام شود ('inplace = 'True) و یا DataFrame بدون تغییر مانده و عمل حذف بر روی یک کپی از آن اعمال شود ('inplace = 'False). مقدار پیش‌فرض برابر با False است.
عبارت keep: بیان می‌کند که از اعضای تکراری، مورد اول ('first') و یا مورد آخر('last') نگه‌داشته شوند.
🟠 کشف و مشاهده داده‌های ناموجود
در مرحله اول باید بررسی کنیم که آیا DataFrame حاوی مقدار Null است یا خیر. برای این امر از تابع ()isnull استفاده می‌کنیم:
DataFrame.isnull()
خروجی این تابع یک DataFrame به اندازه‌ی DataFrame اصلی است که محتوای آن مقادیر True/False می‌باشد. اگر مقدار خانه‌ای برابر با True باشد، به این معنی است که خانه‌ی متناظر در DataFrame اصلی حاوی مقدار Null است.
🟢 حذف داده‌های ناموجود
ساده‌ترین رویکرد برخورد با داده‌های ناموجود، حذف سطرها و یا ستون هایی است که حداقل در یکی از خانه‌ها مقداری ندارند. Pandas برای این روش از تابع ()dropna استفاده می‌کند:
DataFrame.isnull(inplace, axis = {0,1})عبارت inplace: یک مقدار Boolean که مشخص می‌کند که عمل حذف بر روی خود DataFrame انجام شود ('inplace = 'True) و یا DataFrame بدون تغییر مانده و عمل حذف بر روی یک کپی از آن اعمال شود ('inplace = 'False). مقدار پیش‌فرض برابر با False است.
عبارت axis: درصورتی که 0 باشد بیانگر حذف سطر و 1 بیانگر حذف ستون است. مقدار پیش‌فرض آن برابر با 0 (حذف سطر) است.
📷 به دلیل محدودیت تعداد کلمات در تلگرام می‌توانید ادامه بحث را در اینستاگرام مدرسه دقیقه دنبال کنید.
💡 این آموزش بخشی از درسنامه پردازش و تبدیل داده با پانداس pandas که از بخش درسنامه‌ها می‌توانید از آن استفاده کنید.
➖➖👇➖➖
همچنین اگر علاقه‌مند به یادگیری مهارت‌های پردازش و تحلیل داده‌های حجیم در پایتون هستید، دوره آموزشی پردازش بهینه با pandas و polars برای شما طراحی شده‌است.
🙂 کد تخفیف
25% برای پرداخت کامل: HpCd25🙂 کد تخفیف
15% برای پرداخت قسطی: DphC15🔴 اعتبار کدهای تخفیف تا ۵ اردیبهشت ۱۴۰۴
لینک ثبت‌نام:
🔗 d-learn.ir/pyps
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
20.04.202516:16
🔍 آشنایی با الگوریتم درخت تصمیم
🌐 واژه‌نامه #هوش_مصنوعی
درخت تصمیم یک طبقه‌بندی‌کننده است که مجموعه‌ای از قوانین تصمیم‌گیری را در یک ساختار درختی سازماندهی می‌کند. این روش یکی از کاربردی‌ترین روش‌ها برای یادگیری نظارت‌شده غیرپارامتریک است.
درخت تصمیم یک مدل پیش‌بینی با ساختاری شبیه فلوچارت است که با استفاده از مشاهدات موجود درباره یک آیتم، به پیش‌بینی مقدار یا برچسب متغیر هدف کمک می‌کند.
این مدل از گره‌هایی تشکیل شده که نشان‌دهنده ویژگی‌های داده هستند، شاخه‌هایی که قوانین تصمیم‌گیری را مشخص می‌کنند و برگ‌هایی که نتایج نهایی یا کلاس‌های خروجی را نمایش می‌دهند.
ساختار درخت تصمیم در یادگیری ماشین
در درخت تصمیم، ویژگی‌های داده‌ها در گره‌های داخلی و خروجی یا نتیجه نهایی هر مسیر در برگ‌های درخت نمایش داده می‌شود.
این الگوریتم فرآیند تصمیم‌گیری را به‌صورت سلسله‌مراتبی مدل‌سازی می‌کند؛ داده‌ها را به‌طور بازگشتی به زیرمجموعه‌هایی تقسیم می‌کند، به‌طوری که در هر مرحله، تقسیم‌بندی بر اساس ویژگی‌ای انجام می‌شود که بیشترین اطلاعات را برای پیش‌بینی هدف فراهم می‌کند، تا زمانی که به تصمیم یا پیش‌بینی نهایی برسیم.
💡 مفاهیم اساسی درخت تصمیم
۱- گره (Node): هر نقطه در درخت که یک تصمیم‌گیری یا نتیجه را نمایش می‌دهد.
مثال: «آیا هوا آفتابی است؟»
۲- گره ریشه (Root Node): اولین گره درخت است که تصمیم‌گیری از آن آغاز می‌شود.
مثال: بررسی «وضعیت آب و هوا».
۳- گره داخلی (Internal Node): گره‌هایی که تصمیمات میانی را نمایش می‌دهند و به گره‌های دیگر متصل‌اند.
مثال: «آیا رطوبت بالا است؟»
۴- برگ یا گره پایانی (Leaf/Terminal Node): گره‌هایی که دیگر به هیچ گرهی متصل نیستند و نتیجه نهایی (مثل یک پیش‌بینی) را نشان می‌دهند.
مثال: «بازی کن» یا «بازی نکن».
۵- شاخه (Branch): مسیرهایی که گره‌ها را به هم وصل می‌کنند و بر اساس پاسخ‌ها (بله/خیر) حرکت می‌کنند.
۶- ویژگی ورودی (Input Attribute): اطلاعات یا متغیرهایی که بر اساس آنها تصمیم‌گیری انجام می‌شود.
مثال: «رطوبت»، «باد»، «دمای هوا».
۷- تقسیم‌بندی (Splitting): فرآیند تقسیم یک گره بر اساس مقدار یک ویژگی.
در هر تقسیم، داده‌ها به زیرمجموعه‌هایی با ویژگی‌های خاص‌تر جدا می‌شوند.
۸- برش‌دهی (Pruning): حذف بخش‌هایی از درخت برای جلوگیری از پیچیدگی بیش از حد و بهبود عملکرد مدل.
مثل هرس کردن شاخه‌های اضافی.
➖➖⬇️➖➖
همچنین اگر علاقه‌مند به یادگیری هوش مصنوعی هستید، گام اول برای شما آموزش یادگیری ماشین هست.
دوره آموزشی «یادگیری ماشین با پایتون» از مبانی یادگیری ماشین آغاز می‌شود و گام به گام تا مباحث پیچیده‌تری مثل یادگیری گروهی، کاهش ابعاد داده و شبکه‌های عصبی پیش می‌رود.
😈 این دوره به صورت عملیاتی و کاربردی طراحی شده است. برای اطلاعات بیشتر و مشاهده طرح درس و ثبت‌نام می‌توانید به سایت مدرسه دقیقه سر بزنید:
🔗 d-learn.ir/mlpy
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
🌐 واژه‌نامه #هوش_مصنوعی
درخت تصمیم یک طبقه‌بندی‌کننده است که مجموعه‌ای از قوانین تصمیم‌گیری را در یک ساختار درختی سازماندهی می‌کند. این روش یکی از کاربردی‌ترین روش‌ها برای یادگیری نظارت‌شده غیرپارامتریک است.
درخت تصمیم یک مدل پیش‌بینی با ساختاری شبیه فلوچارت است که با استفاده از مشاهدات موجود درباره یک آیتم، به پیش‌بینی مقدار یا برچسب متغیر هدف کمک می‌کند.
این مدل از گره‌هایی تشکیل شده که نشان‌دهنده ویژگی‌های داده هستند، شاخه‌هایی که قوانین تصمیم‌گیری را مشخص می‌کنند و برگ‌هایی که نتایج نهایی یا کلاس‌های خروجی را نمایش می‌دهند.
ساختار درخت تصمیم در یادگیری ماشین
در درخت تصمیم، ویژگی‌های داده‌ها در گره‌های داخلی و خروجی یا نتیجه نهایی هر مسیر در برگ‌های درخت نمایش داده می‌شود.
این الگوریتم فرآیند تصمیم‌گیری را به‌صورت سلسله‌مراتبی مدل‌سازی می‌کند؛ داده‌ها را به‌طور بازگشتی به زیرمجموعه‌هایی تقسیم می‌کند، به‌طوری که در هر مرحله، تقسیم‌بندی بر اساس ویژگی‌ای انجام می‌شود که بیشترین اطلاعات را برای پیش‌بینی هدف فراهم می‌کند، تا زمانی که به تصمیم یا پیش‌بینی نهایی برسیم.
💡 مفاهیم اساسی درخت تصمیم
۱- گره (Node): هر نقطه در درخت که یک تصمیم‌گیری یا نتیجه را نمایش می‌دهد.
مثال: «آیا هوا آفتابی است؟»
۲- گره ریشه (Root Node): اولین گره درخت است که تصمیم‌گیری از آن آغاز می‌شود.
مثال: بررسی «وضعیت آب و هوا».
۳- گره داخلی (Internal Node): گره‌هایی که تصمیمات میانی را نمایش می‌دهند و به گره‌های دیگر متصل‌اند.
مثال: «آیا رطوبت بالا است؟»
۴- برگ یا گره پایانی (Leaf/Terminal Node): گره‌هایی که دیگر به هیچ گرهی متصل نیستند و نتیجه نهایی (مثل یک پیش‌بینی) را نشان می‌دهند.
مثال: «بازی کن» یا «بازی نکن».
۵- شاخه (Branch): مسیرهایی که گره‌ها را به هم وصل می‌کنند و بر اساس پاسخ‌ها (بله/خیر) حرکت می‌کنند.
۶- ویژگی ورودی (Input Attribute): اطلاعات یا متغیرهایی که بر اساس آنها تصمیم‌گیری انجام می‌شود.
مثال: «رطوبت»، «باد»، «دمای هوا».
۷- تقسیم‌بندی (Splitting): فرآیند تقسیم یک گره بر اساس مقدار یک ویژگی.
در هر تقسیم، داده‌ها به زیرمجموعه‌هایی با ویژگی‌های خاص‌تر جدا می‌شوند.
۸- برش‌دهی (Pruning): حذف بخش‌هایی از درخت برای جلوگیری از پیچیدگی بیش از حد و بهبود عملکرد مدل.
مثل هرس کردن شاخه‌های اضافی.
➖➖⬇️➖➖
همچنین اگر علاقه‌مند به یادگیری هوش مصنوعی هستید، گام اول برای شما آموزش یادگیری ماشین هست.
دوره آموزشی «یادگیری ماشین با پایتون» از مبانی یادگیری ماشین آغاز می‌شود و گام به گام تا مباحث پیچیده‌تری مثل یادگیری گروهی، کاهش ابعاد داده و شبکه‌های عصبی پیش می‌رود.
😈 این دوره به صورت عملیاتی و کاربردی طراحی شده است. برای اطلاعات بیشتر و مشاهده طرح درس و ثبت‌نام می‌توانید به سایت مدرسه دقیقه سر بزنید:
🔗 d-learn.ir/mlpy
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
11.04.202506:05
👇 بسیاری از فعالیت‌های ما در محیط کار تکراری هستند و با کمک گرفتن از هوش مصنوعی با سرعت و دقتی به مراتب بیشتر انجام می‌شوند. با تمرین کار با ابزارهای هوش مصنوعی بهره‌وری سازمان خود را بالا ببرید!
🔵 استفاده از هوش مصنوعی (AI) در زندگی حرفه‌ای
مجیدپورکاشانی | علیرضا چمن‌زار | سعید مجیدی | حسام محمدحسینی
#دوره_آموزشی_آنلاین
برای استفاده از تخفیف بیشتر زودتر ثبت‌نام کنید:
🙂 کد تخفیف
🙂 کد تخفیف
🔴 ثبت نام با تخفیف تا ۲۲ فروردین ۱۴۰۴:
🔗 لینک ثبت نام:
d-learn.ir/ai4p
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
🔵 استفاده از هوش مصنوعی (AI) در زندگی حرفه‌ای
مجیدپورکاشانی | علیرضا چمن‌زار | سعید مجیدی | حسام محمدحسینی
#دوره_آموزشی_آنلاین
برای استفاده از تخفیف بیشتر زودتر ثبت‌نام کنید:
🙂 کد تخفیف
30% برای پرداخت کامل: SpH30🙂 کد تخفیف
20% برای پرداخت قسطی: FGh20🔴 ثبت نام با تخفیف تا ۲۲ فروردین ۱۴۰۴:
🔗 لینک ثبت نام:
d-learn.ir/ai4p
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
06.04.202516:34
🖥 وب‌اسکرپینگ چیست و چرا اهمیت دارد؟
وب‌اسکرپینگ به فرایند استخراج خودکار داده‌ها از وب‌سایت‌ها گفته می‌شود. این روش به کاربران امکان می‌دهد تا بدون نیاز به ورود دستی اطلاعات، داده‌های مورد نیاز را از صفحات وب جمع‌آوری کرده و برای تحلیل‌های بعدی ذخیره‌سازی کنند.
این فرآیند را می‌توان به مثابه بهره‌گیری از یک مکانیزم خودکار با سرعت و دقت بالا برای پیمایش و استخراج داده از صدها یا هزاران صفحه وب در کوتاه‌ترین زمان ممکن، تصور نمود.
❓چرا وب‌اسکرپینگ؟
کسب مهارت در وب اسکرپینگ، مجموعه‌ای از مزایای فنی و استراتژیک قابل توجه را ارائه می‌دهد:
۱- جمع‌آوری کارآمد داده‌ها
۲- تحقیقات مقرون به صرفه
۳- دقت بالا
۴- دسترسی به داده‌های با سرعت بالا
۵-- تحلیل رقابتی
۶-- جمع‌آوری داده‌های قابل سفارشی‌سازی
💡 کاربردهای واقعی در کسب‌و کارها
۱- اتوماسیون فرآیندهای جمع‌آوری داده‌ها
۲- پایش و بهینه‌سازی پویای قیمت‌ها
۳- تولید لیدهای هوشمند
۴- تحلیل احساسات
۵- تحقیقات بازار و هوش تجاری
۶- پژوهش‌های علمی و مطالعات اجتماعی
۷- بازارهای مالی و سرمایه‌گذاری؟
۸- روزنامه‌نگاری و رسانه‌ها
توضیحات در مورد نمونه‌های کاربردی برای هر یک از کاربردها، آینده شغلی و مطالعه کامل متن در لینک زیر در دسترس است:
🔗 d-learn.ir/p/what-is-web-scraping
➖➖➖➖➖
🔥همچنین اگر علاقه‌مند به یادگیری این مهارت هستید، دوره آموزشی استخراج #داده از وب برای شما طراحی شده است. جزییات دوره و سرفصل‌ها در صفحه‌ی دوره در دسترس است:
👆 d-learn.ir/wbsp
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
وب‌اسکرپینگ به فرایند استخراج خودکار داده‌ها از وب‌سایت‌ها گفته می‌شود. این روش به کاربران امکان می‌دهد تا بدون نیاز به ورود دستی اطلاعات، داده‌های مورد نیاز را از صفحات وب جمع‌آوری کرده و برای تحلیل‌های بعدی ذخیره‌سازی کنند.
این فرآیند را می‌توان به مثابه بهره‌گیری از یک مکانیزم خودکار با سرعت و دقت بالا برای پیمایش و استخراج داده از صدها یا هزاران صفحه وب در کوتاه‌ترین زمان ممکن، تصور نمود.
❓چرا وب‌اسکرپینگ؟
کسب مهارت در وب اسکرپینگ، مجموعه‌ای از مزایای فنی و استراتژیک قابل توجه را ارائه می‌دهد:
۱- جمع‌آوری کارآمد داده‌ها
۲- تحقیقات مقرون به صرفه
۳- دقت بالا
۴- دسترسی به داده‌های با سرعت بالا
۵-- تحلیل رقابتی
۶-- جمع‌آوری داده‌های قابل سفارشی‌سازی
💡 کاربردهای واقعی در کسب‌و کارها
۱- اتوماسیون فرآیندهای جمع‌آوری داده‌ها
۲- پایش و بهینه‌سازی پویای قیمت‌ها
۳- تولید لیدهای هوشمند
۴- تحلیل احساسات
۵- تحقیقات بازار و هوش تجاری
۶- پژوهش‌های علمی و مطالعات اجتماعی
۷- بازارهای مالی و سرمایه‌گذاری؟
۸- روزنامه‌نگاری و رسانه‌ها
توضیحات در مورد نمونه‌های کاربردی برای هر یک از کاربردها، آینده شغلی و مطالعه کامل متن در لینک زیر در دسترس است:
🔗 d-learn.ir/p/what-is-web-scraping
➖➖➖➖➖
🔥همچنین اگر علاقه‌مند به یادگیری این مهارت هستید، دوره آموزشی استخراج #داده از وب برای شما طراحی شده است. جزییات دوره و سرفصل‌ها در صفحه‌ی دوره در دسترس است:
👆 d-learn.ir/wbsp
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
19.04.202516:41
📰 وب‌اسکرپینگ: ابزاری قدرتمند برای روزنامه‌نگاران و پژوهشگران
💻 وب‌اسکرپینگ (استخراج داده از وب) چیست؟
وب‌اسکرپینگ به فرآیند جمع‌آوری اطلاعات از وب‌سایت‌ها به صورت خودکار گفته می‌شود. این اطلاعات می‌توانند شامل قیمت‌ها، اخبار، مشخصات محصولات یا هر نوع داده قابل مشاهده در صفحات وب باشند. این تکنیک امکان تبدیل محتوای وب به داده‌های قابل تحلیل را فراهم می‌کند.
✅ اهمیت و مزایای وب‌اسکرپینگ
🔵گردآوری داده انبوه: امکان جمع‌آوری حجم وسیعی از داده‌ها از منابع متعدد وب که به صورت دستی بسیار زمان‌بر یا غیرممکن است.
🟢افزایش کارایی: صرفه‌جویی قابل توجه در زمان و منابع انسانی مورد نیاز برای جمع‌آوری داده‌ها.
🔴دستیابی به جزئیات: استخراج اطلاعات دقیق و مشخص از میان حجم بالای محتوای وب.
🟠تحلیل روندها: شناسایی الگوها، همبستگی‌ها و روندهای پنهان در داده‌های جمع‌آوری شده در طول زمان.
🔴مستندسازی گزارش‌ها: ارائه شواهد کمّی و دقیق برای پشتیبانی از یافته‌ها و تحلیل‌های روزنامه‌نگاری یا پژوهشی.
🟡رصد مداوم: قابلیت پایش مستمر تغییرات داده‌ها در وب‌سایت‌های مورد نظر (مانند قیمت‌ها، آمارها، شاخص‌ها).
📈 مثال: تحلیل نوسانات قیمت
روزنامه‌نگاران اقتصادی یا پژوهشگران بازار می‌توانند با استخراج دوره‌ای قیمت انواع کالا (مثلاً تجهیزات دیجیتال، خودرو، کالاهای اساسی) از وب‌سایت‌های فروش آنلاین متعدد یا نرخ ارز و طلا، به تحلیل دقیق نوسانات بازار، مقایسه قیمت‌ها و بررسی اثر سیاست‌گذاری‌ها بپردازند.
👩💻 مثال: پایش و تحلیل بازار کار
جمع‌آوری و تحلیل داده‌های مربوط به آگهی‌های شغلی از پلتفرم‌های کاریابی مطرح در ایران. این امر امکان شناسایی مهارت‌های پرتقاضا، توزیع جغرافیایی فرصت‌های شغلی، تحلیل روندهای استخدامی در صنایع مختلف و برآورد سطح دستمزدها را فراهم می‌کند.
🏠 مثال: رصد داده‌های عمومی و اجتماعی
استخراج داده‌های مرتبط با بازار مسکن (قیمت، متراژ، منطقه) از وب‌سایت‌های نیازمندی یا جمع‌آوری داده‌های مربوط به شاخص‌های عمومی مانند کیفیت هوا از پرتال‌های رسمی. این داده‌ها مبنای مناسبی برای تحلیل روندهای اجتماعی، اقتصادی و محیطی فراهم می‌آورند.
🔍مثال: پایش رخدادها از منابع خبری
در مواردی که آمار رسمی برای رخدادهای حساس اجتماعی (نظیر موارد خودکشی، قتل، یا آسیب‌های اجتماعی خاص) به صورت عمومی، دقیق یا به‌هنگام منتشر نمی‌شود، وب‌اسکرپینگ می‌تواند به عنوان ابزاری کمکی به کار گرفته شود.
با استخراج هدفمند اخبار مرتبط از وب‌سایت‌های خبری معتبر داخلی و تحلیل محتوای آنها (بر اساس کلیدواژه‌ها، مناطق جغرافیایی و بازه‌های زمانی)، می‌توان به یک نمایه غیررسمی از فراوانی گزارش‌شده این رویدادها و توزیع جغرافیایی آنها دست یافت.
✅ جمع‌بندی
وب اسکرپینگ به عنوان یک مهارت کلیدی، امکان دستیابی به عمق تحلیلی بیشتر و ارائه گزارش‌های دقیق‌تر و مستندتر را فراهم می‌سازد که سریع‌تر و راحت‌تر به سرانجام رسیده‌اند. استفاده از این تکنیک می‌تواند به ارتقاء کیفیت پژوهش‌ها و اطلاع رسانی در جامعه کمک شایانی نماید.
⬇️⬇️⬇️
اگر علاقه‌مند به یادگیری گام به گام و پروژه‌محور وب‌اسکرپینگ هستید، دوره آموزشی استخراج داده از وب برای شما طراحی شده است.
اطلاعات بیشتر در:
🔗 d-learn.ir/wbsp
⏳ برای استفاده از تخفیف بیشتر زودتر ثبت‌نام کنید:
🙂 کد تخفیف 25% برای پرداخت کامل: HpCd25
🙂 کد تخفیف 15% برای پرداخت قسطی: DphC15
🔴 اعتبار کدهای تخفیف تا ۵ اردیبهشت ۱۴۰۴
🔗 لینک ثبت نام:
d-learn.ir/wbsp
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
💻 وب‌اسکرپینگ (استخراج داده از وب) چیست؟
وب‌اسکرپینگ به فرآیند جمع‌آوری اطلاعات از وب‌سایت‌ها به صورت خودکار گفته می‌شود. این اطلاعات می‌توانند شامل قیمت‌ها، اخبار، مشخصات محصولات یا هر نوع داده قابل مشاهده در صفحات وب باشند. این تکنیک امکان تبدیل محتوای وب به داده‌های قابل تحلیل را فراهم می‌کند.
✅ اهمیت و مزایای وب‌اسکرپینگ
🔵گردآوری داده انبوه: امکان جمع‌آوری حجم وسیعی از داده‌ها از منابع متعدد وب که به صورت دستی بسیار زمان‌بر یا غیرممکن است.
🟢افزایش کارایی: صرفه‌جویی قابل توجه در زمان و منابع انسانی مورد نیاز برای جمع‌آوری داده‌ها.
🔴دستیابی به جزئیات: استخراج اطلاعات دقیق و مشخص از میان حجم بالای محتوای وب.
🟠تحلیل روندها: شناسایی الگوها، همبستگی‌ها و روندهای پنهان در داده‌های جمع‌آوری شده در طول زمان.
🔴مستندسازی گزارش‌ها: ارائه شواهد کمّی و دقیق برای پشتیبانی از یافته‌ها و تحلیل‌های روزنامه‌نگاری یا پژوهشی.
🟡رصد مداوم: قابلیت پایش مستمر تغییرات داده‌ها در وب‌سایت‌های مورد نظر (مانند قیمت‌ها، آمارها، شاخص‌ها).
📈 مثال: تحلیل نوسانات قیمت
روزنامه‌نگاران اقتصادی یا پژوهشگران بازار می‌توانند با استخراج دوره‌ای قیمت انواع کالا (مثلاً تجهیزات دیجیتال، خودرو، کالاهای اساسی) از وب‌سایت‌های فروش آنلاین متعدد یا نرخ ارز و طلا، به تحلیل دقیق نوسانات بازار، مقایسه قیمت‌ها و بررسی اثر سیاست‌گذاری‌ها بپردازند.
👩💻 مثال: پایش و تحلیل بازار کار
جمع‌آوری و تحلیل داده‌های مربوط به آگهی‌های شغلی از پلتفرم‌های کاریابی مطرح در ایران. این امر امکان شناسایی مهارت‌های پرتقاضا، توزیع جغرافیایی فرصت‌های شغلی، تحلیل روندهای استخدامی در صنایع مختلف و برآورد سطح دستمزدها را فراهم می‌کند.
🏠 مثال: رصد داده‌های عمومی و اجتماعی
استخراج داده‌های مرتبط با بازار مسکن (قیمت، متراژ، منطقه) از وب‌سایت‌های نیازمندی یا جمع‌آوری داده‌های مربوط به شاخص‌های عمومی مانند کیفیت هوا از پرتال‌های رسمی. این داده‌ها مبنای مناسبی برای تحلیل روندهای اجتماعی، اقتصادی و محیطی فراهم می‌آورند.
🔍مثال: پایش رخدادها از منابع خبری
در مواردی که آمار رسمی برای رخدادهای حساس اجتماعی (نظیر موارد خودکشی، قتل، یا آسیب‌های اجتماعی خاص) به صورت عمومی، دقیق یا به‌هنگام منتشر نمی‌شود، وب‌اسکرپینگ می‌تواند به عنوان ابزاری کمکی به کار گرفته شود.
با استخراج هدفمند اخبار مرتبط از وب‌سایت‌های خبری معتبر داخلی و تحلیل محتوای آنها (بر اساس کلیدواژه‌ها، مناطق جغرافیایی و بازه‌های زمانی)، می‌توان به یک نمایه غیررسمی از فراوانی گزارش‌شده این رویدادها و توزیع جغرافیایی آنها دست یافت.
✅ جمع‌بندی
وب اسکرپینگ به عنوان یک مهارت کلیدی، امکان دستیابی به عمق تحلیلی بیشتر و ارائه گزارش‌های دقیق‌تر و مستندتر را فراهم می‌سازد که سریع‌تر و راحت‌تر به سرانجام رسیده‌اند. استفاده از این تکنیک می‌تواند به ارتقاء کیفیت پژوهش‌ها و اطلاع رسانی در جامعه کمک شایانی نماید.
⬇️⬇️⬇️
اگر علاقه‌مند به یادگیری گام به گام و پروژه‌محور وب‌اسکرپینگ هستید، دوره آموزشی استخراج داده از وب برای شما طراحی شده است.
اطلاعات بیشتر در:
🔗 d-learn.ir/wbsp
⏳ برای استفاده از تخفیف بیشتر زودتر ثبت‌نام کنید:
🙂 کد تخفیف 25% برای پرداخت کامل: HpCd25
🙂 کد تخفیف 15% برای پرداخت قسطی: DphC15
🔴 اعتبار کدهای تخفیف تا ۵ اردیبهشت ۱۴۰۴
🔗 لینک ثبت نام:
d-learn.ir/wbsp
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
05.04.202516:37
🖼 تصویرگری با قلموی الگوریتم
💡 با توماس لین پدرسن و هنر زایشگر آشنا شوید
🔴 توماس لین پِدِرسن متخصص بیوانفورماتیک و زیست‌شناسی محاسباتی که به علوم داده روی آورده و علاوه بر زندگی حرفه‌ای، تخصص و علمش را در خدمت هنر در آورده و به خلق چنین آثار زیبایی می‌پردازد.
🟠 در این تصاویر معمولا جزئیات زیادی وجود دارد. اشکال و رنگ‌ها با ظرافت و هارمونی خیره‌کننده‌ای در کنار یکدیگر قرار می‌گیرند و توجه بیننده را به خود جلب می‌کنند.
این گونه آثار با تصمیمات نقاش و حرکت قلموی او روی بوم نقاشی تولید نمی‌شود، بلکه با استفاده از مجموعه‌ای محدود و مشخص از قواعد و مقدارهای اولیه اولیه که معمولا تحت عنوان سامانه‌های مولد یا زایشگر از آن یاد می‌شود.
🔵 توماس در حقیقت خود را هنرمندی می‌داند که تمرکز اصلی‌اش کشف زیبای سیستم‌های دینامیکی است. به گفته خودش هر چه بیشتر با سیستم‌های دینامیکی آشنا شوی قلموی نقاشی بیشتر در دستت آرام و قرار می‌گیرد اما همیشه قدری از پیش‌بینی‌ناپذیری و شگفت‌زدگی وجود دارد.
🔴 او آثار هنری خود را از به وجود آوردن سامانۀ مولد تا بصری‌سازی داده‌ها در محیط #R انجام می‌دهد و علاوه بر کتابخانه #ggplot2، از کتابخانه‌های ggforce, ambient, particles, tidygraph, و ggraph که بیشتر آنها را نیز خودش توسعه داده استفاده می‌کند.
🟢 یادداشت کامل «تصویرگری با قلموی الگوریتم» و دیگر آثار توماس لین پدرسن را می‌توانید در مجله پرانتز بخوانید:
🔗 d-learn.ir/p/generative-art-thomas-lin-pedersen
@dlearn_ir
💡 با توماس لین پدرسن و هنر زایشگر آشنا شوید
🔴 توماس لین پِدِرسن متخصص بیوانفورماتیک و زیست‌شناسی محاسباتی که به علوم داده روی آورده و علاوه بر زندگی حرفه‌ای، تخصص و علمش را در خدمت هنر در آورده و به خلق چنین آثار زیبایی می‌پردازد.
🟠 در این تصاویر معمولا جزئیات زیادی وجود دارد. اشکال و رنگ‌ها با ظرافت و هارمونی خیره‌کننده‌ای در کنار یکدیگر قرار می‌گیرند و توجه بیننده را به خود جلب می‌کنند.
این گونه آثار با تصمیمات نقاش و حرکت قلموی او روی بوم نقاشی تولید نمی‌شود، بلکه با استفاده از مجموعه‌ای محدود و مشخص از قواعد و مقدارهای اولیه اولیه که معمولا تحت عنوان سامانه‌های مولد یا زایشگر از آن یاد می‌شود.
🔵 توماس در حقیقت خود را هنرمندی می‌داند که تمرکز اصلی‌اش کشف زیبای سیستم‌های دینامیکی است. به گفته خودش هر چه بیشتر با سیستم‌های دینامیکی آشنا شوی قلموی نقاشی بیشتر در دستت آرام و قرار می‌گیرد اما همیشه قدری از پیش‌بینی‌ناپذیری و شگفت‌زدگی وجود دارد.
🔴 او آثار هنری خود را از به وجود آوردن سامانۀ مولد تا بصری‌سازی داده‌ها در محیط #R انجام می‌دهد و علاوه بر کتابخانه #ggplot2، از کتابخانه‌های ggforce, ambient, particles, tidygraph, و ggraph که بیشتر آنها را نیز خودش توسعه داده استفاده می‌کند.
🟢 یادداشت کامل «تصویرگری با قلموی الگوریتم» و دیگر آثار توماس لین پدرسن را می‌توانید در مجله پرانتز بخوانید:
🔗 d-learn.ir/p/generative-art-thomas-lin-pedersen
@dlearn_ir
11.04.202516:59
👇 مدیریت محصول یکی از بهترین فرصت‌های شغلی برای علاقه‌مندان تحلیل داده و تحلیل کسب‌و‌کار است. مهم‌ترین مفاهیم و روش‌های مدیریت محصول را در به صورت فشرده فرا بگیرید:
🔵 مدیریت محصول
#دوره_آموزشی_آنلاین
✍️ شاخص‌های کلیدی عملکرد در مدیریت محصول:
t.me/dlearn_ir/569
✍️ مزایای درآمدی مدیران محصول:
t.me/dlearn_ir/576
⏳ برای استفاده از تخفیف بیشتر زودتر ثبت‌نام کنید:
🙂 کد تخفیف
🙂 کد تخفیف
🔴 ثبت نام با تخفیف تا ۲۲ فروردین ۱۴۰۴
🔗 لینک ثبت نام:
d-learn.ir/pdmn
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
🔵 مدیریت محصول
#دوره_آموزشی_آنلاین
✍️ شاخص‌های کلیدی عملکرد در مدیریت محصول:
t.me/dlearn_ir/569
✍️ مزایای درآمدی مدیران محصول:
t.me/dlearn_ir/576
⏳ برای استفاده از تخفیف بیشتر زودتر ثبت‌نام کنید:
🙂 کد تخفیف
30% برای پرداخت کامل: SpH30🙂 کد تخفیف
20% برای پرداخت قسطی: FGh20🔴 ثبت نام با تخفیف تا ۲۲ فروردین ۱۴۰۴
🔗 لینک ثبت نام:
d-learn.ir/pdmn
تماس:
📱 t.me/dlearnsup
📞 02188349244
📲 09103209837
@dlearn_ir
28.03.202505:23
✍️ به نظر شما کدام گزینه معادل بهتری برای data science است؟
◽ علم داده
◽ علم داده‌ها
◽ علوم داده
◽ علوم داده‌ها
سه دلیل می‌توان ذکر کرد که✔️ «علوم داده» در مقایسه با سایر گزینه‌ها در مجموع معادل بهتری برای ترجمه data science در زبان فارسی است:
📍 تفاوت علم و science در زبان فارسی و انگلیسی
📍 سابقه استفاده از «علوم» برای معادل‌سازی science
📍 شباهت به computer science از نظر ماهیت کاربردی و بین رشته‌ای
بررسی معادل‌های فارسی data science در گوگل ترند نشان می‌دهد همه ترکیب‌های ممکن در جستجوهای کاربران در گوگل آمده اما سهم «علم داده» و «علوم داده» از سایر گزینه‌ها بیشتر است.
اگر آنچه در دهه‌های گذشته در زبان فارسی متعارف بوده و به نوعی عرف زبانی تبدیل شده را معیار قرار دهیم، می‌توان به اختصار گفت علوم داده ترجمه بهتری از علم داده است همچنان که علوم کامپیوتر ترجمه بهتری از علم کامپیوتر بوده است.
متن کامل پاسخ علیرضا کدیور به این پرسش را در مجله پرانتز در وبسایت مدرسه دقیقه مطالعه کنید:
d-learn.ir/p/data-science-fa
#واژگان_علم_و_فناوری_در_زبان_فارسی
@dlearn_ir
◽ علم داده
◽ علم داده‌ها
◽ علوم داده
◽ علوم داده‌ها
سه دلیل می‌توان ذکر کرد که✔️ «علوم داده» در مقایسه با سایر گزینه‌ها در مجموع معادل بهتری برای ترجمه data science در زبان فارسی است:
📍 تفاوت علم و science در زبان فارسی و انگلیسی
📍 سابقه استفاده از «علوم» برای معادل‌سازی science
📍 شباهت به computer science از نظر ماهیت کاربردی و بین رشته‌ای
بررسی معادل‌های فارسی data science در گوگل ترند نشان می‌دهد همه ترکیب‌های ممکن در جستجوهای کاربران در گوگل آمده اما سهم «علم داده» و «علوم داده» از سایر گزینه‌ها بیشتر است.
اگر آنچه در دهه‌های گذشته در زبان فارسی متعارف بوده و به نوعی عرف زبانی تبدیل شده را معیار قرار دهیم، می‌توان به اختصار گفت علوم داده ترجمه بهتری از علم داده است همچنان که علوم کامپیوتر ترجمه بهتری از علم کامپیوتر بوده است.
متن کامل پاسخ علیرضا کدیور به این پرسش را در مجله پرانتز در وبسایت مدرسه دقیقه مطالعه کنید:
d-learn.ir/p/data-science-fa
#واژگان_علم_و_فناوری_در_زبان_فارسی
@dlearn_ir
09.04.202515:06
💰 نگاهی بر گزارش حقوق و دستمزد جاب‌ویژن ١۴٠۴
✅ در حوزه‌های مرتبط با داده
پلتفرم خدمات کاریابی و #استخدام جاب‌ویژن از از سال 1399، پیوسته گزارش‌هایی را با عنوان حقوق و دستمزد با نظرسنجی از نیروهای کار در سراسر کشور منتشر می‌کند. گزارش حقوق و دستمزد 1404 با شرکت بیش از 100هزار نفر، در 600 خانواده شغلی به تفکیک گروه شغلی، سطح ارشدیت و جغرافیا اخیرا منتشر شده‌است.
در این نوشته، اطلاعات و نکات مهم این گزارش و به صورت اختصاصی مشاغل مربوط به داده بازنشر شده.
💡 مهم‌ترین یافته‌های گزارش
کارفرماها و کارجویان اعتقاد دارند که به‌دلیل وجود شرایط تورمی در کشور، حقوق افراد باید متناسب با تورم افزایش یابد تا قدرت خریدشان ثابت بماند.
بنا به دلایل مختلف از جمله گروه شغلی، مدت حضور در بازار کار و… حقوق #زنان ٪۲۸ کمتر از مردان است.
سطح ارشدیت مهم‌ترین عامل برای افزایش حقوق است، درحالی‌که سابقه کار در میانه مسیر شغلی بی‌تاثیر می‌شود.
اکثر مشاغلی که مرتبط با تکنولوژی بوده‌اند (مانند توسعه نرم‌افزار، مدیر محصول و تحلیلگر کسب‌و‌کار، هوش مصنوعی و علوم داده و ...) حقوق‌های بالایی دارند و رشد زیادی را تجربه کرده‌اند.
نوع #دانشگاه محل تحصیل #کمترین تاثیر را بر حقوق دریافتی دارد.
🌐اعداد حقوق ۱۴۰۳ و ۱۴۰۴ شغل‌های مرتبط با حوزه داده به دلیل محدودیت تلگرام در اینستاگرام مدرسه ببینید.
همچنین می‌توانید گزارش کامل را از سایت جاب‌ویژن دانلود کنید.
🔴🔴🔴🔴
تا ۲۲ فروردین وقت دارید تا دوره‌های بهار مدرسه دقیقه را با تخفیف خریداری کنید؛
+ یادگیری ماشین با پایتون
* استفاده از هوش مصنوعی در زندگی حرفه‌ای
+ استخراج داده از وب
* پردازش بهینه با pandas و polars
🟢 اطلاعات بیشتر:
https://t.me/dlearn_ir/575
⏳ برای استفاده از تخفیف‌‌های زیر تا ۲۲ فروردین ۱۴۰۴ ثبت‌نام کنید.
🙂 کد تخفیف 30% برای پرداخت کامل: SpH30
🙂 کد تخفیف 20% برای پرداخت قسطی: FGh20
شروع از دوره‌ها از نیمه اردیبهشت ۱۴۰۴
📲 تماس:
@dlearnsup
09103209837
02188349244
@dlearn_ir
✅ در حوزه‌های مرتبط با داده
پلتفرم خدمات کاریابی و #استخدام جاب‌ویژن از از سال 1399، پیوسته گزارش‌هایی را با عنوان حقوق و دستمزد با نظرسنجی از نیروهای کار در سراسر کشور منتشر می‌کند. گزارش حقوق و دستمزد 1404 با شرکت بیش از 100هزار نفر، در 600 خانواده شغلی به تفکیک گروه شغلی، سطح ارشدیت و جغرافیا اخیرا منتشر شده‌است.
در این نوشته، اطلاعات و نکات مهم این گزارش و به صورت اختصاصی مشاغل مربوط به داده بازنشر شده.
💡 مهم‌ترین یافته‌های گزارش
کارفرماها و کارجویان اعتقاد دارند که به‌دلیل وجود شرایط تورمی در کشور، حقوق افراد باید متناسب با تورم افزایش یابد تا قدرت خریدشان ثابت بماند.
بنا به دلایل مختلف از جمله گروه شغلی، مدت حضور در بازار کار و… حقوق #زنان ٪۲۸ کمتر از مردان است.
سطح ارشدیت مهم‌ترین عامل برای افزایش حقوق است، درحالی‌که سابقه کار در میانه مسیر شغلی بی‌تاثیر می‌شود.
اکثر مشاغلی که مرتبط با تکنولوژی بوده‌اند (مانند توسعه نرم‌افزار، مدیر محصول و تحلیلگر کسب‌و‌کار، هوش مصنوعی و علوم داده و ...) حقوق‌های بالایی دارند و رشد زیادی را تجربه کرده‌اند.
نوع #دانشگاه محل تحصیل #کمترین تاثیر را بر حقوق دریافتی دارد.
🌐اعداد حقوق ۱۴۰۳ و ۱۴۰۴ شغل‌های مرتبط با حوزه داده به دلیل محدودیت تلگرام در اینستاگرام مدرسه ببینید.
همچنین می‌توانید گزارش کامل را از سایت جاب‌ویژن دانلود کنید.
🔴🔴🔴🔴
تا ۲۲ فروردین وقت دارید تا دوره‌های بهار مدرسه دقیقه را با تخفیف خریداری کنید؛
+ یادگیری ماشین با پایتون
* استفاده از هوش مصنوعی در زندگی حرفه‌ای
+ استخراج داده از وب
* پردازش بهینه با pandas و polars
🟢 اطلاعات بیشتر:
https://t.me/dlearn_ir/575
⏳ برای استفاده از تخفیف‌‌های زیر تا ۲۲ فروردین ۱۴۰۴ ثبت‌نام کنید.
🙂 کد تخفیف 30% برای پرداخت کامل: SpH30
🙂 کد تخفیف 20% برای پرداخت قسطی: FGh20
شروع از دوره‌ها از نیمه اردیبهشت ۱۴۰۴
📲 تماس:
@dlearnsup
09103209837
02188349244
@dlearn_ir
Log in to unlock more functionality.
