پاورپوینت وب کاوی Web Mining

مقدمه:
وب محیطی گسترده، پویا و متنوع است که کاربران و سازمان ها اطلاعات و اسناد خود را در آن منتشر می کنند. حجم صفحات موجود در وب بیش از دو میلیارد صفحه برآورد شده و با نرخ روزانه بیش از ۷.۳ میلیون صفحه افزایش می یابد، به همین دلیل دسترسی به داده ها و مدیریت آن ها با روش های سنتی تقریباً غیرممکن است. داده های وب علاوه بر حجم بالا، از ساختارهای گوناگون، شامل متن، تصویر، ویدئو، صدا و پایگاه های داده ای برخوردارند و این تنوع، استخراج اطلاعات و دانش از وب را به یک چالش جدی تبدیل کرده است. با توسعه سیستم های اطلاعاتی و افزایش اهمیت داده ها به عنوان یکی از منابع حیاتی سازمان ها، روش ها و تکنیک هایی برای کاوش، تحلیل و استفاده از داده های وب ضرورت پیدا کرده است.

کاربران در محیط وب معمولاً برای یافتن اطلاعات مورد نیاز خود از موتورهای جستجو استفاده می کنند، اما موتورهای جستجو دارای محدودیت هایی هستند. نخست، دقت موتورهای جستجو محدود است و در پاسخ به یک پرس وجوی ساده صدها یا هزاران سند ارائه می دهند که بسیاری از آن ها مرتبط با نیاز اطلاعاتی کاربر نیستند. دوم، میزان فراخوان اطلاعات این موتور ها محدود است و قادر به پوشش تمام اسناد وب نیستند، زیرا حجم اطلاعات بسیار زیاد و پایگاه داده ها توانایی ذخیره سازی کل محتوای وب را ندارند. این محدودیت ها زمینه ای برای توسعه روش های پیشرفته استخراج و تحلیل داده ها از وب فراهم کرده اند تا اطلاعات موجود در محیط وب به دانش قابل استفاده تبدیل شود و نحوه ارائه داده ها به کاربران با توجه به نیازها و ترجیحات آن ها شخصی سازی گردد.

وب کاوی، به عنوان یک فرآیند کشف اطلاعات و دانش مفید از داده های وب، با بهره گیری از تکنیک های داده کاوی امکان استخراج خودکار اطلاعات از اسناد و سرویس های وب را فراهم می آورد. این فرآیند شامل کشف الگوهای پنهان، شناسایی رفتار کاربران و تحلیل داده های ساختاری و ناهمگون وب است. وب کاوی سه حوزه اصلی دارد: کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب. در کاوش محتوای وب، داده ها شامل متن، تصاویر، ویدئو و سایر منابع ساخت یافته یا نیمه ساخت یافته استخراج می شوند. کاوش ساختار وب، با نمایه سازی گرافی صفحات وب و روابط بین آن ها، امکان تحلیل پیوندها و ساختار شبکه وب را فراهم می کند. کاوش استفاده از وب، الگوهای استفاده کاربران و تعامل آن ها با منابع وب را تحلیل می کند تا رفتار و ترجیحات کاربران شناسایی شود.

وب کاوی نیازمند پیش پردازش داده ها، شامل کاهش کلمات به ریشه، حذف کلمات زائد و تبدیل داده ها به قالب های ساخت یافته است. در مرحله بعد، با استفاده از الگوریتم های داده کاوی و یادگیری ماشینی، الگوهای کلی در وب استخراج و تحلیل می شوند. این فرآیند شامل شناسایی منابع داده، انتخاب و پیش پردازش اطلاعات، تعمیم الگوها و تحلیل آن ها است. عامل های وب ابزارهایی هوشمند برای مدیریت داده های وب هستند که با فنون داده کاوی و یادگیری ماشینی، بازیابی اطلاعات دقیق تر و دسته بندی نتایج را ممکن می سازند. پایگاه های داده ای چندلایه نیز امکان ذخیره سازی و تحلیل داده ها را در سطوح مختلف فراهم می کنند و به وب کاوی قابلیت پردازش داده های گسترده را می دهند.

تاریخچه وب کاوی به سال ۱۹۹۶ و مقاله اتزیونی بازمی گردد که وب کاوی را به عنوان یک فرآیند وظیفه محور توصیف کرده است. در سال های بعد، محققان به تحلیل داده های وب از دیدگاه داده کاوی پرداختند و سیستم های توصیه گر مبتنی بر وزن دهی ویژگی ها و عامل های فازی معرفی شدند. با پیشرفت های بعدی، وب کاوی شامل تحلیل رفتار کاربران، مدل سازی پروفایل ها و ارائه گزینه ها بر اساس روابط بین کاربران و آیتم ها شد. وب کاوی با زمینه های تحقیقاتی مختلف علوم کامپیوتر مانند داده کاوی، پایگاه داده، بازیابی اطلاعات، هوش مصنوعی، یادگیری ماشینی، پردازش زبان طبیعی و طراحی واسط کاربری مرتبط است و تکنیک های آن امکان کشف دانش از داده های باز وب را فراهم می آورد.

ارتباط بین وب کاوی و یادگیری ماشینی، امکان استفاده از الگوریتم های یادگیری برای تحلیل داده های وب را میسر می سازد. همچنین، وب کاوی از داده های ساختاری، شامل پیوندهای بین صفحات وب، و داده های رفتار کاربران بهره می برد تا الگوهای استفاده، علاقه مندی ها و تعامل کاربران با وب تحلیل شود. حفظ حریم خصوصی کاربران از دیگر نکات مهم وب کاوی است، زیرا داده ها در محیط باز وب استخراج می شوند و باید از سوءاستفاده محافظت شوند. وب کاوی با انواع الگوریتم ها و روش ها، از جمله درخت تصمیم، شبکه عصبی، متن کاوی، HITS و PageRank، امکان پردازش و تحلیل اطلاعات متنی و چندرسانه ای را فراهم می آورد و در سیستم های توصیه گر، موتورهای جستجو و تحلیل رفتار کاربران کاربرد دارد.

این فرآیند، با پوشش گسترده داده ها و تحلیل تعاملی آن ها، به استخراج دانش از منابع وب، مدیریت اطلاعات پیچیده و ارائه داده ها در قالب های شخصی سازی شده ادامه می دهد و زمینه برای کاربردهای عملی متنوع، از جمله سیستم های توصیه گر، تحلیل رفتار کاربران و مدیریت اطلاعات در محیط وب فراهم می سازد.

فهرست مطالب
مقدمه
مشکلات کاربران در استفاده ازوب
تاریخچه وب کاوی
Web Mining
مراحل وب کاوی
وب کاوی و زمینه های تحقیقاتی مرتبط
وب کاوی و داده کاوی
تفاوت وب کاوی و داده کاوی
وب کاوی و یادگیری ماشین
انواع وب کاوی
چالش های وب کاوی
انواع الگوریتم های وب کاوی
درخت تصمیم
شبکه عصبی
روش های کاوش محتوای وب
استفاده از متن کاوی و وب کاوی در سیستم های توصیه گر
متن کاوی
HITS
Page Rank
کاربردهای وب کاوی
Googleو وب و کاوی
Ebay و وب و کاوی
نتیجه گیری
فهرست منابع