مقاله بازار استخراج داده ها

دانلود مقاله بازار استخراج داده ها

مقدمه

بازار ابزار استخراج داده ها از دو راه ابتدایی خود در حال ظهور می‌باشد . بسیاری از ابزارهایی که در اینجا توضیح داده می‌شوند ، در مرحله اول انتشار می‌باشند.

موقعیت در بازار CRM که عموماً بخشی از سیستم تجارت الکترونیکی در نظر گرفته می‌شود ، پیچیده تر می‌باشد و بنابراین با سرعت وب یا شبکه در حال حرکت می‌باشد. بازار CRM ، حتی بیشتر از بازار ابزار استخراج داده‌ها با چندین فروشنده که بر تعریف خود بازار و موقعیت خود در این بازار متمرکزند ، توصیف می‌گردد.

این اشتباه، با ماهیت بسیار دینامیک خود بازار که یک فعالیت قابل رویت تحکیم مشتری، شرکتهای ادغامی‌و تملیک ها را تحمل می‌کند، بیشتر می‌گردد. علی رغم کل این چالشها، باز رو به تکامل می‌رود و فروشندگان، پیشرفت مهمی‌در علمی‌بودن ابزار، قابلیت استفاده و قابلیت اداره‌ کسب می‌کنند.

اولین بخش این فصل ، به کاربردهای بسته بندی شده  استخراج داده ها می‌پردازد. این کاربردها ، بر اساس چندین تکنیک استخراج داده ها  ادغام شده در ابزارهای بهتر می‌باشد . همراه با بهترین عملکرد ها ، اسلوب شناسی های خوب تعریف شده و فرآیندها، راه خود را در محیط های تولید شرکتها که در آن استخراج داده ها بخشی از یک فرآیند موسسه ای شده می‌شود می‌یابند که شامل رشد و یادگیری سازمانی می‌شود .

بازار استخراج داده ها

بیائید بازار استخراج داده ها را از نقطه نظر منحنی اقتباسی تکنولوژی در نظر بگیریم ایمنی به اقتباس کنندگان اولیه ، از تکنولوژی لبه یادگیری برای دستیابی به مزیت رقابتی استفاده می‌کنند ؛ هنگامیکه تکنولوژی تکامل می‌یابد ، شرکتهای بیشتری آن را اقتباس می‌کنند ، و در یک حالت تجارت زمانی و عادی درج می‌نمایند . همچنین مناطق عملی بودن ابزاهای استخراج داده ها بزرگتر و بزرگتر می‌شوند. به عنوان مثال ، تکنولوژی وایت اوک ( یک شرکت استخراج داده ها در مریلند)  از جانب کمیسیون فدرال الکترون، مجوز فروش سیستم گچین ماینر Capain Miner را کسب کرده است که بی نظمی‌در دخالتهای سیاسی فدرال را کشف می‌کند . نورتل، یک بسته کشف کلاهبرداری را توسعه داده است به نام سوپر اسلوت فراود ادوایسور ، که از تکنولوژیهای شبکه عصبی استفاده می‌کند .

صنعت ابزار استخراج داده ها ، برخلاف تکنولوژیهای استخراج داده ها ، در مرحله عدم تکامل قرار دارد و می‌کوشد تا بازار را تعیین نماید . و وجودش را تائید کند . به همین دلیل است که در می‌یابیم بازار ابزارهای استخراج داده ها تحت تاثیر موارد زیر قرار دارد:

ادغام پیوسته و مداوم ابزارها با اتکاء به تکنولوژیهای مکمل و به عنوان مثال OLAP

ظهور کاربردهای بسته بندی شده عمودی و یا اجزاء استخراج داده ها برای توسعه کاربرد .

استراتژیهای بسیار اقتباس شده شرکت بین فروشندگان ابزار استخراج داده ها و فروشندگان تهیه کنندگان راه حل جامع و ادغام کننده های سیستم ها : فروشندگان  مقیاس مؤسسه ، همانند IBM NCR ، اوراکل ، میکروسافت ) به عنوان مثال ، اوراکل چندین شریک متعدد استخراج داده ها به عنوان بخشی از او را کل ویرهاوس اینتیشیتیو از جمله آنگاسن دیتا مایند ، دیتاپکیج اینفورمیشن دیسکاوری ، SRA , SPSS اینترنشنال و تینکینگ ماشینز را انتخاب کرده است .

اصول طبقه بندی ابزارهای استخراج داده ها

ما می‌توانیم کل بازار ابزارهای استخراج داده ها را به سه گروه اصلی تقسیم نمائیم ؛ ابزارهای دارای هدف کلی ، ابزارهای ادغام شده استخراج داده ها DSSOLAP ، و ابزارهای به سرعت در حال رشد و برای کاربرد.

ابزارهای هدف کلی بخش بزرگتر و کامل تر بازار را اشغال می‌کند . آنها بنا به تعریف و برای کاربرد نیستند و حوزه آنها از نظر ماهیت افقی است . این ابزار شامل موارد زیر می‌شود .

· SAS اینترپراز ماینر

· IBM اینتلیجنت مایننر

· یونیکا PRW

· SPSS کلمنتین

· SGI ماین ست

· اوراکل داروین

· آنگاس نالج سیکر

بخش ابزار مرکب یا اداغام شده استخراج داده ها بر شرط تجاری بسیار واقعی و اجباری داشتن ابزار چند منظوره تقویت تصمیم تاکید می‌کند که گزارش مدیریت ، پردازش تحلیلی روی خط ، و قابیت های استخراج داده ها در یک قالب کاری عادی را فراهم می‌کند . نمونه های این ابزار های مرکب شامل کاکنوس  سیناریو و بیزینس آبجکت می‌شود.

بخش ابزارهای ویژه کاربرد ، به سرعت در حال حرکت است ، و فروشندگان در این فضا ، می‌کوشند تا خود را با ارائه راه حلهای تجاری به جای جستجوی تکنولوژی برای یک راه حل ، از سابرین متمایز نمایند . حوزه این ابزار ، بنا به تعریف از نظر ماهیت عمودی است . در بین این ابزارها ، موارد زیر قرار دارند:

· KD1 ( متمرکز بر خرده فروشی است )

· حق انتخابها و انتخابها ( بر صنعت بیمه متمرکز است )

· HNC ( بر کشف کلاهبرداری متمرکز است )

· یونیکا مدل ۱ ( بر بازاریابی متمرکز است )

ارزیابی ابزار : صفات و اسلوب شناسی ها

کل این عوامل ارائه یک توصیف بهینه از ابزارهای استخراج طولانی تر موجود را مشکل ساخته است . بنابراین . بطور کلی ابزارهای استخراج داده ها را می‌توان با استفاده از صفات زیر ، توصیف نمود :

تکامل محصول و ثبات و استحکام شرکت . به دلیل عدم تکامل کلی بازار تجاری برای ابزارهای استخراج داده ها ، این مقوله محصولاتی را توضیح می‌دهد که برای جنبش از چند سال وجود داشته اند.

 سکوها و معماری. سکوهای متنوع از نظر تجاری موجود را تقویت کنید ، مدل چند تأبیری مشتری / خادم را تقویت کنید . هدف قابلیت سنجش، دسترسی به سرعت نزدیک به خطی و سنجش زمان اجرا ، به عنوان میزان داده ها ( اندازه بانک اطلاعاتی ) ، تعداد متغیرها ، و تعداد کاربران متصل به هم می‌باشد که در حال رشد هستند .

تداخلهای داده ها ، قابلیت ابزار برای دسترسی به بانکهای اطلاعاتی ارتباطی ، فایلهای یکنواخت و سایر فورمتها.

قابلیتهای استخراج داده ها از جمله تکنیکها ، الگوریتم ها و کاربردهای تحلیلی ،‌ تکنیکهای استخراج داده ( ANN ، CART ، ایفاء قانون و غیره ) با تداخل عادی کاربر که ابزار می‌تواند آن را تقویت نماید، توانایی ایجاد و مقایسه چندین مدل ؛ و توانایی برای تقویت تعدادی از انواع مختلف تجزیه و تحلیل از جمله طبقه بندی ، پیشگویی و کشف اتحاد.

ایجاد داده ها قابلیت تغییر شکل و طبقه بندی متغیرهای پیوسته ، ایجاد متغیرهای جدید ، استفاده از تاریخها و زمان ، استفاده از ارزشهای از دست رفته و غیره.

مدل (خصوصیت تفسیر ، ارزیابی ، صف بندی) . این مقوله ، ابزار را از نظر قابلیت انجام کارهای زیر ، ارزیابی می‌کند:

· شناسایی مدل بطور اتوماتیک یا دستی ، توسط کاربر

· توضیح نتایج و تعریف مقایسهای اعتمادی یعنی احتمالات طبقه بندی ،‌ حدود اعتماد و غیره

· ارزیابی نتایج مدل با درجه و تناسب

· گزارش دخالت و سهم  هر متغیر در مدل ، گزارش درجه افزایش و غیره

· صف بندی مدل برای امتیاز بانکهای اطلاعاتی منبع

· استخراج مقرارت از مدل

· دسته بندی قوانین استخراج شده در یک شکل استاندارد ( به عنوان مثال کد SQL، اظهارات روشی )

 عملکرد

· اعتبار پیشگویی اعتبار بر اساس نرخ خطای نمونه پیشگویی می‌باشد ؛ اعتبار مدل را می‌توان با درجه افزایش اندازه گیری نمود.

· کارایی پردازش . اجزای بهینه زمان اجرای الگوریتم ها

تداخلهای کاربر . این مقوله در می‌یابد آیا ابزار یک کاربر مبتدی و یا کارشناس را تقویت می‌کند یا نه و موارد زیر را تقویت می‌نماید:

· الگوهای سنجش تجاری . قابلیت ایجاد الگوهای از قبل بسته بندی شده ، برای تقویت بسته های تجاری ویژه ( به عنوان مثلا بازاریابی هدف ، امتیازدهی اعتبار، کشف کلاهبرداری ).

· تداخل متادیتا . قابلیت تقویت وظیفه طراحی معنایی ؛ دستیابی به متادیتا برای کدگذاری جداول مقادیر مقوله ای ، دستیابی به قوانین استخراج ، تغییر شکل و مهاجرت به تعریف دیدگاه تجاری خروجی مدل

قابلیت اداره

· کنترل پیچیدگی . این یکی از روشهای اصلاح تصمیم مدل است ، بنابراین مدل را بیشتر قابل اداره می‌نماید . به عنوان مثال ، استفاده از پارامترهای بسیار آزاد منجر به تناسب بیش از حد می‌گردد ( قبلاً بحث شد ) ؛ این پیچیدگی را می‌توان با زوال وزن ، کنترل نمود . الگوریتم های درخت تصمیم CART از فاز شاخه زنی یا ضریب برای کاهش پیچیدگی مدل درخت استفاده می‌نمایند .

· سختی . اعتبار درخت و موجود بودن به قابلیت یا بهبود سریع از یک نقطه ضعف . استفاده از اجزاء کلیدی به منظور ادغام در قالب کاری مدیریت سیستم ها ( به عنوان مثال BMCpatrol ، Tivolitme10 و غیره.)

· مرسوم سازی . قابلیت ابزار برای ایجاد یک معماری باز، انعطاف پذیر و قابل گسترش با تداخلهای برنامه ریزی کاربرد منتشر شده و نقاط خروجی کاربر که امکان این کاربردهای تقویت تصمیم، ویژه کاربر و همینطور ادغام با سایر کاربردها را فراهم می‌آورد.

هر گاه که ممکن باشد، ما ابزارهایی که از این مقوله ها استفاده می‌کند را مورد بحث قرار خواهیم داد. با این وجود ، به دلیل این که هدف این فصل ،‌ ایجاد یک بررسی کلی از ابزرهای برجسته و استخراج داده ها می‌باشد و صفات یا خصوصیات عملکرد که می‌توانیم تنها با انجام یک ارزیابی جامع از محصول با استفاده از داده‌ها بدست آوریم ، در این بحث در نظر گرفته نخواهد شد . دیگر این که فروشنده یک معیار منتشر شده یا اطلاعات بررسی کاربر در مورد عملکرد ابزار را فراهم نماید.

ارزیابی ابزار

ابزارهایی که بطور مفصل در این فصل بحث شد ، شامل کلمنتین (SPSS) ، کاکنوس ۴t hought ، کاکنوس سناریو ، دینا ماینر دیتا مایند ) ، داروین ( اوراکل ) ایستگاه کاری استخراج بانک اطلاعاتی (HNC) سریهای تصمیم ( نئوویستا ) ، اینترپرایزماینر SAS . اینتلیجنت ماینر (IBM) ، نالوج سیکر و نالوج استادیو (AGNOSS) ، و مدل ۱ و PRW ( یونیکا ) . ابزارهای دیگر بطور مختصر مورد بحث قرار می‌گیرند . سطح جزئیات موجود برای برخی از این ابزارها به دلیل فقدان تکامل محصول محدود می‌باشد . این ابزارها به ترتیب حروف الفبا مورد بحث قرار می‌گیرند.

کلمنیتین (SPSS)

بررسی ، کلمنیتین ، یک ابزار کاربرد استخراج داده ها از SPSS می‌باشد . این ابزار یک تداخل کاربر گرافیکی را با چندین نوع تکنیکهای تجزیه و تحلیل از جمله شبکه های عصبی به قوانین اتحاد و تکنیکهای القاء قانون ،‌ ترکیب می‌کند . این قابلیتهای فنی ، در یک محیط برنامه ریزی دیداری که استفاده از آن ساده است ارائه می‌شوند .

استعاره گرافیکی که کلمنتین استفاده می‌کند،  استعاره گرفتن ، انداختن و اتصال گره های عمل روی صفحه است. گره هایی برای دسترسی داده ها ، ساخت داده‌ها ، تجسم داده ها ، یادگیری ماشین ، تجزیه و تحلیل مدل وجود دارد . فرایند توسعه مدلی مرکب از انتخاب گره های صحیح از یک پالت ، قرار داده آنها روی صفحه و اتصال گره ها می‌باشد.

کلمنتین دارای یک سری غنی از قابلیت های دسترسی اطلاعات از جمله فایلهای یکنواخت و بانکهای اطلاعاتی ارتباطی ( از طریق ODBC ) می‌باشد . بیشتر، کلمنتین قابلیت دائمی‌ساختن نتایج طراحی را از طریق نوشتن آنها در ODBC – Compliant DBMS دارد.

ساخت داده های ورودی شامل هماهنگی در نماها و توانایی اشتقاق حوزه های جدید ، می‌شود . قابلیت های تجسم داده های کلمین شامل نمودارهای پراکندگی ، طرحهای خطی و تجزیه و تحلیل وب  می‌باشد.

کلمنتین روی سیستم های اینتل پنتیو اجرا می‌شود که سریهای ویندوز ، NT ، HP 9000 که HPUX10 و بالا سیلیکون گرافیکس که IRIX ، Sun SPARC که سولاریس ۲٫x و دیجیتال APLHA که دیجیتال UNIX 3.X یا VMS 6.X را اجرا می‌کند .

دسترسی به اطلاعات ساخت و پیش پردازش . کلمنتن فایهای متن تحریر شده ، فایلهای ارزش مجزا شده با کاما و فایلهای ثبت ثابت (ASCII) را وارد می‌کند . سایر منابع اطلاعاتی از طریق یک تداخل ODBC حمایت می‌شوند . سیستم های بانک اطلاعاتی ارتباطی اصلی ، از جمله اوراکل سیباس ، اینفورمیکس و CA-IN gres از طریق ODBC در دسترس می‌باشد.

قابلیت های ساخت داده های کلمنتین شامل موارد زیر می‌شود:

· ادغام ثبت ها از طریق توالی ثبت

· تراز داده ها با افزایش نسبت ثبت ها با خصوصیات ویژه

· تراکم تعیین شده کاربر

· تصفیه ثبتهای بیگانه و نامربوط

· اشتقاق جدید حوزه با استفاده از فرمولهای تعیین شده‌ کاربر و اپراتورهای منطقی

· قابلیت های نمونه گیری داده هاا ، از جمله اولین و آخرین N ثبت  ، ۱ در N نمونه گیری ، و نمونه گیری اتفاقی تکنیک های استخراج داده ها ، الگوریتم ها و کاربردها

· کلمنتین ـ الگوریتم های القایی قانون ـ شبکه های عصبی و از جمله شبکه های کوهونن ، او قوانین مربوطه را تقویت می‌کند :

· درک الگوریتم های القاء قانون کلمنتین ساده می‌باشد : الگوریتم ها هنگامیکه آموزش داده شوند یک درخت تصمیم را ایجاد می‌کنند که قانون را نشان می‌دهد . یک فرآیند دائمی‌که دنبال می‌شود ، قرار دارد و متغیرهای مهم در سطوح بالای درخت و سپس آموزش شبکه عصبی با این متغیرها می‌شود.

· شبکه های عصبی کلمنتین در توپولوژیهای متنوع و روشهای آموزش ، ارائه می‌شوند . شبکه معیوب لایه پنهان برای ارزیابی عملکرد

· کلمنتین شبکه های عصبی سولمونس را بـرای حل مسائل دسته بندی ارائه می‌کند .

· قوانین اتحاد همانگونه که از نامش پیداست . یک نتیجه ویژه را به یک سری از صفات ، مربوط می‌نماید . اتحادها را می‌توان بین صفات یافت که برای کاربردهایی همانند تجزیه و تحلیل سبد بازار ، بسیار مفید است .

· کلمنتین برش عمودی مشتری ، تجزیه و تحلیل سریهای زمانی ، تجزیه و تحلیل سه بازار و کشف کلاهبرداری را تقویت می‌کند .

کار با ابزار مدل در محیط برنامه ریزی دیداری با استفاده از استعاره گره های متصل ، مشخص می‌گردد . جعبه های دیالوگ با گره های طراحی مدل وجود دارد که به کنترل الگوریتم ها و روشهای آموزشی کمک می‌کند .

کلمنتین به کاربران امکان می‌دهد تا در یابند کدام ورودیها در مدل دارای اهمیت در پیشگویی کننده هستند ، گر چه تغییر شبکه های عصبی ذاتاً مشکل است. الگوریتم های درخت تصمیم یک بررسی قانون دارای تاثیر متقابل ، که استفاده از از آن ساده است را تقویت می‌کند .

کلمنتین حدودی از وظایف را برای ارزیابی مدل ،‌ ارائه می‌دهد . اینها شامل یک گره تجزیه و تحلیل می‌شود که تعداد تشخیص های صبح را برای ورودی مدل گزارش می‌کند ؛ مقادیر اطمینان متغیر از ۰ تا ۱ ، گره ماتریس که کاربر می‌تواند جدول سازی در زمینه های انتخابی را در آن انجام دهد.

کلمتین می‌تواند درختان تصمیم، شبکه های عصبی ، و شبکه های کوملونس را به عنوان کد C ، صادر نماید . بعد از آنکه مدل در کلمنتین ساخته شد ، آن را می‌توان به عنوان کد C که باید در محیط خارجی صف بندی  شود ، صادر نمود . به عنوان مثال ، اگر مدل شبکه ‌عصبی بایستی صادر شود . کلمنتین سه فایل را صادر خواهد نمود : یک سر فایل ، یک فایل وظیفه ، و یک فایل تعریف شبکه. قوانینی  که الگوریتم القاء قوانین ایجاد می‌کند ، قابل صدور می‌باشد.

محیط برنامه ریزی دیداری کلمنتین ، برای یک مبتدی ، مناسب است . توالی طراحی به طور مشخص ارائه می‌گردد و حق انتخابهای متعدد ،‌ انعطاف پذیری را افرایش می‌دهند . یک کاربر کارشناسی که مایل به ساخت الگوریتم های کلمنتین می‌باشد ،‌ آن آزادی را ندارد . با این وجود ، حذف انتخابهایی در شبکه های عصبی برای تنظیم نرخ یادگیری و کنترل خستگی مشتری در الگوریتم های درخت تصمیم وجود دارد . کلمنتین الگوهای تجاری ارائه نمی‌کند . تداخل مقاومتها در میزان نوشتن این بحث وجود نداشت .

نتیجه گیری . کلمنتین یک محصول قوی است . در معیارهای منتشر شده مشتری ،‌ آن برحسب قابلیت سنجش اعتبار پیشگویی کننده و زمان پردازش خوب کار می‌کند . بطور کلی ،‌ کلمنتین ، بسیار خوب با اجراهای تجزیه و تحلیل مقیاس اندک و بزرگ ، همانگ بود.

فهرست

مقدمه. ۱

بازار استخراج داده ها ۲

اصول طبقه بندی ابزارهای استخراج داده ها ۳

ارزیابی ابزار : صفات و اسلوب شناسی ها ۴

ارزیابی ابزار. ۷

کلمنیتین (SPSS) 7

۴ تفکر و سناریو ( cognos) 10

تکنیک های استخراج داده ها ، الگوریتم ها و کاربردها ۱۳

سناریو سه استراتژی تجزیه و تحلیل را ارائه می‌دهد. ۱۳

داروین ( اوراکل ). ۱۵

ایستگاه کاری استخراج بانک اطلاعتی  ( HNC) 19

سریهای تصمیم (Neovisa) 22

اینترپرایز ماینر (SAS) 26

اینتلیجنت ماینر (IBM) 29

جستجو گر دانش  و استادیوی دانش ( آنگئوس ). ۳۴

مدل ۱ و کار شناخت الگو   (unica) 37

سایر ابزارهای استخراج داده ها ۴۱

ابزارهای CRM… ۴۲

ابزارهای خصوصی سازی… ۴۳

ابزارهای بازاریابی / مدیریت مبارزه. ۴۷

ابزارهای خدمات مشتری و اتوماتیک سازی فروش…. ۴۹

مقدمه. ۵۳

هوش تجاری و استخراج اطلاعات… ۵۴

مدیریت دانش و استخراج متن.. ۵۵

مزایای استخراج متن.. ۵۷

تکنولوژیهای استخراج متن.. ۵۸

جستجوی اینترنتی… ۵۹

تجزیه و تحلیل متن.. ۵۹

جمع آوری اسناد نسخه برداری شده ذکر نشده اند. ۶۰

شبکه های معنایی و سایر تکنیکها ۶۱

محصولات استخراج متن.. ۶۴

استفاده از قدرت مغز انسان.. ۷۱

نتیجه گیری… ۷۸

مدیریت دانش…. ۷۸

مدیریت رابطه مشتری در جهان تجارت الکترونیکی… ۷۹

تهیه کنندگان خدمات کاربرد. ۸۱