پیش پردازش داده ها : نکات تکمیلی در مورد داده های ناقص، ناسازگار و غیر دقیق

در این مطلب آخرین تکنیک ها و فعالیت های مرتبط با داده های ناقص، ناسازگار و غیر دقیق را مورد بررسی قرار می دهیم. در مطالب گذشته موارد زیر را بررسی کردیم

• هدف پیش پردازش داده (Data Preprocessing) ایجاد داده های کامل، سازگار و دقیق
• پیش پردازش داده ها : منشاء ایجاد داده های غیر دقیق (inaccurate)
• پیش پردازش داده ها : منشاء ایجاد داده های ناقص (Incomplete)

همانطور که بیان کردیم هدف شناسایی داده های ناقص، ناسازگار و غیر دقیق و رفع آنها ایجاد داده های مناسب و با کیفیت است تا بتوانیم خروجی بهتری از تکنیک های داده کاوی بگیریم.

در این قسمت آخرین بخش مربوط به این حوزه را مورد بررسی قرار می دهیم. در این بخش فعالیت ها و اطلاعات تکمیلی را ارائه خواهیم داد. این فعالیت های به صورت لیست وارد در زیر آمده است

• داده‌های که با سایر داده‌های ناسازگاری دارند باید از مجموعه داده هاحذف شوند.
• در بعضی از مواقع پیشینه (تاریخچه) مربوط به داده‌ها و یا اطلاعات مربوط به زمان تغییرات داده‌ها نیز نگهداری می شود. در صورت عدم نیاز به آنها ، این اطلاعات را حذف کنیم.
• داده‌های که مقادیر گم شده دارند یا به عبارت دیگر برای آنها مقادیری وجود ندارد باید بر اساس سایر ویژگی‌های مرتبط با آنها استنتاج شوند و مقادیر مناسب برای آنها تولید گردد. (مفصل در بخش داده های ناقص توضیح داده شده است)

اهمیت کاربر استفاده کننده از داده ها : نکته دیگر در مورد داده‌های این است که کیفیت داده های تولید شده بسیار به کسی که می خواهد از آن استفاده کند وابسته است. به عنوان مثال فرض کنید ما اطلاعات مربوط به آدرس مشتریان را در اختیار داریم. فرض کنیددر داده های موجود، اطلاعات آدرس ۸۰ مشتریان وجود دارد و ۲۰ درصد از آدرس مربوط به مشتریان یا دیگر معتبر نیست (مثلا مشتری نقل مکان کرده است) و یا اشتباه ثبت شده است. میزان کیفیت این اطلاعات را می اوانیم از دیدگاه دو دسته متقاضی بررسی کنیم

• تحلیل‌گر بازار: این حجم داده (۸۰ درصد آدرس مشتریان) برای تحلیل گران می تواند حجم مناسبی از داده ها باشد و از لحاظ آنها، این مقدار داده هم کافی است و هم دقیق
• مدیر فروش: از دید مدیر فروش این داده ولی ممکن است ناقص و غیر کاربردی باشد.

در نتیجه در نظر گرفته کسی که به دادها نیاز دارد یک اصل مهم در تعیین داده ها ناقص، ناسازگار و غیر دقیق است.

دوتا معیار دیگر که بسیار به کاربر واسته است به شرح زیر است
۱-    Believability: به معنای این است که کاربر چقدر باور دارد که داده‌های موجود درست است.
۲-    Interpretability: اینکه داده های موجود از دید کاربر چقدر قابل فهم است.

از آنجایی که این دو معیار چندان به تکنیک های داده کاوی ارتباطی ندارد در این بخش تنها به آنها اشاره داشتیم.

تا اینجای مطلب ما اطلاعات کاملی را در مورد داده های ناقص، ناسازگار و غیر دقیق ، انواع مشکلات مربوط به داده ها، منشاء به وجود آمدن این گونه مشکلات را به صورت کامل بررسی کردیم. در مطالب بعدی قصد داریم مبحث تکنیک های داده کاوی مرتبط با رفع این مشلات را بیان کنیم.