دیتاهای بزرگ، تحلیل و تجزیه آن

دیتاهای بزرگ

چکیده

امروزه سازمان ها و شرکت ها برای تصمیم گیری درست به اهمیت اطلاعات بیشتر پی برده اند و همچنین شاهد آن هستیم که دیتا های دیجیتالی به سرعت در حال رشد هستند.

اصطلاح دیتا بزرگ در باره مقدار زیادی دیتا که توسط منابع مختلف تولید شده است می‌باشد.

این مقاله یکی از موضوعات در حال رشد و بسیار مورد نیاز امروزه به نام "دیتا بزرگ" Big Data را در کنار تکنیک ها و تکنالوژی های مورد نیاز برای تجزیه و تحلیل Big Data موسوم به "تجزیه و تحلیل دیتا " شناسایی و تشریح می کند.

علاوه بر این، ما  تأثیرات و چالش های استفاده از Big Data در مورد آینده را نیز توضیح داده ایم.

معرفی:

همانطور که می دانیم امروز در جامعه معلوماتی زندگی می کنیم و با انواع مختلفی از دیتاهای دیجیتالی از منابع مختلفی سروکار داریم.

به طور مثال، مسائل چون آب و هوا، دانش، مصرف انرژی، رسانه های اجتماعی، بانک­ها، آموزش، مسافرت، بیمه، دیتاهای GPS و غیره. برای سازمانی که با برخی یا انواع دیتا های فوق الذکر سروکار دارد، در فعالیت های منظم خود نیاز به تصمیم گیری موثر و کارآمد دارند، برای دستیابی به این کار باید انواع مختلفی از اطلاعات از منابع مختلف را جمع آوری کرده تجزیه و تحلیل کنند.

یک مثال ساده و معمول می تواند این اصطلاح را بیشتر وضاحت دهد. مثلا در بازار امروز رقابت مشتری ادامه دارد، برای اینکه یک شرکت تجربه مشتری خود را به وضاحت مشاهده کند، باید اطلاعاتی در مورد رسانه های اجتماعی، وب، تماس، علاقه شخصی، موقعیت مکانی و موارد دیگر مشتریان خود جمع آوری کند تا درک خود را به آنچه مشتری واقعاً نیاز دارد، بهبود بخشند.

 

1- منابع دیتای بزرگ

اصطلاح "دیتا های بزرگ" به مجموعه‌ی انواع مختلف دیتا های تولید شده توسط منابع متنوع و غیر متجانس اطلاق می شود. تعریف دیگر دیتای بزرگ این است که به مجموعه ای از دیتا های پیچیده و کلان دیتای بزرگ گفته می شود که توسط نرم افزار و ابزارهای معلوماتی معمولی قابل تحلیل و پروسس نیست.

به عبارت دیگر، این اصطلاح به حجم عظیمی از دیتا های ساختاری و غیر ساختاری گفته می شود که با استفاده از روش ها و ابزارهای جدید جهت تولید مقادیر معنادار برای سازمان ها، جمع آوری شده و قابل تحلیل است.

دیتا های ساختار یافته از دیتابیس های داخلی سازمان ها بدست می آیند در حالی که دیتاهای غیر ساختاری از رسانه های اجتماعی، GPS ، هوا، ترافیک و غیره حاصل می شود.

2- کدام دیتا را می توان به عنوان "دیتای بزرگ" در نظر گرفت ؟

دیتا های بزرگ را می توان با ویژگی های زیر تشریح کرد:

2.1- اندازه صدا - این اساساً مربوط به مقدار زیادی از دیتا های تولید شده، ذخیره شده و عملیاتی شده در سیستم می‌باشد.

2.2- متنوع یا گوناگونی بودن - به منابع ناهمگون و انواع دیتا ها که توسط یک سیستم معلوماتی مدیریت می شود.

2.3- سرعت - اصطلاح سرعت به فرکونسی تولید دیتا ها گفته می شود که تولید و پروسس دیتا ها با چه سرعتی برای پاسخگویی به خواسته ها انجام می شود.

3- موارد استفاده از دیتاهای بزرگ:

3.1- توسعه محصول

کمپنی های مانند نیت فلیکس، امازون، گمبل و غیره از دیتاهای بزرگ برای پیشبینی خواست های مشتریان استفاده می کنند. با طبقه بندی ویژگی های اصلی محصول یا خدمات و بعدا با نمونه برداری از روابط بین این ویژگیها و موفقیت تجاری، آنها مودلهای پیش بینی کننده محصولات و خدمات جدید را می‌سازند.

 

3.2- مراقبت های صحی:

هنگامی که یک مریض از امراض متعددی رنج می برد و سابقه طبی پیچیده دارد، داکتر برای تصمیم گیری با مشکل روبرو می شود مگر اینکه دیتاهای گوناگون و ناهمگون را جمع آوری کند و در نتیجه تجزیه و تحلیل پیش بینی نموده و تصمیم اتخاذ می­کند.

3.3- آگاهی یا اطلاعات امنیتی:

سازمان ها انواع مختلف اطلاعات را به صورت داخلی و خارجی با چندین مشتری، کارمند، مقامات دولتی، سهامداران و غیره تبادله می کنند. جلوگیری از دسترسی مهاجمان سایبری و هکرها به اطلاعات حساس یک چالش بزرگ است و این مشکل با استفاده از دیتاهای بزرگ برای شناسایی کاربر که چي کسی است می تواند حل شود؟

۴- تجزیه و تحلیل دیتا

اصطلاح " تجزیه و تحلیل دیتا" روش تجزیه و تحلیل حجم عظیم دیتا یا دیتای بزرگ است. بر استخراج بینش از دیتا ها تمرکز دارد، یا «تجزیه و تحلیل داده ها» شامل پروسه، ابزارها و تکنیک های تجزیه و تحلیل و مدیریت دیتا ها از جمله جمع آوری، سازماندهی و ذخیره سازی دیتا ها است.  R, SAS, python, power BI ابزار هستند. و پیش بینی، توصیفی، دیدگاه، روش های هستند که در تجزیه و تحلیل دیتا ها مورد استفاده قرار می­گیرد.

۵- زیربنای دیتای بزرگ

زیربنای دیتاهای بزرگ به ابزارها، عوامل و تکنالوژی که دیتاها را جمع آوری می کنند، سیستم های نرم افزار و رسانه‌ی ذخیره فیزیکی که دیتاها را ذخیره می کنند، شبکه‌ی که معلومات را انتقال می دهد و برنامه‌ی که برای ابزارهای تجزیه و تحلیل دیتاها زمینه مهیا می سازند و همچنان (بک آپ) یا آرشیف زیربنا که پس از تکمیل پروسه تجزیه و تحلیل، آن را بک آپ می کند؛ گفته می شود. 

 

۶- چالش های دیتای بزرگ

• کمبود کارشناسان مسلکی دیتای عظیم

به منظور پروسس ، تجزیه و تحلیل و ذخیره دیتا های بزرگ، شرکت ها نیاز به متخصصان دیتای بزرگ  Big data دارند که امروزه کار دشواری است.

• رشد سریع دیتا ها

چالش بزرگ دیگر، برای یک سازمان عظیم بودن دیتا ها است که ذخیره کردن آن در دیتا یا مراکز دیتا کار آسانی نیست.

• هزینه زیاد

باوجود اینکه پیاده سازی تجزیه و تحلیل برای کارهای بیشتری بیش از یک دهه است که انجام شده اما هزینه ذخیره سازی این دیتا های پیچیده هنوز یک موضوع نگران کننده می باشد.

۷- راه حل ها

- شرکت ها به منظور حل چالش ها و مشکلات ناشی از آن باید ورکشاپ ها و سمینارها را راه اندازی کنند.

- برای مقابله با این چالش، شرکت باید از روشهای فشرده سازی دیتا استفاده کند، و دیتاهی زائد و تکراری را حذف کند.

- برای کاهش هزینه ذخیره سازی این دیتا ها، لازم است متود ها و الگوریتم های جدیدی توسعه داده شود.

۸- آینده دیتا های بزرگ:

• آفزایش حجم دیتا

غالب کارشناسان دیتا توافق دارند که مقدار دیتا ها به طور دوامدار در حال افزایش است.

• چیره شدن بر فضای دیتای بزرگ توسط ابزارهای منبع باز

 Hadoop, Spark, R, Python ابزارها و تکنالوژی هایی هستند که در تجزیه و تحلیل دیتا های بزرگ کاربرد گسترده ای دارند.

 

• یادگیری ماشین روند دیگری برای شکل دادن آینده خواهد بود

یادگیری ماشین اساساً شاخه ای از هوش مصنوعی است که به کامپیوتر در تجزیه و تحلیل دیتاهای بزرگ کمک می کند.

مطابق نظریات برجسته ترین شرکت های تحقیقاتی تکنالوژی معلوماتی جهان مانند گارتنر و اووم پیش بینی شده است که یادگیری ماشین بخشی اساسی برای آماده سازی دیتا ها و تجزیه و تحلیل و پیش بینی برای تجارت سودآور است.

• رشته کمپیوتری کلاود کاربرد گسترده تری خواهد داشت

راه حل های کلاود وسعت پذیر اند و تکنالوژی های Hadoop اجازه می دهد دیتا ها در فضای کلاود تجزیه و تحلیل شوند که یک راه حل ارزان تر ارائه می دهد.

• افزایش امنیت

همانطور که دیتا های دیجیتالی به طور مداوم در حال افزایش هستند، جرایم سایبری نیز در حال افزایش هستند.

برای کشف جرایم، تجزیه و تحلیل دیتاهای بزرگ به استراتژی های امنیتی افزوده می شود.

۹- نتیجه

از آنجا که دیتای بزرگ در آغاز کار است و به ندرت مورد اجرا قرار دارد، اما اکثریت شرکت ها تلاش می کنند تا به آن دست یابند.

در مورد دیتاهای بزرگ تعاریف زیادی وجود دارد اما هیچ یک از موارد پذیرفته شده وجود ندارد.

تجزیه و تحلیل دیتا های بزرگ دارای راه حل های کامل مدیریت دیتا ها، برای شرکت های که با داده های متنوع سروکار دارند، است.

برای تحقق تجزیه و تحلیل دیتا های بزرگ، شرکت ها باید زیربنای دیتاهای بزرگ را داشته باشند.

با افزایش دیتاهای دیجیتالی، دیتاهای بزرگ در عرصه های مختلف جامعه معلوماتی فردا کاربرد وسیع تری خواهند داشت.

 

تهیه کننده: ریاست ساینس و نو آوری