البيانات الضخمة … الكم أم الفائدة أهم ؟

بقلم..فتحي ندا

يشير مصطلح “البيانات الضخمة –Big Data ” إلى أحجام البيانات الكبيرة جدًا والسريعة والمعقدة والتي تتدفق بغزارة هائلة من مصادر متعددة على مختلف المؤسسات, بحيث يصعب أو يستحيل معالجتها باستخدام الطرق التقليدية,. لكن ليس حجم البيانات هو المهم, بل ما تفعله المؤسسات بالبيانات هو المهم, حيث تحليل البيانات الضخمة للحصول على رؤى تؤدي إلى قرارات أفضل وتحركات أعمال إستراتيجية.

تاريخ البيانات الضخمة

كانت عملية الوصول إلى كميات كبيرة من المعلومات وتخزينها لأغراض التحليلات موجودة منذ وقت طويل. لكن مفهوم البيانات الضخمة اكتسب زخمًا في أوائل العقد الأول من القرن الحادي والعشرين عندما صاغ المحلل الصناعي “دوج لاني” التعريف السائد الآن للبيانات الضخمة على أنه التعريفات الثلاثة:

الحجم: تجمع المنظمات البيانات من مجموعة متنوعة من المصادر ، بما في ذلك المعاملات التجارية والأجهزة الذكية (IoT) internet of things والمعدات الصناعية ومقاطع الفيديو ووسائل التواصل الاجتماعي والمزيد. في الماضي كان من الممكن أن يكون تخزينها مشكلة – لكن التخزين الأرخص على منصات مثل بحيرات البيانات و Hadoop خفف العبء.

” Hadoop: منصة مفتوحة المصدر توفر حلا فعالاً من حيث التكلفة لتخزين ومعالجة كميات هائلة من البيانات المنظمة وغير المنظمة وغير المهيكلة بدون متطلبات تنسيق” .

السرعة: مع النمو في إنترنت الأشياء (IoT) internet of things ، تتدفق البيانات إلى الشركات بسرعة غير مسبوقة ويجب التعامل معها في الوقت المناسب. تعمل علامات _ RFID. Radio-frequency identification “تحديد الهوية بموجات الراديو” وأجهزة الاستشعار والعدادات الذكية على زيادة الحاجة إلى التعامل مع هذه السيول من البيانات في الوقت المناسب فعليا.

التنوع: تأتي البيانات بجميع أنواع التنسيقات – من البيانات المنظمة والرقمية في قواعد البيانات التقليدية إلى المستندات النصية غير المهيكلة ورسائل البريد الإلكتروني ومقاطع الفيديو والتسجيلات الصوتية وبيانات مؤشر الأسهم والمعاملات المالية.

يضاف الى التعريفات الثلاثة بعدين آخرين:

التقلب:

بالإضافة إلى السرعات المتزايدة وأنواع البيانات ، فإن تدفقات البيانات لا يمكن التنبؤ بها – تتغير كثيرًا وتتفاوت بشكل كبير. إنه أمر صعب ، لكن الشركات تحتاج إلى معرفة متى يكون هناك شيء ما يتجه في وسائل التواصل الاجتماعي ، وكيفية إدارة أحمال البيانات القصوى اليومية والموسمية والمحفزة بالحدث.

الموثوقية:

تشير الموثوقية إلى جودة البيانات. نظرًا لأن البيانات تأتي من العديد من المصادر المختلفة ، فمن الصعب ربط البيانات ومطابقتها وتنظيفها وتحويلها عبر الأنظمة. تحتاج الشركات إلى ربط العلاقات والتسلسلات الهرمية وروابط البيانات المتعددة. خلاف ذلك ، يمكن أن تخرج بياناتهم عن السيطرة بسرعة.

أهمية البيانات الضخمة

لا تدور أهمية البيانات الضخمة حول مقدار البيانات لديك ، ولكن ما الذي تفعله بها. يمكنك أخذ البيانات من أي مصدر وتحليلها للعثور على إجابات تمكّن من: 1- خفض التكلفة ، 2- تخفيض الوقت ، 3- تطوير المنتجات الجديدة وتحسين العروض ، و 4- اتخاذ القرار الذكي.

عندما تجمع بين البيانات الضخمة والتحليلات عالية القدرة ، يمكنك إنجاز المهام المتعلقة بالعمل مثل:

تحديد الأسباب الأصلية للفشل والمشكلات والعيوب في الوقت المناسب فعليا.

إنشاء قسائم في نقطة البيع بناءً على عادات الشراء لدى العميل “تخفيز المبيعات”.

إعادة حساب محافظ المخاطر بالكامل في دقائق.

كشف السلوك الاحتيالي قبل أن يؤثر على الشركة.

المهتمون بالبيانات الضخمة

البيانات الضخمة هي صفقة كبيرة للصناعات. أدت هجمة إنترنت الأشياء والأجهزة المتصلة الأخرى إلى زيادة هائلة في كمية المعلومات التي تجمعها المنظمات وتديرها وتحللها. إلى جانب البيانات الضخمة هناك إمكانية لإطلاق رؤى كبيرة – لكل صناعة كبيرة كانت أم صغيرة.

التعلُم: يتوق التعلُم العميق إلى البيانات الضخمة لأن البيانات الضخمة ضرورية لعزل الأنماط المخفية والعثور على إجابات دون الإفراط في ملاءمة البيانات. مع التعلم العميق ، كلما زادت جودة البيانات لديك ، كانت النتائج أفضل.

الابتكار القائم على البيانات: تتيح عمليات الإكسابايت ” الإكسابايت: وحدة قياس سعة تخزين مليار مليار بايت” الحالية من البيانات الضخمة فرصًا لا حصر لها لالتقاط الأفكار التي تدفع إلى الابتكار. من التنبؤ الأكثر دقة إلى زيادة الكفاءة التشغيلية وتجارب العملاء الأفضل ، فإن الاستخدامات المعقدة للبيانات الضخمة والتحليلات تدفع التقدم الذي يمكن أن يغير عالمنا – تحسين الحياة ، وشفاء المرض ، وحماية الموارد الضعيفة والمحافظة.

عمل البيانات الضخمة

قبل أن تتمكن الشركات من استخدام البيانات الضخمة لصالحها ، يجب أن تفكر في كيفية تدفقها بين العديد من المواقع والمصادر والأنظمة والمالكين والمستخدمين, وهناك خمس خطوات رئيسية لتولي مسؤولية ” نسيج البيانات الكبير” هذا الذي يتضمن البيانات التقليدية المنظمة إلى جانب البيانات غير المنظمة وشبه المنظمة:

وضع إستراتيجية للبيانات الضخمة.

تحديد مصادر البيانات الضخمة.

الوصول إلى البيانات وإدارتها وتخزينها.

حلل البيانات.

اتخذ قرارات مبنية على البيانات.

1- استراتيجية البيانات الضخمة

استراتيجية البيانات الضخمة عبارة عن خطة مصممة لمساعدتك في الإشراف على طريقة الحصول على البيانات وتخزينها وإدارتها ومشاركتها واستخدامها داخل مؤسستك وخارجها وتحسينها. تمهد إستراتيجية البيانات الضخمة الطريق لنجاح الأعمال وسط وفرة البيانات. عند وضع إستراتيجية من المهم مراعاة الأهداف والمبادرات التجارية والتقنية الحالية والمستقبلية, وهذا يستدعي التعامل مع البيانات الضخمة مثل أي أصول تجارية قيمة أخرى بدلاً من مجرد منتج ثانوي للتطبيقات.

2- مصادر البيانات الضخمة

تأتي البيانات المتدفقة من إنترنت الأشياء (IoT) Internet of Things والأجهزة المتصلة الأخرى التي تتدفق إلى أنظمة تكنولوجيا المعلومات من الأجهزة القابلة للارتداء والسيارات الذكية والأجهزة الطبية والمعدات الصناعية والمزيد. يمكنك تحليل هذه البيانات الضخمة فور وصولها ، وتحديد البيانات التي يجب الاحتفاظ بها أو عدم الاحتفاظ بها ، وأيها يحتاج إلى مزيد من التحليل.

تنبع بيانات الوسائط الاجتماعية من التفاعلات على: فيسبوك ويوتيوب وإنستجرام Facebook و YouTube و Instagram وما إلى ذلك. وهذا يشمل كميات هائلة من البيانات الضخمة في شكل صور ومقاطع فيديو وصوت ونصوص وصوت – مفيدة للتسويق والمبيعات ووظائف الدعم. غالبًا ما تكون هذه البيانات في أشكال غير منظمة أو شبه منظمة ، لذا فهي تشكل تحديًا فريدًا للاستهلاك والتحليل.

تأتي البيانات المتاحة للجمهور من كميات هائلة من مصادر البيانات المفتوحة التابعة للحكومات أو المنظمات الإقليمية والدولية. وقد تأتي البيانات الضخمة الأخرى من بحيرات البيانات ومصادر البيانات السحابية والموردين والعملاء.

3- الوصول إلى وإدارة وتخزين البيانات الضخمة

توفر أنظمة الحوسبة الحديثة السرعة والقوة والمرونة اللازمة للوصول السريع إلى كميات وأنواع ضخمة من البيانات الضخمة. إلى جانب الوصول الموثوق تحتاج الشركات أيضًا إلى طرق لدمج البيانات وضمان جودة البيانات وتوفير حوكمة البيانات وتخزينها وإعداد البيانات للتحليلات.

قد يتم تخزين بعض البيانات محليًا في مستودع بيانات تقليدي – ولكن هناك أيضًا خيارات مرنة ومنخفضة التكلفة لتخزين ومعالجة البيانات الضخمة عبر الحلول السحابية وبحيرات البيانات و Hadoop.

4- تحليل البيانات الضخمة

باستخدام التقنيات عالية الأداء مثل الحوسبة الشبكية أو التحليلات داخل الذاكرة ، يمكن للمؤسسات اختيار استخدام جميع بياناتها الضخمة للتحليلات. نهج آخر هو تحديد البيانات ذات الصلة مقدمًا قبل تحليلها. في كلتا الحالتين ، تحليلات البيانات الضخمة هي الطريقة التي تكتسب بها الشركات قيمة ورؤى من البيانات. على نحو متزايد ، تغذي البيانات الضخمة مساعي التحليلات المتقدمة اليوم مثل الذكاء الاصطناعي.

5- اتخاذ قرارات ذكية قائمة على البيانات

تؤدي البيانات الموثوقة والمُدارة جيدًا إلى تحليلات موثوقة وقرارات موثوقة. للحفاظ على قدرتها التنافسية تحتاج الشركات إلى اغتنام القيمة الكاملة للبيانات الضخمة والعمل بطريقة تعتمد على البيانات – اتخاذ القرارات بناءً على الأدلة المقدمة من البيانات الضخمة بدلاً من غريزة الحدس. فوائد الاعتماد على البيانات واضحة. تعمل المؤسسات التي تعتمد على البيانات بشكل أفضل ، وتكون أكثر قابلية للتنبؤ من الناحية التشغيلية وأكثر ربحية.