التطبيقات الإحصائية والبيانات الضخمة

بالنظر إلى المعدل الذي يقوم به العالم لتوليد البيانات وجمعها اليوم، فليس من المستغرب أن يكون خبير الإحصاء التطبيقي ضمن أولئك الذين يمكنهم تحليل هذه البيانات بشكل فعال. بينما هيكلة وتنظيم وعرض هذه البيانات تتطلب نوع مختلفًا من المعارف والمهارات المتخصصة. ومع نمو البيانات بأنواعها وتحديات التقاط ومعالجة وتخزين هذه البيانات عوضًا عن التنقيب فيها وتحليلها باستخدام قواعد البيانات التقليدية ومع تضاعف القدرة التكنولوجية لأنظمة تخزين المعلومات العالمية، أصبح من الضروري سرعة الاستجابة لهذه المتغيرات بأسلوب استراتيجي يضمن الاستفادة من هذه البيانات بشكل تلقائي لتحقيق اتزان الاقتصاد المعرفي الذي يرتكز على الاستثمار وضمان عوائد الاستثمار في المعرفة، والتي وقودها تزاوج البيانات الضخمة والتطبيقات الإحصائية لخدمة استدامة الاقتصاد الوطني وتحفيز عجلة التنمية.
إن ذلك يتطلب قياس الجاهزية الشامل وأتمتة عمليات متنوعة وتوفير البيانات وهيكلتها والتنقيب فيها وتحليلها وتنظيمها وعرضها لدعم اتخاذ القرار المناسب في الوقت المناسب بشكل آلي، وبنتائج وتوصيات إحصائيًا دقيقة، تحاكي الواقع، وتتنبأ بالمعطيات والمتغيرات المستقبلية وتوفر القرار الأمثل، وتعمل على تزويد الأنظمة بالمعطيات الحديثة واستكمال دورة دعم اتخاذ القرار، وتطبيق التقييم التلقائي القائم على كمية ونوعية البيانات والخيارات المتعددة. «إن الإحصاء هو أحد أهم قواعد العلوم»، كارل بيرسون. فهو الذي يتفاعل مع النتائج ويعطي المصداقية للاستنتاجات ويشبع الإدراك ويحقق الفهم ويكشف الستار عن ماهية البيانات وفوائدها. تمامًا مثل المنطق، «ما هو المنطق الحقيقي؟ ومن يقرر الأسباب؟ إنها المعادلات الغامضة»، جون ناش. إن الكون يحتوي على جزئيات وليس العكس فإنه يمكن للأشياء الموجودة خارجها أن تؤثر على الأشياء داخلها «ذرة في الكون، وعالم من الذرات»، ريتشارد فيمن. فالإحصاء معني بتفسير البيانات بينما الاحتمالات هي لغة رياضية تستخدم لمناقشة الأحداث الغير مؤكدة.
فما هي التطبيقات الإحصائية والبيانات الضخمة؟
هناك فكرتان أساسيتان في مجال الإحصاء هما عدم اليقين والتباين، وهناك العديد من المواقف التي نواجهها حيث تكون النتيجة غير مؤكدة، بينما في حالات أخرى يكون عدم اليقين إما لأن النتيجة قد تم تحديدها بالفعل، أو لسنا على علم بها. ويخضع أي قياس أو جهد لجمع البيانات لعدد من مصادر الاختلاف فإذا تم تكرار نفس القياس، فلربما تتغير النتيجة. إذا الإحصاء يسهل الفهم والتحكم في مصادر الاختلاف في أي حالة. و يلعب الإحصاء دورًا جوهريًا في علوم الحاسبات والعكس صحيح، إذ يستخدم في النمذجة والمحاكاة والتنقيب في البيانات والذكاء الصناعي والبيانات الضخمة وأنظمة دعم اتخاذ القرار. ويعد توفر الخلفية الإحصائية التطبيقية ضرورية لفهم الخوارزميات والخصائص الإحصائية التي تشكل العمود الفقري لعلوم الحاسبات ولدى أولئك الذين يمكنهم هيكلة وتنظيم وعرض البيانات واستخراج النتائج والتوصيات. إذ يميل خبراء ومتخصصين نظم المعلومات والبيانات الضخمة إلى التركيز على التقاط وتخزين ومعالجة البيانات والتنقيب فيها، واسترجاعها وإعداد التقارير والتوصيات لدعم اتخاذ القرار الأمثل وغالبًا ما يقومون بتطوير خوارزميات للتنبؤ وقياس كفاءة الأنظمة إذ يكون التركيز في هذا الجانب على التعلم الآلي والذي أحد جوانبه الذكاء الصناعي المخصص لأغراض التنقيب في البيانات (لإيجاد الأنماط في البيانات) لمجموعة متنوعة الأغراض والاستخدامات. إذ يوجد هناك عدد من الطرق لدمج أدوار الإحصاء ونظم المعلومات والحاسبات للتدقيق في تطوير النماذج والتنقيب في البيانات لحل المشكلات وإثبات اليقين وتحقيق النتيجة المؤكدة. وفي الحقيقة، هذا التزاوج بين الإحصاء وأنظمة المعلومات والحاسبات يكسب فهم وإدراك أكبر لمجموعة متنوعة من الأنظمة مما يؤدي إلى نتائج أكثر أهمية تقود إلى قرارات حاسمة ذات جودة عالية وأداء أمثل للأنظمة. وبالنظر إلى هذا التزاوج نجد أن من أهم التحديات التي تواجه استقراره واتزانه هي مجموعة من المعارف والمهارات والتي يمكن اختصارها في هندسة وتطوير الأنظمة والبرمجيات أو فرض المواصفات القياسية على المواصفات المبتكرة والإبداعية التكاملية أو الانغماس المفرط في النظريات وإهمال الجوانب التطبيقية لحل المشكالات الواقعية في العالم الحقيقي لدى أولئك الذين يمكنهم تحليل البيانات بشكل فعال. وفي الجانب الآخر، عدم وجود أساسيات الإحصاء التطبيقي لدى أولئك الذين يمكنهم هيكلة وتنظيم وعرض البيانات مع تجاهل طبيعة البيانات وتفاعلاتها. وذلك من شأنه أن يساعد متخصصين البيانات الضخمة في تجاوز ما هو معروف بالفعل من أجل تطوير تقنيات وحلول مبتكرة تخدم دعم اتخاذ القرارات الحاسمة.
فهناك اتجاه عام لعرض مميزات البيانات وتقليل الافتراضات غير الواقعية والحلول شبه المثالية للأنظمة ذات المتغيرات المتعددة باستخدام الخوارزميات، التي تبدأ باختيار عدد كبير من الحلول المستنتجة من خلال «معايير الاختيار» ويتم تغييرها من خلال تطبيق أمثلة تطبق على مشاكل تستخدم التقدير الإحصائي، ويتم مقارنة نتائجها ومخرجاتها مقابل المعايير الموضوعة بهدف تبسيط البيانات المعقدة و تحويل البيانات إلى معلومات أكثر فائدة، لخدمة إتخاذ القرار وقياس التباين وبالتالي قياس المخاطر وكشف الأنماط القديمة والحديثة. كما تساعد أيضا في التنبؤ والتحقق من صحة الفرضيات.
إن التطبيقات الإحصائية في مختلف المجالات منها التخطيط وتحديد الاحتياجات الاستثنائية والرغبات لأغراض تسويقية وتحديد الأسواق المستهدفة وتصميم المنتجات والخدمات والبرامج المناسبة لخدمة هذه الأسواق والتنبؤ بحجم المبيعات، وفي الإقتصاد وصياغة السياسات الإقتصادية وفي الموارد البشرية وتقييم أداء الموظفين وفي الجودة وضمان الجودة والمالية بشكل عام واختبار وفحص وتقييم الأنظمة والبرمجيات وتهجير الجريمة باستخدام الإحصاء المكاني ودراسات التباين المكاني لها. إن معدل نمو البيانات العالمي في تزايد مستمر، وهذا النمو المتسارع يرتبط ارتباطًا وثيقًا بازدياد عدد مستخدمي الإنترنت وتحول أنشطة الحياة التقليدية البسيطة إلى عالم الرقميات والتطبيقات والدفع عبر الأونلاين. فمع بداية الرقمنة في عام 2002م بدأ نمو البيانات وزيادة معدل إنتاج البيانات وفي عام 2005 كان لا يتجاوز 0.1 زيتابايت يوميا وفي عام 2015 كانت 12 زيتابايت، ومن المتوقع أن يحتوي الفضاء الرقمي بحلول عام 2025 على أكثر من 163 زيتابايت من البيانات المهيكلة. وسيتفاعل أكثر من ثلثي سكان العالم مع البيانات عبر الإنترنت كل يوم، فمعدل الرقمنة في نمو مملوس والذي يجلب لنا المزيد من المنافع الاقتصادية مثل اكتساب الفرصة في تخزين وإدارة وتحليل كميات ضخمة من البيانات ولكن مع المزيد من التحديات.