القائمة الرئيسية

الصفحات

هندسة وأمن شبكات، احاول في هذه المدونة اكتب مما تعلمت

تجميع وتحليل بيانات مواقع التواصل الاجتماعي


 


تعتبر البيانات من أهم موارد مواقع التواصل الاجتماعي، حيث يتم تخزينها ومعالجتها وبيعها بعدة وسائل، وتختلف سياسة كل موقع عن الآخر من حيث إتاحة البيانات للباحثين، حيث هنالك طريقتين للحصول على بيانات من مواقع التواصل:

 

·       عن طريق الواجهات البرمجية (Application Programming Interfaces)

بحيث توفر بعض مواقع التواصل واجهات برمجية (APIs) بحيث تمكن الراغبين من الحصول على البيانات من منصتهم من الحصول عليها بسهولة، وتعتبر الواجهة البرمجية لموقع تويتر هي الأشهر والأكثر استخداما، لذا سيتم التركيز عليها في هذا المقال.

هذه الواجهات متوفرة بشكل مجاني ومدفوع ولكن يجب التعامل مع أكواد برمجية بسيطة للحصول على البيانات، و يوجد العديد من النصوص البرمجية الجاهزة بلغات برمجية مختلفة لتسهيل هذه المهمة مثل " هذا النص البرمجي بلغة Python."

و توفر تويتر واجهتين برمجيتين أساسيتين لجلب تغريدات حول وسم معين (هاشتاق) أو حول كلمات معينة (key words) أو مستخدمين، الواجهة البرمجية الأولى هي المخصصة للبث الحي المباشر (Streaming API) للتغريدات حول كلمات أو أحداث معينة، اما النوع الثاني من الواجهات البرمجية بموقع تويتر هي ال REST APIs ويستخدم للبحث التاريخي عن تغريدات حدثت بالماضي، أو لقراءة وتحميل بيانات مستخدمين محددين.

 

الواجهة البرمجية للبث الحي
Streaming API

الواجهة البرمجية للبحث التاريخي
REST API

عينة (sample) للتغريدات المنشورة حول موضوع معين، حدث معين، حسابات معينة حال حدوثها في موقع تويتر.

– البحث.
 – 
أكثر المواضيع المتداولة (Trends).
 – 
قراءة الملف الشخصي للمستخدم وبيانات المتابعين له/لها (followers).
 – 
التغريد أو التعديل.

فقط التغريدات التي تحدث بالوقت الحالي
 (real-time data).
أوعند التخطيط لحدث مستقبلي.

التغريدات الماضية (تختلف المدة الزمنية للتغريدات الماضية التي يمكن الحصول عليها باختلاف نوع حساب المطور، حيث يمكنك نوع الحساب الأساسي المجاني من الحصول على التغريدات التي تم نشرها خلال أسبوع فقط من التاريخ الحالي، ويمكنك نوع الحساب الممتاز المدفوع من الحصول على تغريدات منذ نشأة الموقع في 2006).

يشترط وجود اتصال مستمر بشبكة الإنترنت لكي يتم تحميل البيانات حال حدوثها.

يتم إرسال الطلب وتحميل جميع البيانات مرة واحدة.

ولاستخدام الواجهات البرمجية لموقع تويتر يجب التسجيل بموقع تويتر للمطورين كمطور، حيث أنه توجد ثلاثة أنواع لحسابات المطورين وهي كالتالي:

1- حساب أساسي (Standard): مجاني ويمنح المستخدم عدد محدود من الطلبات.
 2-
حساب ممتاز (Premium): قد يكون مدفوع حيث أنه يمنح المطور عدد أكبر وأوسع من الخيارات.
 3-
حساب الشركات (Enterprise): موجهه للشركات التي تتطلب الحصول على بيانات بشكل أكبر.

وبعد عملية التسجيل يمكنك إتباع الخطوات الخاصة بكل واجهة برمجية، حيث أن هناك العديد من الدروس والشروحات الخاصة باستخدام هذه الواجهات، مثلهذا الدرس من جامعة أوهايومن مادة Social Media & Text Analytics.

" يقوم موقع تويتر وغيره من مواقع التواصل بتغيير مستمر على سياسة الحصول على البيانات ونموذج العمل الخاص بهم في هذا المجال، حيث أنهم على سبيل المثال قاموا مؤخراً بتغيير نموذج العمل الخاص بهم بتحديث أنواع حسابات مختلفة للمطورين والشركات وإزاحة شركة البيانات الخاصة بهم (Gnip) من الواجهة. لذلك يُنصح دائماً بمراجعة التحديثات التي تطرأ على سياسة وطرق استخدام الواجهات البرمجية" .

 

استخدام برامج ومواقع جاهزة لجلب البيانات

الطريقة الثانية هي عن طريق استخدام برامج وأدوات بواجهات سهلة للمستخدمين لجلب البيانات. هذه الطريقة مبنية على الطريقة السابقة، حيث تم تصميم وتطوير أدوات من قبل مطورين باستخدام الواجهات البرمجية (APIs) وإتاحتها/بيعها للمستخدمين بواجهات استخدام سهلة بحيث تمكن جميع أنواع المستخدمين من استخدامها بسهولة، هذه الطريقة تتميز بسهولة التعامل مع واجهات البرامج، ولكن قد تكون هناك بعض القيود بعكس الطريقة السابقة.

يمكن استخدام أداة Ncaptureفي برنامج التحليل النوعي الشهير NVivo لتحميل البيانات من شبكات مواقع التواصل أو من أي صفحة ويب.

 

بعد التجميع لابد من تحليل هذة البيانات للحصول على الهدف المراد من جمعها، ويتم تحليل بيانات مواقع التواصل الاجتماعي بـ :

  • تحليل المحتوى (Content Analysis)

وهي تقنية/أسلوب (method) لفهم واستنتاج المعنى من كمية كبيرة من النصوص عن طريق إتباع طريقة تصنيف منهجية (systematic classification process).

و تحليل المحتوى قد تكون كمية (quantitative) أو نوعية (qualitative)، الطريقة الكمية تهتم بإحصاء مقدار أو عدد تكرار كلمة معينة أو مصطلح معين في النص، بينما الطريقة النوعية تقوم بتصنيف البيانات لمواضيع أو أقسام (categories)،  وقد تكون مزيج بين الطريقة الكمية والنوعية وهذا هو السائد.

و تحليل المحتوى هو تحليل شخصي غير موضوعي (subjective) قد ينتج عنه نتائج مختلفة عند تحليل نفس البيانات من قبل أشخاص مختلفين، لذلك عند تحليل أي محتوى فعند تحليل البيانات ينصح بوضع أهداف يتم التركيز عليها أثناء عملية التحليل وأسئلة يُرجى الإجابة عليها من خلال عملية تحليل البيانات وتدقيق النتائج عن طريق استخدام توثيق نسبة التوافق بين المحليين(Inter-coder reliability) .  وتستخدم تقنية تحليل المحتوى بشكل أساسي لتحليل النصوص، ولكن يمكن ايضاً استخدامها لتحليل الصور، المقاطع الصوتية، والفيديو، فهناك طريقتين أو أسلوبين لتحليل المحتوى:

1-   التحليل الاستنتاجي (Deductive):حيث تقوم عملية التحليل مع وجود أقسام أو مواضيع سابقة تم استنتاجها من تحليل بيانات سابقة مشابهة، حيث يقوم الباحث بمطابقة البيانات الحالية بنتائج البحوث السابقة.

2-   التحليل الاستقرائي (Inductive):حيث تبدأ عملية التحليل بدون وجود مواضيع أو أقسام متوقع وجودها في البيانات حيث يتم الوصول للأقسام أو المواضيع عن طريق استخدام البيانات الحالية بشكل كامل.

و لتحليل البيانات عن طريق تقنية تحليل المحتوى يتم تجميع وتجهيز البيانات، فقد يتوفر لديك عدد كبير جداً من البيانات التي لا تستطيع تحليلها كلها بشكل يدوي، لذلك يجب عليك في هذه المرحلة اختيار البيانات المراد تحليلها، بعد ذلك يتم.تنظيف هذه البيانات من العناصر غير المرغوب فيها، سواء كانت تعليقات وبيانات ليس لها علاقة مثل الإعلانات، أو من العناصر غير المرغوب فيها مثل الصورة الشخصية للمغرد، و من المهم جداً قراءة البيانات ومعرفة محتواها قبل البدء بعملية التحليل لتكوين صورة مبدئية عن ماهية البيانات وما هو المحتوى المتبادل بين المستخدمين في تلك العينة، وعند التأقلم والتعرف على البيانات بالخطوة السابقة ستلاحظ مواضيع أساسية تم تداولها في تلك العينة، ومع قراءة المحتوى والانغماس فيه، ستجد العديد من الوحدات والعلاقات بينها، وبعض المواضيع أو الوحدات التي قد تحتوي على عدة مواضيع فرعية من المواضيع الأساسية فتساعدك ببناء مخطط كامل للمواضيع والمواضيع الفرعية والعلاقات فيما بينها، بعد ذلك تتم تجربة عينة من البيانات على مخطط الوحدات، فهذه الخطوة تمكنك من معرفة ما إذا كان مخطط الوحدات يغطي جميع البيانات والمواضيع بالبيانات أم لا. إذا وجدت عدم شمولية مخطط الوحدات لبعض البيانات تقوم بتعديله ليشمل البيانات، وبعد أن تأكدنا من ملائمة مخطط الوحدات لجميع البيانات، نقوم بتحليل البيانات.

ثم نتاكد من تناسق التحليل، بحيث نتحقق من أننا أدرجنا نفس نوعية البيانات لنفس القسم، مثال: إن كان هناك تغريدات تتحدث عن طريقة إخراج الإعلانات، نتحقق من أن جميع هذه التغريدات تم تصنيفها تحت نفس القسم، بعد أن أتممنا عملية التحليل نقوم بفهم الصورة الكاملة من البيانات التي قمنا بتحليلها وربط النتائج بمعلومات أخرى لربط النتائج بالعالم الاجتماعي المحيط به، و اخر خطوة هي كتابة التقرير النهائي النهائي بالنتائج والخطوات التي تم إتباعها للوصول للنتائج.

قد تحتوي عملية التحليل على مواضيع فرعية كالمثال التالي:

·        اختيار الأقسام (والأقسام الفرعية) يجب أن ينبعث من أهداف التحليل والأسئلة التي يُراد الإجابة عليها ومعرفتها.

·        الأقسام يجب أن تكون واضحة وغير متداخلة.

·        احتواء التحليل على قسم يٌدعى “أخرى” أو “غير ذلك” يحوي على البيانات التي لا تنتمي لأي من الأقسام الأخرى.

·         أن يكون هناك اسم واضح و تعريف لكل قسم بحيث يسهل من عملية التحليل، خصوصاً عند وجود أكثر من شخص يقوم بعملية التحليل.

 

·        تحليل المشاعر (Sentiment Analysis)

هذا النوع من التحليل يعني بتحليل مشاعر الناس تجاه قضايا ومواضيع، و منتجات وغيرها، وعند تحليل المشاعر يجب ان يراعى الاقسام الاربعة الرئيسية :

القسم الأول: إيجابي: وهذا النوع من البيانات يظهر مشاعر إيجابية مع الموضوع الذي نقوم بتحليل البيانات تجاهه.
 
القسم الثاني: طبيعي (محايد): هذا النوع لا يظهر مشاعر إيجابية ولا سلبية تجاه الموضوع.
 
القسم الثالث: سلبي: هذا النوع يظهر مشاعر سلبية.
 
القسم الرابع: مختلط: يحتوي على مزيج من المشاعر الإيجابية والسلبية.

 

·        تحليل الشبكات الاجتماعية (Social Network Analysis)

وهي طريقة لتصوير شبكة أو دائرة اجتماعية معينة عن طريق تحديد العلاقات بين المستخدمين بالدائرة ومعرفة المؤثرين بتلك الدائرة وأنواع وأشكال البيانات المنتشرة في كل دائرة أو علاقة وطبيعة التواصل بين المستخدمين.

يستخدم هذا النوع من تحليل البيانات عند الرغبة بتسليط الضوء على الشبكة الاجتماعية ككل وديناميكيتها وليس على المحتوى فقط.

 

فهذا ليس كل شي، فهنالك العديد من الصفات والعوامل التي قد تكون مفيدة في عملية تحليل بيانات مواقع التواصل مثل الجنس، الموقع الجغرافي، الفئة العمرية وغيرها، وأهمية هذه العوامل وغيرها تحدد من قبل أهدافنا من تحليل البيانات، أتمتة بعض عمليات تحليل البيانات مثل: معرفة جنس المستخدم ، فهذا التحليل يعد من أبرز المجالات البحثية الحالية من قبل المختصين بمجال معالجة اللغات الطبيعية، ويعتبر اختلاف وتغير اللهجات وطُرق الإملاء المختلفة من أبرز التحديات بهذا المجال.

 

تعليقات