Embracing the Principles for Digital Development: Leveraging Big Data Sources for Policy Evaluation in Crisis Settings


Embracing the Principles for Digital Development: Leveraging Big Data Sources for Policy Evaluation in Crisis Settings

COVID-19 has exacerbated challenges facing vulnerable populations world-wide. The lack of adequate data for informed policy-making in crisis settings pose a particular challenge in Lebanon and Jordan.

Data-Pop Alliance (DPA) and the United Nations Economic and Social Commission of Western Asia (UN ESCWA), partnered with the Central Administration of Statistics (CAS) of Lebanon and the Department of Statistics (DoS) of Jordan, to close the data gap which has hindered decision-making processes especially under crises pressure. The project, “Leveraging Big Data Sources for Policy Evaluation and Analysis in Crisis Settings”, created a web platform from which policymakers can draw insights and recommendations based on policy impact to assist crisis responses, similar to COVID-19, in a more agile and targeted manner.

This project builds upon a prior collaboration, (in line with the Reuse and Improve Principle) between DPA and UN ESCWA. It explores the potential of non-traditional data sources for policy creation, planning, and assessment for improving the living conditions of Syrian refugees and their host communities in Lebanon. The project report can be found here.

Using the UN ESCWA developed observatory for COVID stimulus and policy tracker, we reviewed, ranked and selected five policies in each country. The selected policies focused on the major events taking place in both countries. For Lebanon, they included: social solidarity to address the repercussions of COVID-19; hybrid education; Banque du Liban intermediate circular to grant exceptional loans; solid waste management following the Beirut port blast; and the COVID-19 management plan to increase capacity of health centers. As for Jordan, they included: social solidarity; hybrid education; emergency cash transfer to support the most vulnerable; and protection and response measures for persons with disabilities

The Use of Open Data Sources

As a data-driven project, the main goal was to study the usability of different non-traditional, near real-time and open data sources with the potential to produce applicable findings without undergoing extensive and expensive data collection processes. We conducted an analysis of the data ecosystem to better understand which data sources could yield better results. In the end, the sources used were: Twitter, Facebook, GDELT, Google Trends, and Google Mobility. Throughout the analysis of this data, we were able to learn about the development and relevant changes in sentiments, opinions, and demographic characteristics of those impacted by the policies.

In Twitter’s case data was collected by using keyword-based queries in Python to scrape public tweets associated with topics of interest (e.g. COVID-19 related policies), both in English and Arabic. The scraped keywords were analyzed to extract the sentiment trend(s). GDELT, though not a social media platform, is an open dataset built from monitoring the world’s broadcast and web news. Just as with Twitter, we scraped the articles alluding to the aforementioned policies to study the populations’ sentiment variation.

Using non-traditional sources allowed us to understand how diverse COVID-related measures were perceived during the first months of the lockdowns in Lebanon and Jordan. However, these sources have drawbacks too. Technical and scientific, institutional and cultural, legal and ethical, commercial, and financial challenges are often encountered. For example, while companies such as Facebook and Google share data during identified crises, they are not always available for all locations or categories or contain sufficient geographical granularity.

A Platform for Effective Policy Making

As mentioned above, the ‘UN ESCWA – DPA Big Data Insights for Public Policy Decision-making’ platform was the ultimate outcome of the project. Though still in its final development phase, the dashboard uses Big Data-derived tools to draw policy-making insights.

The platform was designed for and with the end users: civil servants, ministries or other agencies tasked with risk mitigation and response, and development practitioners collaborating with both governments. A capacity building workshop was conducted with UN ESCWA, DOS and CAS to introduce the dashboard capabilities and explain its main guidelines to all interested National Statistical Offices in the Arab countries. Moreover, considering the sensitive use of this platform, preventive measures were taken to address privacy and security concerns.

Explore DPA’s website to read more about another project that integrates the Principles for Digital Development: the Mobile Data for Development (MD4D) Handbook, co-created with DIAL.

تطبيق التنمية الرقمية: الاستفادة من مصادر البيانات الضخمة لتقييم السياسات وإتخاذ القرارات

تطبيق التنمية الرقمية: الاستفادة من مصادر البيانات الضخمة لتقييم السياسات وإتخاذ القرارات

في ظل تفشّي الأزمات بخاصة وباء كوفيد-19، ظهرت العديد من التحديات لدى الفئات السّكانية الضعيفة في جميع أنحاء العالم، فالافتقار إلى البيانات الكافية لوضع السياسات المستنيرة يشكل تحدياً في أغلب البلدان كما هي الحال في لبنان والأردن.

وبهدف تضييق فجوة البيانات التي أعاقت عمليات صنع القرار تحت ضغط الأزمات و إلى الاستفادة من مصادر البيانات الرقمية غير التقليدية والمناهج التّحليلية، أثمر تعاون بين Data-Pop Alliance واللجنة الاقتصادية والاجتماعية لغربي آسيا للأمم المتحدة – الإسكوا، وادارة الإحصاء المركزي في لبنان ودائرة الإحصاءات العامة في الأردن، عن “منصة البيانات الضخمة للسياسة العامة ” لإدارة الأزمات والكوارث مثل كوفيد-19 بمرونة ودقّة.

تم تصميم هذه المنصة لخدمة موظفو الدولة الذين يدور نطاق عملهم على المخاطر الاجتماعية والاقتصادية أو الكوارث، مكاتب الإحصاءات، الوزارات المعنية في التخطيط و التنفيذ والمؤسسات التي تعمل على إدارة وتخفيف المخاطر الوطنية  و في الوقت الحالي المنصة  تحت المرحلة التطويرية النهائية.

اختيار السياسات

تمّ اختيار خمس سياسات من كل دولة لمراجعتها و تحليلها في إطار هذا المشروع. تشمل هذه السياسات في لبنان: التضامن الاجتماعى لمعالجة تداعيات “كوفيد-19″، التعليم المختلط، التعميم الصادر عن مصرف لبنان الذي يمنح قروض استثنائية، إدارة النفايات الصلبة بعد انفجار مرفأ بيروت وخطة ادارة كوفيد-19 لزيادة القدرة الاستيعابية  للمستشفيات ومراكز العزل.

أما في الأردن، فقد شملت هذه السّياسات: التضامن الاجتماعي – تكية أم علي، التعليم المختلط والتّعلم عن بعد، تحويل الأموال النّقدية في حالات الطوارئ لدعم الفئات السّكانية الأكثر ضعفاً، وتدابير الحماية والاستجابة للأفراد ذوي الإعاقة.

استخدام مصادر البيانات المفتوحة

قام فريق العمل بتحليل المشاعر والرّأي العام عبر استخدام قاعدة البيانات GDELT و تويتر و جوجل لإكتشاف الاتجاهات والآثار لجميع السياسات المدرجة في لبنان والأردن. وأتاحت لنا المرحلة التحليلية للبيانات التعرف على التّطورات والتّغييرات للمشاعر والآراء والخصائص الديموغرافية للأشخاص الذين تأثروا بالسياسات المذكورة أعلاه.

تحليل مؤشر تويتر

من بين مؤشرات المصادر المفتوحة، تم تحليل مؤشرات تويتر خلال فترة نشر وتطبيق السّياسات التي هي موضوع البحث في هذا المشروع، والمشاعر التي تم اكتشافها تدل بطريقة مباشرة أو غير مباشرة على ردود الفعل وتجاوب المواطنين للسياسات المطروحة خلال هذه الفترات. كما وتم تحليل الكلمات الرئيسية التي تم كشطها لاستخراج اتجاهات المشاعر (GDELT) التي هي عبارة عن مجموعة بيانات مفتوحة مبنية على مراقبة المنشورات والأخبار المتوفرة عبر المنصات الإلكترونية. 

كان للاستفادة من مصادر البيانات الضخمة وغير التقليدية شعبية كبرى في دعم السياسة العامة والاستجابة للأزمات و تصدي لنقص الإحصاءات التقليدية، الأمر الذي أتاح لنا فرصة استكشاف تنوع في التدابير المرتبطة بكوفيد-19 خلال الأشهر الأولى من عمليات الإغلاق الكامل في لبنان والأردن. بيد أن هذا الأمر لا يغيّر حقيقة أن هذه المصادر قد لا تكون ملائمة أو كافية لجميع الأغراض، نظراّ لعيوبها التي تشكّل تحديات تقنية، علمية، ثقافية، قانونية، أخلاقية، تجارية، ومالية. 

وعلى سبيل المثال، بالرغم من مشاركة فيس بوك وجوجل للبيانات أثناء أزمات معيّنة، إلا أن هذه البيانات غير متاحة دائمًا لكل المواقع أو الفئات و قد لا تحتوي على درجات كافية من التفصيل الجغرافي. 

في نهاية المشروع، عُقدت حلقة عمل لتعزيز القدرات وتقديم المنصة وشرح المبادئ التوجيهية الرئيسية إلى الأطراف المعنيةّ و كافة المكاتب الإحصائية الوطنية في الدّول العربية التي بدورها أظهرت اهتماما واسعاً بهذا العمل، ومن الجدير بالذّكر، أنه تم اتخاذ التدابير التي ترعى الخصوصية والأمن نظراً لدقة وحساسية المنصة.

يأتي هذا العمل بعد تعاون مسبق بين Data-Pop Alliance و الإسكوا للاستفادة من مصادر البيانات غير التقليدية لصنع القرارات و السياسات لتحسين الظروف المعيشية للاجئين السوريين والمجتمعات المضيفة لهم في لبنان. (يمكن زيارة التقرير عبر هذا الرابط

لمعلومات إضافية عن منظمة DPA ونطاق العمل يمكن زيارة الموقع الخاص ب Data-Pop Alliance، إضافة إلى الدليل الخاص  Mobile Data for Development (MD4D) Handbook الذي تم إنشاؤه مع DIAL،  أمّا للمزيد من التفاصيل عن المشاريع التي تتناول  مبادئ التنمية الرقمية يمكن زيارة الراّابط التّالي


Project Report

Stratégie Nationale des Données du Sénégal – Résumé

En 2023, DPA a fourni un soutien technique à l’élaboration de la

Project Report

Community-Based Social Protection Mechanisms in Africa’s Borderlands – Liberia and Sierra Leone Case Study

The report on “Community-based social protection mechanisms in Africa’s borderlands – Liberia

Annual Report

Overview and Outlook 2022-2024

10 YEARS IN REVIEW: A LETTER FROM OUR DIRECTOR Finding appropriate metrics