Čo sa zmenilo
Komunita „MERL Tech“ (Linda Raftree, Wayan Vota a ďalší, prvá konferencia v roku 2014) presadzovala mobilný zber dát, dashboardy, veľké dáta (big data) a strojové učenie do M&E a súčasne budovala agendu „zodpovedných dát“ (responsible data): politika zodpovedných dát organizácie Oxfam, Responsible Data Forum, GDPR od roku 2018.
Práca Michaela Bambergera s UN Global Pulse načrtla, ako môžu do evaluácie vstupovať satelitné snímky, záznamy o telefonických hovoroch (call-detail records) a dáta zo sociálnych médií; 3ie neskôr realizovala geopriestorové evaluácie dopadu, pričom varovala, že veľké dáta prieskumy nenahradia. „Lean data“ (štíhle dáta) organizácie Acumen – krátke telefonické prieskumy so zákazníkmi alebo prijímateľmi – sa v roku 2019 osamostatnili ako 60 Decibels a stali sa štandardom sektora impaktového investovania.
COVID-19 si v roku 2020 vynútil „vzdialený MEL“ (remote MEL) – telefonické, IVR a SMS prieskumy, vzdialený monitoring treťou stranou – a natrvalo normalizoval hybridný zber dát. Potom prišla generatívna AI. Komunita praxe MERL Tech pre spracovanie prirodzeného jazyka (NLP) vznikla v roku 2022, niekoľko mesiacov pred ChatGPT; v roku 2024 American Evaluation Association uviedla, že podiel konferenčných príspevkov spomínajúcich AI vyskočil v priebehu jediného roka z približne pätiny na výrazne viac než polovicu.
V rokoch 2024 – 2025 nasledovali usmernenia od pracovnej skupiny UNEG pre dátovú analytiku a AI, evaluačnej funkcie CGIAR a pracovnej skupiny UK Evaluation Society pre AI (usmernenia dobrej praxe, verzia 2.0 v novembri 2025). Do roku 2026 sa praktické využitie ustálilo na kódovaní kvalitatívnych dát s podporou AI, syntéze dôkazov a príprave návrhov správ, pričom odbor vedie spor o tom, kde musí zostať ľudský úsudok.
Rámce a nástroje
- ODK, KoboToolbox, SurveyCTO a CommCare
- lean data
- MERL s rýchlou spätnou väzbou (rapid-feedback MERL)
- indikátory z diaľkového prieskumu Zeme
- politiky zodpovedných dát
- etické princípy UNEG pre AI v evaluácii
- usmernenia dobrej praxe UKES pre AI
- protokoly „človek v slučke“ (human-in-the-loop)
- malé a neanglické jazykové modely
Pojmy, ktoré treba poznať
- MERL Tech
- zodpovedné dáta (responsible data)
- minimalizácia dát
- lean data
- vzdialený MEL (remote MEL)
- dáta v reálnom čase
- NLP
- LLM
- generatívna AI
- človek v slučke (human-in-the-loop)
- dáta pripravené pre AI (AI-ready data)
- halucinácia
- syntetickí respondenti
Otvorené kontroverzie
Halucinované zistenia a vymyslené citácie; skreslenie zabudované do anglofónnych tréningových dát z globálneho Severu; dôvernosť údajov o respondentoch vkladaných do komerčných modelov; strata zručností (deskilling) u začínajúcich evaluátorov; environmentálna stopa AI; „zavádzanie AI ako cieľ“, a nie ako prostriedok; a otázka, či sú AI generované syntézy donorských archívov (ako napríklad analýza 13 000 evaluácií USAID) dôveryhodným dôkazom, alebo len vierohodne znejúcim šumom.
Ďalšie čítanie
- Linda Raftree, MERL Tech State of the Field: The Evolution of MERL Tech (Stav odboru: vývoj MERL Tech), MERL Tech, 2020.
- Rick Davies, Integrating Big Data into the Monitoring and Evaluation of Development Programmes (Integrácia veľkých dát do monitoringu a evaluácie rozvojových programov; o Bambergerovej správe pre UN Global Pulse), Monitoring and Evaluation News, 2017.
- 3ie, Despite the hype, do not expect big data to replace traditional surveys anytime soon (Napriek humbuku nečakajte, že veľké dáta v dohľadnom čase nahradia tradičné prieskumy) a Three ways you can start using remote sensing for measuring impact (Tri spôsoby, ako začať využívať diaľkový prieskum Zeme na meranie dopadu).
- Sasha Dichter, Tom Adams a Alnoor Ebrahim, Leveraging Lean Data (Využitie lean data), Stanford Social Innovation Review, 2016; 60 Decibels, The Power of Lean Data (Sila lean data).
- Wayan Vota, New USAID Guide: Remote Monitoring Processes for COVID-19 Response (Nová príručka USAID: procesy vzdialeného monitoringu pre reakciu na COVID-19), ICTworks, 2020.
- Linda Raftree, How to Develop and Implement Responsible Data Policies (Ako vytvoriť a zaviesť politiky zodpovedných dát), ICTworks, 2016.
- MERL Tech, Wrapping up: A year in the NLP-CoP (Zhrnutie: rok v komunite praxe NLP), 2023.
- John Baek, A Snapshot of the State of Artificial Intelligence in Evaluation Practice (Momentka o stave umelej inteligencie v evaluačnej praxi), AEA365, 2024.
- UNEG, Ethical Principles for Harnessing AI in United Nations Evaluations (Etické princípy využívania AI v evaluáciách OSN), 2025.
- UK Evaluation Society, AI in Evaluation: Good Practice Guidelines for Practitioners, v2.0 (AI v evaluácii: usmernenia dobrej praxe pre praktikov, v2.0), 2025.
- Timo Wencker, Judith Borst-Graetz a Andreas Niekler, Text as data for evaluation: NLP and large language models to generate novel insights from unstructured text data (Text ako dáta pre evaluáciu), Evaluation, 2025; Sanae Bouyousfi a Moussa Ouedraogo, Artificial intelligence and big data-driven evaluation research and practices: A systematic literature review (Evaluačný výskum a prax založené na umelej inteligencii a veľkých dátach: systematický prehľad literatúry), Evaluation, 2025.
- Linda Raftree, Where is Generative AI Supporting MERL Improvement in 2026? (Kde generatívna AI v roku 2026 pomáha zlepšovať MERL?), ICTworks, 2026.
- Antony Maikuri, Veronica Olazabal a Vidhya Shanker, Doing no harm with technology in evaluation (Neškodiť technológiami v evaluácii), AEA365.