Čo sa zmenilo
Uvažovanie v pojmoch komplexity sa presunulo z okraja evaluačnej teórie do politík donorov. Vývojová evaluácia (developmental evaluation) Michaela Quinna Pattona bola rozšírená v knihách Principles-Focused Evaluation (2018) a Blue Marble Evaluation (2020); druhá z nich tvrdí, že evaluátori by mali pôsobiť v globálnom a planetárnom meradle, a nie na úrovni projektu.
USAID formalizoval „monitoring citlivý na komplexitu“ (complexity-aware monitoring) v diskusnom dokumente z roku 2016 (aktualizovanom v roku 2021) s ponukou prístupov: sentinelové indikátory, spätná väzba od zainteresovaných strán, procesný monitoring dopadov, Most Significant Change a outcome harvesting.
Reformátori v oblasti governance dospeli na podobné územie z iného smeru – manifest Doing Development Differently (2014), Problem-Driven Iterative Adaptation (Andrews, Pritchett a Woolcock, Building State Capability, 2017) a komunita Thinking and Working Politically – a žiadali MEL, ktorý dokáže podporovať rýchlu iteráciu namiesto vernosti pevnému plánu.
Rámec „adaptívnej rigoróznosti“ (adaptive rigour) od ODI (Wild a Buffardi, 2019) sa stal štandardnou odpoveďou na výčitku, že adaptívne programy unikajú zodpovednosti. Popri tom vyrástol samostatný prúd „evaluácie systémovej zmeny“ s vlastnými princípmi tematickej skupiny Systems in Evaluation pri AEA a s číslom časopisu New Directions for Evaluation z roku 2021.
Rámce a nástroje
- Vývojová evaluácia
- evaluácia zameraná na princípy (test GUIDE: guiding, useful, inspiring, developmental, evaluable – usmerňujúce, užitočné, inšpirujúce, vývojové, evaluovateľné)
- monitoring citlivý na komplexitu
- sentinelové indikátory
- monitoring kauzálnych väzieb (causal link monitoring)
- adaptívne riadenie a „adaptívna rigoróznosť“
- PDIA
- systémové mapovanie
- rámec skúmania Marka Cabaja pre evaluáciu systémovej zmeny
- princípy skupiny Systems in Evaluation TIG pri AEA (vzájomné vzťahy, perspektívy, hranice, dynamika)
Pojmy, ktoré treba poznať
- Citlivý na komplexitu (complexity-aware)
- emergencia
- adaptívne riadenie
- adaptívna rigoróznosť
- systémová evaluácia
- transformácia
- Blue Marble
- sentinelový indikátor
- problémovo riadený (problem-driven)
- „thinking and working politically“ (TWP)
- „dostatočne dobré“ (good enough) dôkazy
Otvorené kontroverzie
Či adaptívny MEL obetúva zodpovednosť a rigoróznosť; slabosť dôkazov, že adaptívne riadenie skutočne prináša lepšie výsledky (opakovaná otázka Duncana Greena „čo spôsobuje, že to v praxi funguje?“); voľné používanie slova „komplexita“ ako nálepky pre čokoľvek, čo sa ťažko meria; a sklon označovať inkrementálne projekty za „transformačné“ (pozri aj časť 10).
Prehľad 102 publikácií o evaluácii systémovej zmeny, ktorý v roku 2025 uverejnili Gatesová a kolegovia v časopise Evaluation, zistil, že mocenské vzťahy sú v nich nápadne málo skúmané.
Ďalšie čítanie
- USAID, Discussion Note: Complexity-Aware Monitoring, 2016/2021 (kópia na BetterEvaluation).
- Leni Wild a Anne Buffardi, Making adaptive rigour work, ODI, 2019.
- Tiina Pasanen a Inka Barnett, Supporting adaptive management: monitoring and evaluation tools and approaches, ODI Working Paper 569, 2019.
- Duncan Green, What makes adaptive management actually work in practice?, From Poverty to Power, 2019.
- Thomas Aston, Chris Roche, Marta Schaaf a Sue Cant, Monitoring and evaluation for thinking and working politically, Evaluation, 2022 (voľne dostupné PDF).
- The DDD Manifesto, komunita Doing Development Differently, hosťovaný programom Building State Capability na Harvarde; Matt Andrews, Lant Pritchett a Michael Woolcock, Building State Capability, Oxford University Press, 2017 (voľne dostupné).
- Michael Quinn Patton, What is Essential in Developmental Evaluation?, American Journal of Evaluation, 2016.
- Robert Picciotto, recenzia knihy Blue Marble Evaluation, American Journal of Evaluation, 2020 – kritické čítanie od kolegu z odboru.
- Emily Gates a kol., Introducing systems- and complexity-informed evaluation, New Directions for Evaluation č. 170, 2021.
- Emily Gates, Pablo Vidueira a kol., A critical, integrative review on evaluating systems change and transformation, Part One: 2011–2021, Evaluation, 2025.
- Tilman Hertz, Eva Brattander a Loretta Rose, Complexity-Aware Monitoring and Evaluation, Journal of MultiDisciplinary Evaluation, 2021.
- Mark Cabaj, Evaluating Systems Change Results: An Inquiry Framework, Tamarack Institute, 2019.
- Bob Williams, What kind of systemic evaluator are you?, AEA365.