Evaluering og innovation > Evaluering - for at nå målene og være værdiskabende

af Karsten Juul-Olsen, chefkonsulent Partner, Konsulenthuset CUBION

Det kan faktisk være en smule ærgerligt, når man som evaluator først inddrages meget sent i et projekt fordi projektledelsen pludselig tænker: ”Hov vi havde jo også lige lovet, at vi ville lave en ekstern evaluering”. Det bliver mere ærgerligt, når man, som det hyppigst er tilfældet, finder ud af at projektet kunne være nået meget længere og have fået større succes, hvis alle deltagere fra starten havde haft den samme opfattelse af, hvad der var projektets vigtigste succeskriterier.

- Og ærgerligt er det jo allermest også, fordi projektdeltagerne selv ville have fået en meget større læring og tilfredsstillelse gennem projektarbejdet, hvis alle præmisser og mål fra starten var blevet klarlagt på en hel præcis og systematisk måde.

Ja det er forbløffende hvor mange forskellige myter og opfattelser, som kan trives inden for selv relativt afgrænsede projekter, og forbavsende, hvor tit vi støder på en erkendelse af, at projektet skulle have undersøgt ”state of the art” bedre, eller lavet en bedre fælles kompetenceudvikling, eller allieret sig med specielle kompetencer, eller skulle have lært af de allerede udviklede dybe tallerkener, eller… eller… . Ja listen er lang og frustrerende, -men hvor er det dog dejligt, at det slet ikke behøver at være sådan!

I CUBION har vi igennem de seneste år arbejdet meget bevidst med udviklingen af nogle evalueringsformer, som kan leve op til vore mål om at være værdiskabende. Nu kan værdier jo gøres op på mange måder og begrebet ”værdiskabende” kan være ret luftigt og floromvundent. Men vi mener det faktisk helt bastant! Vi skal have noget yderligere ud af vore anstrengelser end vi normalt får. Vi skal lære noget mere og vi skal kunne opfylde vore mål bedre. At medvirke til det, er det vi forstår ved at være værdiskabende.

For at opnå det, må vi på en og samme tid tænke systematisk og innovativt. Vi må allerførst helt grundlæggende have beskrevet, hvad projektet ønsker at opnå med hvilke aktiviteter og hvilke ressourcer. Derfra må vi så sørge for at tviste vore refleksioner og synsvinkler, så vi giver os selv mulighed for at få øje på: den medlæring som kan skabes, på de yderligere effekter, på den øgede transparens, på mulighederne for øget anvendelse, på chancerne for double loop og triple loop læring mv. mv.

Og igen mener vi det helt konkret. Når vi opnår en erkendelse i et niveau af organisationen, hvorfor så ikke rette blikket vertikalt, og finde nye muligheder med den erkendelse på andre ”etager” i virksomheden? Eller når vi anvender empowerment hvorfor så ikke tænke i både de psykologiske, sociale og samfundsmæssige muligheder? Og når vi finder en ny praksis virkningsfuld, hvordan kan vi så gøre formlen bag den almen og generisk? Det er sådanne spørgsmål og den optik vi finder vigtig og nyttig – og ja, værdiskabende.

Men tilbage til det systematiske: I den lærende evalueringstilgang som vi foretrækker at anvende, indgår som fast element en evalueringsopstartsworkshop. På disse workshops forsøger vi netop at få skabt en helt konkret og præcis fælles opfattelse af, hvad der er projektets egentlige formål og succeskriterier. Og det er vigtigt, at alle de vigtigste interessenter[1] deltager – for vi arbejder også helst, hvor det er relevant, og det er det næsten altid, efter en empowerment orienteret filosofi, hvor inddragelse og involvering er helt centrale vilkår.

På workshoppen præsenterer vi en projekttabel, som er oprettet efter Logical Framework Analysis(LFA) metoden. Som navnet siger skal tabellen forme en sammenhængende projektramme – indenfor hvilken der kan ses en tydelig logik imellem, hvad der med rimelighed kan forventes af resultater, hvis man med bestemte formål, sætter udvalgte aktiviteter i gang, og gør det indenfor en besluttet ressource ramme. Vi ynder således at anvende en ret simpel version af de mega-analyse rammer som f.eks. Verdensbanken har udviklet under deres koncept for LFA.

Vi vil ikke komplicere verden, men skabe mere klarhed, og det er netop målet for LFA øvelsen, som i sin simpleste form opererer med en lille matrix med kolonnerne: Formål/delformål, Aktiviteter/delaktiviteter, Forventede resultater, Succeskriterier/indikatorer, Milepæle og Ansvarlig.

Vi har som forberedelse til workshop – og som output af vores dokument- og feltstudier forberedt og udfyldt en LFA, så langt som det er muligt. Og der er rigtig stor forskel på hvor klart formål og delformål osv. er beskrevet i forskellige projekter. I nogle må vi lede i mange baggrundsdokumenter for at tolke formål og aktiviteter. I andre står de flot og klart beskrevet og kan klippes temmelig nemt ind i LFA strukturen. Men for rigtig mange projekter gælder det jo, at en forholdsvis lille gruppe, ja undertiden blot en enkelt person har begået projektansøgningen eller projektformuleringen. I den lille gruppe forledes man nemt til at tro, at det hele står lysende klart og man forventer sådan helt åbenlyst, at alle umidd elbart forstår, og vel at mærke forstår det samme, ved de ofte komplekse problemstillinger og begreber som projektet rummer.

Vi er endnu ikke, i de mange evalueringer vi efterhånden har gennemført efter denne metode, stødt på et projekt som ikke har haft virkelig godt udbytte af at få diskuteret LFAén igennem – og derved er blevet skarpe på formål og succeskriterier samt enige om hvordan  succes skal måles. Og udbyttet er blevet godt, ikke mindst fordi vi som eksterne kan stille de ”dumme og skæve” spørgsmål som stiller krav om afklaring og enighed. Rollen som en kritisk ven er derfor meget vigtig.

Vores råd til alle projekter er derfor også helt enkelt: Start op på projektet med en lærende evaluering, start op med en evalueringsworkshop tilrettelagt ud fra LFA strukturen.

Vi oplever ofte, at en sådan LFA struktureret session fører til, at der skabes mere energi, større enighed om og mere opbakning til projektet. Workshoppen giver lejlighed til at alle får del i historien og begrundelsen for projektet, der bliver skabt klarhed om omfanget, varigheden, indsatsens styrke og om de prioriteringer som allerede er foretaget og som løbende skal tages i det videre projektforløb.

Samtidig gavner LFA-øvelsen også alle de kommende beslutninger som skal tages. Det bliver nemlig meget lettere at afgøre om den og den aktivitet, eller den og den handling bringer os nærmere realiseringen af de præcise succeskriterier.

De fleste projekter har ambitioner om at andre udenfor projektet skal kunne lære noget af projektets resultater. De har ofte som succeskriterium, at de skal gøre en forskel og kunne være med til at ændre praksis. I gennem LFA øvelsen får vi også set nærmere på sådanne ambitioner og får nærmet os en mere realistisk kommunikations strategi. Hvis succeskriteriet f.eks. er at projektet skal ud af hyttefadet og kunne give alle kollegaer ny viden udfra projektets resultater, ja så må vi kritisk vurdere om en informationsaktivitet, der f.eks. består af nogle elektroniske nyhedsbreve, alene kan få den ønskede virkning.

Og vi kommer ofte hen på at tale om formidlingsindsatsen før, under og efter projektet. Og det leder så også ofte diskussionen hen på afrapporteringsvilkår og krav. Med rette opmærksomhed og god planlægning via LFA øvelsen kan store dele af afrapporterings- og formidlingsindsatsen kædes sammen og sættes på skinner, der gør det væsentligt nemmere at håndtere i løbet af projektet.

Afvejning af mål, midler og forventede resultater og succeskriterier – er således på så godt som alle områder et yderst værdiskabende værktøj.

Når succeskriterierne er blevet fastlagt er det også udgangspunktet for evalueringskriterierne, og det giver en rigtig god og relevant struktur for de spørgerammer som evalueringen betjener sig af i dataindsamlingen. Når vi via forskellige former for intelligente spørgeskemaer og udvalgte kvalitative interviewformer indsamler evalueringsdata og bl.a. spørger ud fra succeskriteriernes logik– ja så er vi med til at få målgrupper, interessenter og projektdeltagere til at reflektere over og huske på, hvad der er de vigtigste projektformål og dermed de mål, de skal være med til at realisere.

Også senere danner de samme succeskriterier baggrund for en god del af analyserammen, idet vi konfronterer de indsamlede data med de kriterier, projektet og vi blev enige om, var de vigtigste at måle på.

Det giver mening for langt de fleste projektdeltagere, og vi hører meget hyppigt at evalueringen har givet dem et helt andet refleksions niveau, og at de er blevet meget skarpere på, hvad der er det centrale i projektprocesserne. 

Det kommer gerne frem i forbindelse med den afsluttende evalueringsworkshop, hvor vi melder tilbage til deltagerne (gerne de samme som fra den første workshop), med vore konklusioner og anbefalinger. Og det er vel at mærke vore foreløbige konklusioner og anbefalinger, for vi giver altid plads til at kommentarer og reaktioner på afslutningsworkshoppen kan tænkes med i de endelige konklusioner og anbefalinger.

Det betyder ikke, at vi kaster vores ansvar som evaluatorer fra os, og deltagerne i workshoppen kan bestemt ikke bare dirigere os til at skrive noget bestemt. Men vi er lydhøre over for fakta og gode argumenter, hovedparten af substansen stammer jo fra netop denne deltagerkreds, og vi er meget interesserede i, at vore anbefalinger har en gang på jorden (og ikke på hylden). Det skal gerne være anbefalinger som deltagerne kan genkende, forbinde sig med og anerkende. Der er ikke noget ved at anbefale luftkasteller eller ting som aldrig vil kunne realiseres. Det er det muliges kunst at få sat gang i nogle fremadrettede forbedringer som virker, også når evaluator er væk og projektet lukket.

Efter workshoppen skriver vi så den endelige evalueringsrapport, som i øvrigt ofte indeholder en guide med vore anbefalinger til fremtidige retningslinjer for indsatser indenfor det konkrete område.