Llei Engel

Primary Navigation

Social Navigation

“Vostè també pot avaluar”

Avaluació, Innovació social, Metodologia

No són poques les publicacions que examinen el paper de l’avaluació en la millora recent de les polítiques públiques a Catalunya. La importància de l’avaluació per millorar la transparència i enfortir la democràcia ha estat àmpliament subratllada, així com reconeguda la demanda creixent d’integrar-la de manera sistemàtica a l’administració pública (Casillas i Macía, 2023). A més, tenim indicis per pensar que el proper desplegament de la Llei 27/2022 d’institucionalització de l’avaluació o la recent resurrecció de la Agencia Estatal de Evaluación de Políticas Públicas (AEVAL) contribuiran a un nou impuls de l’avaluació a les administracions públiques.

Tanmateix, sospito que en aquest (necessari) afany d’institucionalització correm el risc d’instal·lar alguna perillosa confusió.

Perquè hi ha una escena cada cop més habitual a l’administració pública. Un grup de professionals tècnics, carregats de feina, expedients, terminis i reunions, reben per correu electrònic un nou manual sobre com avaluar. O l’enèsima invitació a participar d’una formació sobre avaluació de polítiques públiques. En unes hores (amb sort, uns dies) aprendran a formular preguntes d’avaluació, construir indicadors, dissenyar una teoria del canvi, potser distingir entre tècniques qualitatives i quantitatives, i endur-se alguna plantilla útil per aplicar l’endemà.

Tot plegat serà valuós i necessari.

El problema comença quan aquesta formació transmet, explícitament o de manera implícita, una promesa temerària: amb unes quantes eines, una mica de mètode i una guia ben endreçada, qualsevol perfil tècnic de l’administració pot avaluar.

I aquí és on ens emboliquem.

Perquè una cosa és dotar l’administració de cultura avaluativa i una altra diferent és fabricar avaluadores ocasionals. Una cosa és aprendre a pensar avaluativament i una altra és assumir la responsabilitat professional de conduir una avaluació. Una cosa és formular necessitats informatives i aproximar maneres d’explorar-les, i una altra és conèixer i posar en joc el repertori de competències que activen el valor social d’una professió que, basant-se en la construcció d’un judici pertinent, útil i rigorós, facilita una presa de decisions més justa i informada sobre la política pública.

I aquestes distincions importen. Perquè una administració amb cultura avaluativa no és aquella on els equips tècnics poden fer funcions d’avaluadora amateur, sinó aquella amb professionals amb formació especialitzada en avaluació o, en el seu defecte, amb equips que saben formular bones demandes d’avaluació, reconèixer bones pràctiques, treballar estratègicament amb especialistes i incorporar com toca el pensament avaluatiu en la presa de decisions.

Però anem a pams.

La promesa temerària: “vostè també pot avaluar”

L’administració vol avaluar més. Els equips necessiten donar resposta a requeriments d’avaluació. Les convocatòries demanen indicadors. Els plans estratègics incorporen sistemes de seguiment. Els fons europeus, els marcs de gestió pública i les exigències de transparència reforcen aquesta pressió.

I davant d’això apareix una resposta aparentment raonable: formem el personal tècnic en avaluació.

A partir d’aquí el matís es fa imprescindible: què entenem per “formar en avaluació”? Si vol dir donar eines per entendre, encarregar, discutir, acompanyar i utilitzar millor les avaluacions, anem bé. Si vol dir millorar les competències de registre, mecanització, monitoreig, anàlisi i/o interpretació de dades també. Si vol dir facilitar l’accés a una formació especialitzada que permeti l’exercici de la disciplina en tota la seva amplitud, encara millor.

Ara bé, fer creure que la lectura atenta d’un manual (o l’assistència a una formació breu i instrumental) converteix a qualsevol perfil tècnic en avaluador/a, tenim un problema. Perquè transversalitzar la cultura avaluativa no hauria d’implicar una devaluació de la seva pràctica professional.

L’alfabetització avaluativa no és suficient 

Una persona pot aprendre a formular indicadors, a fer entrevistes, a dissenyar qüestionaris, a construir una teoria del canvi o a analitzar i interpretar el resultat d’una indagació pre-post.

Aprendre tot això és útil. Però no equival a saber avaluar.

En altres àmbits de la gestió pública aquesta distinció ha deixat de ser necessària. A molts equips tècnics se’ls demana que facin seguiment pressupostari dels seus projectes i que interpretin partides econòmiques en l’exercici de la seva feina habitual. Amb aquest propòsit, sovint reben formacions bàsiques en gestió econòmica. Però ningú no dedueix que aquesta formació bàsica habiliti a qualsevol professional per assumir les funcions avançades d’anàlisi financera, de planificació pressupostària o de control econòmic estratègic del seu departament. Per això existeixen perfils especialitzats, funcions definides i marcs competencials específics dins de les polítiques de recursos humans de l’administració.

Amb l’avaluació, en canvi, encara no hem arribat a aquest punt.

Saber avaluar implica articular les eines abans esmentades dins d’un procés més ampli enfocat a millorar (fer més justa, més raonada, més fonamentada) qualsevol decisió. Això implica activar recursos d’anàlisi, interpretació i deliberació durant les fases de diagnòstic, disseny, implementació i/o tancament d’una intervenció. Implica saber quina pregunta val la pena fer, quin tipus d’evidència és pertinent, quins constructes metodològics s’adeqüen a l’encàrrec, quins valors estan en joc, quins actors han de participar, quins supòsits cal revisar i com es construeixen recomanacions legítimes, útils i rigoroses.

  • Les nocions bàsiques en avaluació permeten aplicar un conjunt d’eines i procediments: recollir dades, analitzar informació, respondre algunes preguntes, alimentar indicadors i/o produir un informe.
  • La formació especialitzada, en canvi, permet desplegar un procés més ampli que inclou aspectes del punt anterior, i que s’orienta a generar un judici raonat sobre una intervenció per ajudar a decidir millor.

La diferència del segon punt respecte el primer es que el segon, que inclou el primer, s’amplia i posa en joc un marc competencial que va des de la capacitat d’analitzar l’avaluanda i comprendre el seu context institucional (avaluabilitat, consistència, etc.); a posar en joc el “pensament avaluatiu” durant tot el cicle de la intervenció (anàlisi de premisses implícites durant el disseny d’un projecte, eleccions metodològiques, abast i límits sobre la interpretació de les dades, sentit dels usos possibles de l’avaluació, etc.).

Perquè avaluar no és només respondre preguntes. És també ajudar a formular les preguntes que permetran decidir millor. I el producte d’una avaluació no és només un informe. És també una millor conversa pública sobre què fem, per què ho fem, què està passant i què hauríem de canviar.

Disseny organitzatiu i polítiques de personal

Ja no podem amagar que aquest text s’ha convertit en un al·legat en favor de la professió. En una defensa de la formació especialitzada i del marc de competències que cal reivindicar per a la persona que es dedica a l’avaluació.

I com que a l’administració pública les funcions, els llocs de treball i les trajectòries professionals no es defineixen de manera informal, sinó a través d’instruments com les relacions de llocs de treball, els plans d’ordenació o els marcs de competències que orienten la selecció, la formació i la carrera professional, si volem avaluar haurem d’incidir en la política de personal.

Si volem que l’avaluació sigui una funció real i no un subterfugi del “seguiment” o el “monitoreig”, caldrà que els equips de recursos humans incorporin aquesta competència de manera explícita, defineixin perfils professionals, els dotin de temps i mandat, estableixin funcions clares i els integrin en l’ecosistema competencial de l’organització.

Però no només això.

Si a més volem seguir contractant avaluacions externes a empreses i professionals de l’avaluació, també farà falta que el personal tècnic i directiu conegui millor què vol dir avaluar. Caldrà capacitar els professionals públics per a que puguin activar un veritable pensament metodològic. Perquè amb bona voluntat però poca capacitat especialitzada, difícilment podrem contestar les preguntes del milió: Quins canvis esperem i quin tipus d’avaluació és raonable contractar? Com sabrem si avancem i quina informació haurem de demanar? Quines decisions dependran d’aquesta evidència?, etc.

De l’alfabetització a la professionalització

Recapitulem. Entenem el “bricolatge avaluatiu” com aquella situació en què una organització, amb bona voluntat però poca capacitat especialitzada, posa en joc estratègies d’indagació social sobre la seva pràctica (i els seus resultats) a partir de guies, plantilles i/o formacions breus.

Igual que passa amb les competències de gestió econòmica i pressupostària, l’afabetització instrumental en aquesta mena de tècniques pot produir aprenentatges rellevants, ordenar informació i millorar la reflexió interna. Però llavors anomenem-ho “seguiment” o “monitoreig” i evitem riscos innecessaris per a la professió.

Perquè si seguim alimentant la idea que qualsevol persona amb una formació bàsica i instrumental en avaluació pot “avaluar”, aleshores l’avaluació queda reduïda a una habilitat administrativa més i perd densitat professional. Perquè una estratègia de “seguiment” ben plantejada pot produir dades, gràfics, indicadors i conclusions, però difícilment un bon judici avaluatiu.

I si l’Administració creu que avaluar és aplicar una matriu de seguiment, acabarà contractant avaluacions com qui contracta l’emplenament d’una matriu de seguiment. I tot i que el “seguiment” per se no té res de problemàtic, sí que pot esdevenir perillós quan fa veure que una pràctica complexa pot resoldre’s amb eines simples, poc temps i responsabilitats mal definides.

A partir d’aquí, es va fent clara la idea que per promoure la cultura avaluativa i defensar la professió el que cal és distribuir bé els rols dins d’una ecologia madura que posi en valor:

  1. El paper d’uns equips tècnics competents per fer un bon “seguiment” i governar qualsevol avaluació: coneixen la institució, saben trobar les dades pertinents, entenen les restriccions reals, saben quines decisions són possibles, poden identificar actors clau, detectar preguntes rellevants i utilitzar els seus resultats.
  2. I el paper de persones especialistes que puguin afinar els dissenys metodològics, aportar criteri avaluatiu, capacitat d’articular evidències diverses, construir judicis fonamentats i traduir els resultats en aprenentatges i decisions.

I tot això, com ajuda a la professionalització de l’avaluació?

Ajuda perquè, si assumim els punts anteriors, “tenir nocions bàsiques d’avaluació” no vol dir saber “com fer una avaluació”.

Ajuda perquè els professionals de l’administració que no tinguin funcions específiques (i formació especialitzada) en avaluació hauran d’aprendre quan cal una avaluació i quan cal una altra cosa. Perquè no tot necessita una avaluació completa. De vegades cal seguiment. De vegades cal diagnòstic. De vegades cal una anàlisi d’avaluabilitat. De vegades cal una revisió de disseny. De vegades cal una avaluació d’impacte. De vegades cal simplement ordenar dades de gestió.

I a partir d’aquí, tindrem professionals que sabran formular millor la demanda. Una bona demanda d’avaluació no diu només “volem saber si ha funcionat”. Explica per què es vol saber, qui ho utilitzarà, quines decisions hi ha sobre la taula, quins usos tindran els resultats i quines preguntes es volen prioritzar. Això és el que permet distingir bons i mals encàrrecs. Un equip tècnic amb cultura avaluativa pot detectar quan un plec demana impossibles, quan confon seguiment amb avaluació, quan exigeix impactes sense condicions per estimar-los o quan vol conclusions transformadores amb sis setmanes de feina i quatre excels incomplets. I també sap que una avaluació no acaba quan es lliura l’informe. Acaba (si acaba) quan els resultats entren en converses, decisions, re-dissenys, prioritats pressupostàries o canvis organitzatius.

Les persones que no han d’exercir funcions expertes en avaluació no necessiten sortir d’una formació sabent “fer una avaluació”. Necessiten sortir-ne sabent evitar una mala avaluació. Perquè si les administracions no saben què és avaluar, demanaran malament. I quan demanen malament, el mercat respon malament.

Es contracten informes amb poc marge per al pensament avaluatiu. Es demanen metodologies tancades abans d’haver discutit les preguntes. Es pressuposten avaluacions impossibles. Es prioritza el lliurable per sobre del procés. Es valora més la sofisticació aparent que la utilitat. Es confon extensió amb profunditat. Es demanen indicadors quan caldria revisar la teoria del programa.

Per tant, formar el personal tècnic en pensament avaluatiu no només millora l’administració. També millora el mercat professional de l’avaluació. Perquè una administració que sap què vol dir avaluar no compra informes, si no que construeix encàrrecs intel·ligents i esdevé una figura estratègica en la professionalització de l’avaluació.

L’avaluació: una professió amb propòsit

La contribució que pot fer l’Administració pública a la professionalització de l’avaluació és enorme, i no només té a veure amb introduir mesures correctores de mercat. Sovint es considera que una activitat esdevé una professió quan desenvolupa un cos de coneixement propi, uns estàndards de qualitat, unes competències específiques i un determinat ethos professional; és a dir, una manera compartida d’entendre la responsabilitat, els valors i el propòsit de la pràctica.

En aquest sentit l’Administració, en el seu rol de comanditària, és l’agència més ben posicionada per culminar un procés que, tots i els esforços fets fins ara des de l’ecosistema avaluador, encara no s’ha assolit: el de descriure amb claredat l’objectiu ètic més ampli del seu propòsit professional. O sigui, el valor públic o cívic al qual pretén servir. I cap professió pot assumir que serveix a un bé col·lectiu sense deixar clar a què es refereix quan parla d’això.

Per molt que des d’aquí puguem afirmar que l’avaluació no és només “seguiment” i que, en conseqüència, arrossega un valor intrínsec orientat al bé comú (dissenyat per propiciar un diàleg inclusiu i èticament fonamentat entorn a les decisions públiques), persisteixen dubtes raonables (i ben fonamentats) sobre si l’avaluació com a disciplina està assolint aquesta inspiradora visió sobre els interessos col·lectius.

Algunes expertes en la matèria ens adverteixen que, en general, l’avaluació tendeix a funcionar com una pràctica conservadora que reforça l’status quo (Forss, 2018; Dahler-Larsen, 2012) que només ha aconseguit ser percebuda com una forma especialitzada d’investigació-acció o, en el millor dels casos, una “eina més entre moltes altres per a la millora de les polítiques, l’aprenentatge i el canvi social” (Furubo & Stame, 2018).

Si l’avaluació vol distingir-se d’altres formes de producció d’evidència, necessita un ethos propi. Un conjunt de responsabilitats sobre la qualitat del judici, la utilitat del procés i les conseqüències públiques del coneixement que produeix.

I només si posem a treballar al sector de la demanda (les organitzacion que impulsen, dissenyen i/o contracten avaluacions) per a que integri aquesta cultura avaluativa, ens en sortirem a l’hora de separar el gra de la palla. És a dir, només si les comanditaries aprenen a discriminar el “seguiment” de l’avaluació ens en sortirem en la l’adopció d’estratègies proactives de professionalització que incloguin un propòsit moral i connectin la pràctica avaluativa amb els interessos públics i l’empoderament ciutadà (Julnes & Bustelo, 2017).

Resumint

Si volem bones professionals de l’avaluació, dins i fora de l’administració, necessitem equips capaços de fer millors preguntes, d’identificar supòsits febles, de discutir indicadors amb sentit, de llegir críticament una teoria del canvi, de saber quan una avaluació és viable, de contractar millor i d’utilitzar els resultats amb més intel·ligència institucional.

Necessitem cristal·litzar la idea que una administració madura no és aquella on tothom fa avaluacions, sinó aquella on tothom entén prou bé l’avaluació com per saber quan cal convocar-la, a quina experta cal recórrer, com cal cuidar-la i què cal fer amb allò que ens mostra.

Perquè avaluar no és aplicar eines. És posar criteri, mètode i responsabilitat al servei d’una decisió pública millor. I això exigeix alguna cosa més que una formació instrumental: exigeix pensament avaluatiu, rols ben definits i una professió capaç de reconèixer-se a si mateixa.


false

Ramon Crespo

Avaluador independent de programes i polítiques públiques. President d’APROEVAL i docent del Màster d’Avaluació de Programes i Polítiques Públiques de la UCM. Ha treballat en planificació, innovació i avaluació estratègica per a diferents administracions públiques i organitzacions socials, especialment en els àmbits dels serveis socials i la salut. Particularment interessat en connectar la cultura avaluativa, els processos de presa de presa de decisions i la transformació institucional.

Traducir »