A Engel vam sortir de bolos. El passat 3 de juliol vam agafar els trastos i vam anar a Vic a col·laborar amb el II Congrés d’Inclusió amb dues ponències i també en la dinamització de l’espai dels pòsters. Teníem pensades altres propostes de treball per al congrés però ens agrada la cervesa tant o més que les polítiques basades en l’evidència i ens vam deixar enganyar ràpidament per fer un #drinksandposters que ho ajuntés tot plegat. Crèiem que érem originals però la relació de la cervesa amb l’evidència ve de molt lluny, quan l’any 1692 a.C. el rei Hammurabi recull al codi que té el seu nom una sèrie de lleis per evitar la subjectivitat dels jutges (ja no impartirien justícia els sacerdots) en relació a la regulació de la producció i el comerç de la cervesa. O sigui, que ja fa una pila d’anys els babilonis estaven per sistematitzar una mica tot plegat i saber a què atenir-se en relació a les coses serioses.

Els d’Engel tenim la hipòtesi (fundacional, podríem dir) que els serveis socials (i les polítiques socials en general) estan mancats d’evidències que fonamentin el disseny i la intervenció de polítiques i projectes en el seu àmbit d’actuació. No és cap retret, ni ganes de perdre les poques amistats que tenim, sinó que orientar la nostra actuació des d’evidències contrastades (què funciona i què no funciona) ha de ser el primer interès de qui vol impulsar polítiques de canvi i transformació que deixin un mínim impacte atribuïble (més o menys) a les intervencions del nostre negociat. Per tant, es tractaria més (amb totes les seves limitacions) d’un intent de recerca sistemàtica de la millora de les actuacions –basades en el coneixement i per generar-lo– que no pas voluntat de complicar la vida a ningú…

Aquest article és un breu recull de l’experiència (a Vic) i de les idees que ens ha suggerit.

Qui no te l’eina no fa feina

No ens enganyem. Sovint, l’espai de pòsters dels congressos és aquell moment en el qual tothom aprofita per marxar a visitar la ciutat en qüestió, trucar per telèfon a la família o per mirar els correus de la feina que no ha mirat durant el dia. Per aquest motiu ens vam plantejar fer una “lectura” dels pòsters des d’un punt de vista mínimament analític que ens pogués aportar alguna cosa tant quan llegíem el pòster com quan en féssim una comparativa global per treure’n unes conclusions més o menys comunes.

La nostra eina màgica per aconseguir aquests difícils objectius va ser una rúbrica d’avaluació. Vam presentar una taula de doble entrada on s’hi mostraven les fases d’un projecte (detecció de necessitats, disseny de la intervenció, implementació de l’actuació i avaluació) i també el nivell de realització associat a cadascuna de les mateixes. La rúbrica ens permet mesurar diferents nivells d’assoliment no només de forma numèrica sinó lligant una narrativa a la valoració, de forma que aquesta és compresa i compartida pels avaluadors i pels avaluats i ens permet identificar elements de millora a uns i altres. A la pràctica, quan llegíem un projecte havíem de situar un gomet a un dels tres nivells de realització per a cadascuna de les fases del cicle del projecte que apareixien al pòster, entenent 1 com a menys assoliment i 3 com a màxim.

Les polítiques socials no són de pedra, però cal coneixement sòlid

No tenim clar que tot el que us presentem s’hagi d’escriure en una pedra basàltica i que quedi com a llei immutable a l’estil babilònic però són les reflexions que hem extret de la nostra experiència a Vic entre cervesa i cervesa i les compartim amb vosaltres per si (us/ens) són d’utilitat:

1. Les professionals i les professionals de l’àmbit social som gent optimista. Només cal mirar la foto de “puntuacions” sobre els projectes exposats per veure-ho: les valoracions puntuades (en conjunt) amb un 1 només arriben a 64, mentre que les de 2 pugen a 189 i les de 3 a 173. Pel que vam observar, hi ha una predisposició a la lectura optimista de la vida (i dels projectes) que és molt positiva per afrontar reptes però que també ens pot fer obviar algunes dificultats o limitacions pròpies del camp d’actuació… Admetem un error metodològic nostre en presentar una rúbrica de tres possibles valoracions ja que, generalment, es tendeix a situar-se al punt intermedi (com així va passar). Va quedar clar, també, que els Serveis Socials som un sector d’acció: la major part dels pòsters feien referència al disseny o la implementació d’actuacions i força menys es dedicaven a dimensionar adequadament necessitats socials o a avaluar l’impacte de les intervencions. 
2. Les participants tenien clar que la necessitat que cadascun dels projectes descrivia estava ben delimitada o, si més no, que era suficientment clara. És a dir, que la problemàtica que es pretén abordar amb el projecte està clarament identificada i que hi ha dades que la sostenen. No serem nosaltres qui dirà el contrari, però ja és curiós que en un àmbit tan mancat de dades i de sistematització de problemàtiques tothom ho tingui tan clar. Per si voleu donar-li dues voltes al tema, temps enrere en vam parlar a una entrada al bloc.
3. El disseny de la intervenció va pel mateix camí… La majoria de participants veu clarament que la intervenció dels pòsters analitzats obeeix a una planificació que té clara la problemàtica que pretén abordar, els recursos necessaris, els mecanismes (raó o raons) que faran possible un canvi, els productes de la intervenció i els seus impactes (els beneficis que produirà l’actuació a curt, mig o llarg termini). I que tot plegat té una coherència. Tot anava bé fins que vam fer la pregunta… algú sap què és la teoria del canvi?

No passa res. Generalment descriure una intervenció és més difícil del que sembla, la teoria del canvi rarament és explícita i les activitats i els objectius sovint són inestables o inconcrets. La teoria del canvi és una eina metodològica molt valuosa per a la planificació i avaluació d’intervencions perquè permet clarificar la cadena de causes i efectes teòrics que condueixen la intervenció a produir el canvi esperat. I així podem fer-nos preguntes sobre si efectivament tot allò previst és allò que efectivament passa o arriba a passar.

4. Pel que fa a la implementació, queda també força clar que tot anirà com una seda: es farà el que s’ha dit, amb els recursos previstos, per a les persones que s’ha pensat, les tasques i funcions de qui hi treballa són concretes i les persones professionals tenen les competències per dur a terme l’actuació. Potser ha fet dubtar una mica el fet del “seguiment de la intervenció” i això ha fet que les puntuacions s’hagin situat al 2 de forma majoritària.

Aquí el nostre interès hauria de ser validar les hipòtesis que diuen que els recursos són suficients per dur a terme les activitats i sobre si aquestes activitats generen els productes esperats. En aquest punt és important no confondre activitats (allò que fem) amb objectius (per a què ho fem).

5. A l’apartat d’avaluació les puntuacions “han estat molt repartides”, com diria aquell. I nosaltres tenim la hipòtesi que és un atac de sinceritat i que efectivament reflecteix un fet i una percepció compartida prou àmpliament, també entre les persones professionals: queda un llarg recorregut en el camp de l’avaluació de les polítiques socials.

En aquest sentit, és interessant plantejar l’avaluació des del punt de vista de fer-se preguntes rellevants sobre el funcionament i el resultat de la intervenció realitzada i això necessita d’una reflexió prèvia per recercar aquestes preguntes clau. Per això l’exercici de planificar des de la teoria del canvi ens pot ser molt útil també per encarar l’avaluació amb preguntes per a cadascuna de les fases del projecte.

Qui no sembra, no recull

A Engel –com ja es recollia a l’Estela d’Hammurabi- som força partidaris de sancionar aquells que aigualeixen la cervesa perquè amb les coses importants no s’hi juga. Tanmateix, creiem que les persones que “fem” polítiques socials hem de ser les primeres interessades en fonamentar la nostra intervenció en evidències que siguin sòlides i que argumentin de forma coherent la necessitat de les mateixes. El resultat d’aquest convenciment serà un àmbit amb més coneixement, més preparat per dotar de respostes satisfactòries les problemàtiques socials complexes i, en definitiva, deixar de ser un sector –en ocasions- massa aigualit.