miércoles, 29 de diciembre de 2010

¡Mucho ojo con PISA!

El Informe del Programa Internacional para la Evaluación de Estudiantes, o Informe PISA por sus siglas en inglés (Programme for International Student Assessment), es una iniciativa de la Organización para la Cooperación y el Desarrollo Económico (OCDE), la cual, según reza su lema, se dedica a la cooperación internacional con el objetivo de coordinar las políticas económicas y sociales de los países miembros de la organización (34 en estos momentos). En realidad, se trata de una organización de los países más ricos del planeta que formula análisis y recomendaciones sobre la manera de hacer funcionar lo mejor posible el capitalismo mundial. Entre los temas que suele tratar la OCDE podemos encontrar algunos muy significativos para conocer hacia dónde “van sus tiros”: cómo privatizar los servicios públicos, cómo orientar la educación-formación para salvaguardar las empresas y aumentar los beneficios empresariales, cómo reflotar los bancos sin que sus accionistas se vean afectados, cómo reducir la presión fiscal sobre la riqueza, cómo disminuir los salarios sin provocar revueltas sociales…

La OCDE y la educación-formación

La OCDE fue creada en 1961 y hasta el año 1997 no puso en marcha el programa PISA, es decir, tardó más de 30 años en implantar un programa que evalúa las aptitudes de los estudiantes de 15 años – estén en el nivel educativo (curso) que estén - para la vida en una sociedad moderna. Loable objetivo al que España se incorporó, por primera vez, el año 2000 y al que, posteriormente, se han ido añadiendo buena parte de las Comunidades Autónomas españolas, aportando sus especificidades.

Ahora bien, ¿cuál es la visión que la OCDE tiene de la educación-formación?, ¿en qué basa la OCDE el éxito educativo?, ¿qué indicadores utiliza para medir los resultados de los alumnos? La teoría educativa de la Organización se basa en que los éxitos educativos se miden por los resultados conseguidos y su impacto en el progreso económico. De hecho, eso es lo que trata de medir el PISA a partir de una batería de pruebas estandarizadas destinadas a evaluar competencias básicas (habilidades) en lectura, lenguas, matemáticas, ciencias y, últimamente, el uso de la informática. Esta medición se realiza país a país y de forma comparada entre países. De ahí, que todos los asociados a la OCDE participantes en el programa quieran conocer si han ido mejorando posiciones en el ranquin comparado. Asimismo, los investigadores de la educación y los analistas de cualquier pelaje (desde los políticos, a los culturales y educativos, a los tertulianos, sabedores de todo y expertos en pocas cosas) encuentran en los resultados de las pruebas PISA un instrumento para interpretar las brechas educativas en el espacio internacional y nacional e identificar (muchas veces sin que PISA esté diseñada con el objetivo que persiguen sus análisis) factores internos y externos a la escuela que explican los rendimientos de los jóvenes evaluados.

La evaluación PISA tiene un prestigio técnico y científico incuestionables, capaz de aportar información objetiva y fiable de las características comparadas de los diferentes sistemas educativos, se ha convertido en un referente incluso para la opinión pública. Tiene un carácter complementario respecto a las evaluaciones internas y externas que habitualmente realiza la escuela. Sin embargo, y sin restar mérito a la necesidad de conocer la situación del propio país en el panorama internacional, las pruebas PISA solo nos indican cómo estamos con respecto a los demás países evaluados en una serie de contenidos (competencias básicas, es decir, cultura matemática y lectora, en ciencias y en lectura digital), que si bien son muy relevantes, no llegan a coincidir ni con el 20% de todo lo que los jóvenes adolescentes han de haber aprendido en la escuela. PISA sólo mide si los conocimientos de los jóvenes son suficientes para dar respuesta a las demandas de una determinada forma de economía. En ninguno de sus contenidos, PISA evalúa, por ejemplo, las técnicas de base de la lengua: ni la ortografía, ni la rapidez en la lectura, ni el dominio de un vocabulario amplio, ni el placer por la lectura, ni la imaginación en la redacción de un texto…

Es más, PISA no nos especifica dónde están realmente nuestros principales problemas en el ámbito educativo, ni qué hemos de hacer para mejorar (excepción hecha de realizar recomendaciones genéricas que afectan más a aspectos externos de la educación, por muy importantes que sean – como las inversiones –, que a aspectos relacionados con el currículum, las metodologías, los recursos pedagógicos…). El acercamiento de PISA a la educación es, pues, generalista. Nada nos dice sobre cómo estamos en relación con el diseño curricular estatal y autonómico. Para más inri, tomando como base las llamadas “preguntas liberadas”, hay quien está empezando a hacer su agosto, vía internet o en academias, dando clases y fabricando manuales que sirven para entrenar de manera estereotipada al alumnado de cara a las pruebas. También parte del profesorado está utilizando el “método autoescuela”: adiestrar para superar un examen.

Cuestiones sin respuestas

¿Qué nos dice PISA del aprendizaje de la geografía y la historia, de la música y el arte, de las lenguas no propias y el dibujo?, ¿dónde queda, en sus preguntas, la asimilación de los principios de socialización, convivencia y democracia?, ¿con qué cuestiones nos hacen saber si nuestros jóvenes adolescentes tienen suficientes conocimientos y destrezas para enfrentarse a la vida adulta?. ¿Acaso PISA sirve para explicar los factores que evidencian la diferencia de resultados entre los estudiantes?, ¿por casualidad, explica cómo dar respuesta acertada a esos factores? ¿Dónde está el valor orientador y prospectivo de las pruebas? PISA no ofrece elementos de medida de nada de todo esto, ni ofrece una proyección de resultados planteando alternativas, criterios y orientaciones.

Por ello, no se puede caer en la simplificación a la que los medios y algunos expertos en educación nos están acostumbrando de que PISA es “el indicador” de la calidad educativa. Y menos aún, a partir solamente de sus resultados, cargar sobre la escuela la responsabilidad única del éxito o el fracaso de la acción educativa. El rendimiento, los resultados, la asimilación de saberes y la adquisición de capacidades están asociados también a factores no escolares, como el acceso a servicios básicos, el nivel de instrucción de los padres, la implicación del entorno familiar y social en la educación de los niños y adolescentes, la pobreza, la exclusión… Sin olvidar, evidentemente, la importancia en esta implicación de los órganos políticos y administrativos que dirigen e intermedian en la escuela.

En resumen

Bienvenidas las pruebas del programa PISA, pero nunca si se convierten – como está pasando – en el centro del currículum escolar y en la principal medida de la calidad de la escuela.

domingo, 19 de diciembre de 2010

L’AdA i l'avaluació d'una política pública, una bona ocasió perduda

Finalment, després de dos anys de “negociacions” dins del departament responsable en matèria educativa de la Generalitat de Catalunya, el Govern va aprovar el passat novembre els estatuts que han de regir l’Agència d’Avaluació i Prospectiva de l’Educació (AdA). Benvinguts siguin. Però..., ¿seria millor dir que val més una mica que gens? La gestació dels estatuts ha durat massa temps i, en l’infantament, ha sortit un fill amb importants problemes de desenvolupament.

Fou en inciar-se l’any 2007 quan vaig rebre dos encàrrecs en la meva feina en el Consell Superior d’Avaluació: un, elaborar la proposta de continguts que haurien d’anar a la futura Llei d’Educació de Catalunya (LEC) en relació amb la creació d’una agència d’avaluació; dos, redactar una proposta d’estatuts que haurien de regir aquesta agència. L’encàrrec venia del President del Consell, qui va supervisar el redactat i va trametre ambdues propostes al conseller responsable en matèria educativa.

La LEC va aprovar la creació de l’Agència tot modificant la proposta inicial en un aspecte substancial: aquesta depèn del departament responsable de la política educativa i no pas del Parlament, com es proposava. Un cop posada en marxa la Llei, es va iniciar el camí de negociació dels estatuts de l’Agència. Des d’aleshores (juliol de 2009) fins a la seva aprovació, el redactat ha tingut modificacions de forma i de fons. Ara, els Estatuts aprovats i publicats al DOGC mantenen l’esperit inicial, però han sufert algunes modificacions significatives. Millor dit, han patit amputacions importants. Aquestes, fan que la capacitat d’actuació de l’AdA es vegi greument condicionada i, a la vegada, són un síntoma d’una manca de concepció democràtica de l’avaluació de les polítiques públiques i de la seva vàlua com a instrument de retroalimentació, millora i projecció del sistema educatiu.

Cal fer constar també que, d’acord amb els propis Estatuts, l’Agència no tindrà plena efectivitat, és a dir, no finalitzarà el seu periple fundacional, fins... l’any 2016. “¡Cuán largo me lo fiáis!", va dir don Juan Tenorio. I mentre tant? Bé, anem fent. Val més una mica que gens (???).

Al meu parer, dos són els aspectes més significatius de les amputacions, deficiències i síntomes no-democràtics que pateixen l’Agència i els seus estatuts: d’una banda, com he indicat anteriorment, la dependència de l’Agència del departament responsable de la política educativa; d’altra banda, les funcions efectives de l’Agència han quedat retallades.

Dues pincellades sobre l’avaluació de les polítiques públiques

Evidentment, no és aquest l’espai per desenvolupar un curs de formació sobre el concepte i l’essència de l’avaluació, però considero important en relació amb la resta del contingut d’aquesta entrada, oferir un breu llistat d’algunes de les característiques i condicions que ha de reunir tota avaluació (i en tractar-se d’una política pública, com és l’educació, encara més: cal educar donant exemple).
 Son característiques pròpies de l’avaluació: el rigor, la imparcialitat, la independència, la transparència, l’objectivitat, la presa en consideració de diferents punts de vista, la voluntat de defensar l’interès general.
 L’avaluació consisteix a comparar els resultats d’una acció, programa, política, amb els mitjans que s’han fet servir – legals, administratius, financers – i amb els objectius inicialment fixats.
 L’avaluació es diferencia de la tasca de control i inspecció en que ha de valorar l’eficàcia de l’acció, el programa, la política, i no només ha de verificar el compliment de les normes administratives o tècniques. D’altra banda, control i inspecció no fan servir els mateixos procediments i no responen a les mateixes exigències. Per això, les missions de control i inspecció i les missions d’avaluació no han d’ésser confiades a les mateixes persones.

L’acció de l’AdA es pot trobar fortament condicionada

Com a conseqüència de la LEC, l’Agència és controlada pel departament d’educació i tan sols ha d’informar al Parlament. Els Estatuts mantenen aquesta circumstància: “ha d’elaborar un informe anual sobre els resultats de les avaluacions i altres actuacions realitzades” que “es tramet al Parlament de Catalunya” (art. 14.1). Ni tan sols existeix l’obligació de retre comptes presencials. Un informe escrit és suficient.

L’Agència, però, “s’adscriu al departament competent en matèria d’educació no universitària” (art. 1.3). És a dir, el departament és jutge i part. Ítem més, “la persona titular de la Presidència de l’Agència [...] és nomenada pel Govern, a proposta de la persona titular del departament competent en matèria d’educació no universitària (art. 19.1). Igualment, “la persona titular de la Direcció de l’Agència [...] és nomenada i separada pel Govern a proposta de la persona titular del departament competent en matèria d’educació no universitària” (art. 20.1). És a dir, qui ha de presidir i qui ha de dirigir les actuacions de l’òrgan que jutja la política educativa són persones nomenades a proposta del conseller o consellera que dirigeix aquesta política. Sens dubte es corre el risc que la professionalitat i l’ètica de les persones que tinguin les responsabilitats de presidir i dirigir l’AdA sigui sotmesa a pressions cada cop que hagi d’iniciar un procés d’avaluació o retre comptes públiques dels seus resultats.

D’altra banda, l’article 13.1 dels Estatuts ordena que “per al desenvolupament de l’activitat que li és pròpia, l’Agència d’Avaluació i Prospectiva de l’Educació ha de negociar i subscriure amb el departament competent en matèria d’educació no universitària contractes programa successius, que ha d’aprovar el Govern, en els quals s’han de definir els projectes que el departament competent en matèria d’educació no universitària encomana desenvolupar a l’Agència, així com el finançament per al període corresponent”. En resum, l’Agència depèn del departament corresponent també en allò que fa referència a les actuacions que ha de dur a terme en relació amb la política educativa. La iniciativa pròpia i independent sobre què avaluar queda sotmesa exclusivament a la trobada de finançament per part dels rectors de l’AdA.

Davant d’aquest panorama, ¿podrà realment el Consell Rector “definir les línies generals d’actuació de l’Agència i aprovar-ne el pla estratègic” (art. 18. 9a)?

Una Agència amb funcions retallades

Què diu la LEC sobre les modalitats d’avaluació i les funcions de l’Agència?
Sens dubte es tracta d’una clara manifestació del retall de les funcions de l’AdA i que, a més a més, contradiu la filosofia de l’avaluació de polítiques públiques, car s’encomana al cos d’inspecció una tasca avaluadora. Una evident contradicció in agendo.

Aquest retall es converteix en control absolut per part del departament corresponent a partir del què determina l’article 7.2 dels Estatuts:
“L’Agència requereix l’autorització expressa del departament competent en
matèria d’educació no universitària per a aquelles actuacions que afectin un ens públic o el sistema educatiu en el seu conjunt i no derivin directament d’allò que preveuen els articles 66, 159, 185, 186, 188, 190, 191, 193, 194 i concordants de la Llei d’educació [...]”

Altra expressió d’aquest control queda explicitada en l’article 154.2 de la LEC, que sens dubte té una redacció alambinada, però no amaga l’objectiu que persegueix: “El departament competent en matèria d’educació no universitària vehicula preferentment la seva col•laboració en l’exercici de les funcions avaluadores encomanades a l’Agència per mitjà de la Inspecció d’Educació”,

És més, tal i com es dedueix del redactat de diferents articles de la LEC i del Estatuts de l’Agència, són manifests el retall de competències d’aquesta i les contradiccions i duplicitats de funcions entre servei d’Inspecció i AdA. En cas de dubte, sempre les normes s’inclinen a donar preponderància al servei sobre l’Agència.
Caldrà veure com es concreta definitivament l’estructura de l’Agència per ampliar aquestes reflexions i valorar fins a quin punt les seves funcions es desenvolupen a partir dels criteris propis de l’avaluació d’una política pública i es duen a terme amb independència, transparència i fiabilitat.

[Bressanone (Bolzano, Itàlia)-Sant Just Desvern (Barcelona), 30 de novembre i 17 de desembre de 2010]