Me ha sorprendido recibir, pocas horas después de publicarlo, tres comentarios sobre la anterior entrada de este blog titulada Evaluación pública frente a estudios "fools". Es poco habitual tener una reacción a un artículo del blog y que sea tan rápida. Dos de los comentarios manifiestan su conformidad con las reflexiones realizadas, considerando que la evaluación de las políticas públicas forma parte del cambio que la sociedad está exigiendo hoy en el quehacer político. El tercer comentario expone “no entiendo ni veo qué quieres decir”. Hago, pues, un nuevo intento.
Es habitual que las reflexiones aportadas en este blog sean breves y se limiten a señalar puntos débiles o críticos de algunas políticas, actuaciones o programas; que apunten propuestas sobre políticas, actuaciones o programas a llevar a cabo; que valoren sucintamente políticas, actuaciones o programas. Es posible que, a veces, sean demasiado breves y, por ello, resulten crípticas. Al fin y al cabo se trata de un blog. Sin embargo, no me lo parece en el caso de dicho artículo: sencillamente, manifiesto mi visión negativa sobre cualquier evaluación “sacada de la manga” (es decir, sin que se expliquen los parámetros, indicadores, bases de datos utilizadas, etc.), es decir, evaluaciones que son más bien la expresión de emociones. Manifestaciones de parte, en resumen.
Asimismo, el referido artículo defiende la necesidad (viene a exigir) de que existan evaluaciones realizadas desde lo público y con criterios públicos de las políticas, actuaciones o programas llevadas a cabo en beneficio de lo público. Y las políticas de formación para el empleo son, a mi entender, exactamente eso: políticas de formación destinadas a favorecer el aumento y la mejora del empleo.
Pese a la existencia de algunos organismos públicos de evaluación (por ejemplo, la AEVAL, Agencia Española de Evaluación y Calidad), en España nos encontramos en mantillas por lo que a la evaluación de políticas públicas se refiere. Dicha evaluación debería ser una acción de Estado, con rendimiento de cuentas parlamentario y con retroalimentación obligada de las políticas, sobre la base de los resultados de la evaluación realizada. No es nuestro caso. Es más, no existe una “ley marco” que regule la obligatoriedad de la evaluación y el consiguiente rendimiento de cuentas público de las políticas, actuaciones o programas llevados a cabo desde lo público. Habituados como solemos ser a imitar a otros países del entorno, bien podríamos aprender de las regulaciones de las que se han dotado otros próximos sobre la evaluación de políticas públicas (Francia o los Estados Unidos, por ejemplo).
Considero que la evaluación de políticas públicas tiene una dimensión doble: la cuantitativa mide los efectos de la actuación pública, comparando sus resultados en relación con los objetivos asignados y los recursos aportados; la dimensión cualitativa juzga la pertinencia de los objetivos, su eficacia, su impacto y la futura sostenibilidad. Todo ello con el fin de, si fuera necesario, retroalimentar y aportar argumentos en el proceso de toma de decisiones sobre la continuidad y los contenidos de las políticas, actuaciones o programas llevados a cabo.
Académicamente dicho, la evaluación de una política pública tiene como objetivo investigar si los medios jurídicos, administrativos y financieros aportados en una actuación o programa público han producido los efectos esperados y han alcanzado los objetivos inicialmente asignados. En este sentido, la evaluación de una política pública es una tarea complementaria de la inspección, destinada más a auditar y controlar.
Una evaluación pública así concebida debería regirse por seis criterios principales: pertinencia, coherencia, eficacia, eficiencia, impacto y sostenibilidad. No entraré aquí a analizar cada uno de estos criterios y a detallar qué comporta cada uno de ellos. Cualquier manual de evaluación (y, especialmente, de evaluación de políticas públicas) puede ser útil para llevar a cabo dicho análisis y detalle.
Por todo ello, vuelvo a reivindicar que, en momentos como el actual, en que el Estado español se enfrenta a la necesidad y exigencia de reformar y evolucionar sus estructuras y su organización, la evaluación debería ser llamada a jugar un papel clave. Y, más concretamente (volviendo al tema de la evaluación de las políticas de formación para el empleo), en un momento como el actual, es urgente que la evaluación de las políticas destinadas a mejorar la ocupabilidad de los españoles y las españolas – en este caso, las políticas de formación para el empleo - se lleve a cabo de manera pública, con los criterios que toda evaluación de política pública debe reunir, y no se deje en manos de entidades privadas que negocian con la formación para el empleo.
CUADERNO QUE CONTIENE REFLEXIONES, OPINIONES, ANÁLISIS Y CUALQUIER OTRO TIPO DE COSAS RARAS SOBRE FORMACIÓN, EDUCACIÓN, EMPLEO Y OTRAS POLÍTICAS PÚBLICAS
Mostrando entradas con la etiqueta Evaluación. Mostrar todas las entradas
Mostrando entradas con la etiqueta Evaluación. Mostrar todas las entradas
domingo, 10 de julio de 2011
Evaluación pública frente a estudios "fools"
1. Tomemos aquí el término inglés en su significado de idiota o engañoso, tanto monta. Apliquemos la idiotez a los destinatarios de los resultados de los estudios, es decir, a lo que deben pensar sus autores sobre los destinatarios. Apliquemos el blando término de engañoso a cómo se elaboran los estudios y, por tanto, a sus conclusiones.
2. La consultora de formación ADECCO-TRAINING ha publicado (060711) un informe titulado Estudio sobre las tendencias de formación para el empleo, en el cual se concluye, entre otras que “el Sistema de Formación para el Empleo cuenta con un gran reconocimiento entre las patronales empresariales. Es considerado por un 73% de las mismas como un medio de aportar valor a las empresas asociadas y por un 42% como un elemento determinante en el desarrollo de los profesionales del sector”. Sin embargo, según dicen los autores, “los resultados del estudio desvelan la necesidad de un nuevo modelo de formación para el empleo que relativice la visión administrativa y favorezca enfoques novedosos más eficaces para fortalecer las capacidades competitivas de las empresas y sus profesionales”.
3. Cuando he preguntado telefónicamente al servicio de estudios de dicha consultora sobre las características de la muestra utilizada para llevar a cabo las entrevistas o encuestas realizadas a las patronales empresariales, he sido informado de que la muestra “se toma de nuestras propias bases de datos, de las empresas con las que trabajamos”. ¿Y el universo de la muestra? Misma respuesta. Así, pues, la transparencia y fiabilidad del estudio brilla por su ausencia.
Con dichos mimbres, los llamados medios de comunicación han difundido los resultados del estudio y han cargado una vez más sobre el, según ellos, inadecuado (utilizo una palabra “suave” que no suele estar en el lenguaje de los medios) sistema de formación para el empleo en España.
Cito y traduzco a un experto en materia de formación: “Es impresentable que aún haya un 27% de empresas que, saltándose lo que es políticamente correcto, no crean en la formación. Si a este 27% añadimos el porcentaje que han respondido que creen en la formación, porque no se puede decir otra cosa, tendremos una primera aproximación a uno de los núcleos del problema de la formación-cualificación en el país” (Paco Miranda, en correspondencia privada después de la lectura de las conclusiones del estudio de marras).
4. Quizá si las instituciones públicas, responsables últimas de los recursos que se destinan a la formación para el empleo, cumpliesen sus obligaciones de seguimiento, control y evaluación, podríamos llegar a las mismas conclusiones o a otras muy distintas.
5. El primer objetivo de toda evaluación pública es que busca producir información útil a las administraciones y clara y transparente para los administrados. Útil para mejorar los procesos de decisión y planificación, para valorar el funcionamiento y la gestión de las actuaciones llevadas a cabo, para estimar la relación entre resultados y recursos invertidos, para retroalimentar las acciones, las intervenciones, los programas. Clara y transparente para que los administrados puedan valorar y apreciar los resultados alcanzados, a través de unos datos y un lenguaje fácilmente comprensible. Se trata, pues, de un rendimiento de cuentas de los administradores ante los administrados.
6. En conclusión, más evaluación pública de las políticas públicas y menos cantos de sirena de consultoras privadas, claramente interesadas en el beneficio privado de las conclusiones de sus pseudoevaluaciones.
2. La consultora de formación ADECCO-TRAINING ha publicado (060711) un informe titulado Estudio sobre las tendencias de formación para el empleo, en el cual se concluye, entre otras que “el Sistema de Formación para el Empleo cuenta con un gran reconocimiento entre las patronales empresariales. Es considerado por un 73% de las mismas como un medio de aportar valor a las empresas asociadas y por un 42% como un elemento determinante en el desarrollo de los profesionales del sector”. Sin embargo, según dicen los autores, “los resultados del estudio desvelan la necesidad de un nuevo modelo de formación para el empleo que relativice la visión administrativa y favorezca enfoques novedosos más eficaces para fortalecer las capacidades competitivas de las empresas y sus profesionales”.
3. Cuando he preguntado telefónicamente al servicio de estudios de dicha consultora sobre las características de la muestra utilizada para llevar a cabo las entrevistas o encuestas realizadas a las patronales empresariales, he sido informado de que la muestra “se toma de nuestras propias bases de datos, de las empresas con las que trabajamos”. ¿Y el universo de la muestra? Misma respuesta. Así, pues, la transparencia y fiabilidad del estudio brilla por su ausencia.
Con dichos mimbres, los llamados medios de comunicación han difundido los resultados del estudio y han cargado una vez más sobre el, según ellos, inadecuado (utilizo una palabra “suave” que no suele estar en el lenguaje de los medios) sistema de formación para el empleo en España.
Cito y traduzco a un experto en materia de formación: “Es impresentable que aún haya un 27% de empresas que, saltándose lo que es políticamente correcto, no crean en la formación. Si a este 27% añadimos el porcentaje que han respondido que creen en la formación, porque no se puede decir otra cosa, tendremos una primera aproximación a uno de los núcleos del problema de la formación-cualificación en el país” (Paco Miranda, en correspondencia privada después de la lectura de las conclusiones del estudio de marras).
4. Quizá si las instituciones públicas, responsables últimas de los recursos que se destinan a la formación para el empleo, cumpliesen sus obligaciones de seguimiento, control y evaluación, podríamos llegar a las mismas conclusiones o a otras muy distintas.
5. El primer objetivo de toda evaluación pública es que busca producir información útil a las administraciones y clara y transparente para los administrados. Útil para mejorar los procesos de decisión y planificación, para valorar el funcionamiento y la gestión de las actuaciones llevadas a cabo, para estimar la relación entre resultados y recursos invertidos, para retroalimentar las acciones, las intervenciones, los programas. Clara y transparente para que los administrados puedan valorar y apreciar los resultados alcanzados, a través de unos datos y un lenguaje fácilmente comprensible. Se trata, pues, de un rendimiento de cuentas de los administradores ante los administrados.
6. En conclusión, más evaluación pública de las políticas públicas y menos cantos de sirena de consultoras privadas, claramente interesadas en el beneficio privado de las conclusiones de sus pseudoevaluaciones.
martes, 6 de abril de 2010
Necesidad y urgencia de evaluar las políticas públicas
Necesidad y urgencia de evaluar las políticas públicas
La cultura de la evaluación de las políticas públicas comienza a abrirse camino en España, muy lentamente eso sí, aunque desde una óptica más económica que social. Queda por ver cuál es el impacto de esta evaluación en la práctica política posterior. Habitualmente, de una evaluación rigurosa a la puesta en práctica de políticas eficaces y bien fundamentadas hay “mucho trecho”.
Sin embargo, considero que una evaluación convincente en la que los resultados hablen claramente y concretamente a los ciudadanos puede ser ejemplarizante, puede hacer inclinar la balanza hacia el lado bueno. Las evaluaciones contienen un componente empírico, objetivo, que, si se difunde con rigor puede crear opinión pública, habitualmente reticente con lo público, y reducir la parte ideológica que suele comportar “mirar de reojo” a lo público. Del valor positivo que tiene la evaluación de estas políticas saben bastante en Canadá, Estados Unidos, Gran Bretaña, Suecia, Finlandia… Habría que ir trabajando en la misma línea en nuestro país. Tengo la impresión de que, más temprano que tarde, se podría llegar a incorporar social y políticamente el valor añadido de la evaluación.
Para favorecer este valor añadido será necesario utilizar en la evaluación un análisis de abajo arriba, que los datos y los resultados emanen del conjunto de la sociedad. Una valoración de estas características tiene muchas posibilidades de ser recibida positivamente por la ciudadanía.
A ello sería necesario añadir una gran transparencia en la metodología empleada y una, aún mayor, gran claridad de vocabulario. En la misma línea, habría que evitar las evaluaciones ex ante, nada evocadoras para el conjunto de la población. Sin embargo, tienen un mayor interés las evaluaciones ex post en las que se reflejan los efectos y los resultados de las políticas aplicadas. Incluso pueden tener un buen nivel de recepción las evaluaciones de impacto y causalidad, que comparan los resultados alcanzados con las “causas” que los han favorecido o perjudicado.
Hoy, inmersos en una crisis económica, sería de gran utilidad evaluar las políticas sociales y de empleo, analizando los efectos reales que tienen sobre la economía y sobre la sociedad. Para que las evaluaciones fuesen inteligibles y asumidas, sería conveniente huir de modelos macroeconómicos y definir parámetros e indicadores que hablen por sí mismos, que permitan logran unos resultados que provoquen un choque social porque sea fácil identificar en ellos los efectos logrados.
Igualmente, y con los mismos posibles efectos sociales positivos, sería necesario evaluar aquellas políticas que, destinadas a favorecer el empleo, tienen escaso contenido social (por ejemplo, las políticas destinadas a rebajar las cargas sociales de las empresas relacionándolas con las dinámicas sociales que generan). Y habría que hacerlo de manera “ofensiva” (al ataque, en términos guerreros o futbolísticos), lejos del carácter defensivo – justificativo - con el que, en general, se valoran las políticas públicas.
La cultura de la evaluación de las políticas públicas comienza a abrirse camino en España, muy lentamente eso sí, aunque desde una óptica más económica que social. Queda por ver cuál es el impacto de esta evaluación en la práctica política posterior. Habitualmente, de una evaluación rigurosa a la puesta en práctica de políticas eficaces y bien fundamentadas hay “mucho trecho”.
Sin embargo, considero que una evaluación convincente en la que los resultados hablen claramente y concretamente a los ciudadanos puede ser ejemplarizante, puede hacer inclinar la balanza hacia el lado bueno. Las evaluaciones contienen un componente empírico, objetivo, que, si se difunde con rigor puede crear opinión pública, habitualmente reticente con lo público, y reducir la parte ideológica que suele comportar “mirar de reojo” a lo público. Del valor positivo que tiene la evaluación de estas políticas saben bastante en Canadá, Estados Unidos, Gran Bretaña, Suecia, Finlandia… Habría que ir trabajando en la misma línea en nuestro país. Tengo la impresión de que, más temprano que tarde, se podría llegar a incorporar social y políticamente el valor añadido de la evaluación.
Para favorecer este valor añadido será necesario utilizar en la evaluación un análisis de abajo arriba, que los datos y los resultados emanen del conjunto de la sociedad. Una valoración de estas características tiene muchas posibilidades de ser recibida positivamente por la ciudadanía.
A ello sería necesario añadir una gran transparencia en la metodología empleada y una, aún mayor, gran claridad de vocabulario. En la misma línea, habría que evitar las evaluaciones ex ante, nada evocadoras para el conjunto de la población. Sin embargo, tienen un mayor interés las evaluaciones ex post en las que se reflejan los efectos y los resultados de las políticas aplicadas. Incluso pueden tener un buen nivel de recepción las evaluaciones de impacto y causalidad, que comparan los resultados alcanzados con las “causas” que los han favorecido o perjudicado.
Hoy, inmersos en una crisis económica, sería de gran utilidad evaluar las políticas sociales y de empleo, analizando los efectos reales que tienen sobre la economía y sobre la sociedad. Para que las evaluaciones fuesen inteligibles y asumidas, sería conveniente huir de modelos macroeconómicos y definir parámetros e indicadores que hablen por sí mismos, que permitan logran unos resultados que provoquen un choque social porque sea fácil identificar en ellos los efectos logrados.
Igualmente, y con los mismos posibles efectos sociales positivos, sería necesario evaluar aquellas políticas que, destinadas a favorecer el empleo, tienen escaso contenido social (por ejemplo, las políticas destinadas a rebajar las cargas sociales de las empresas relacionándolas con las dinámicas sociales que generan). Y habría que hacerlo de manera “ofensiva” (al ataque, en términos guerreros o futbolísticos), lejos del carácter defensivo – justificativo - con el que, en general, se valoran las políticas públicas.
jueves, 24 de septiembre de 2009
Evaluación de la formación profesional reglada de Cataluña
La experiencia de Cataluña en el campo de la evaluación de la formación profesional reglada
Eficacia, calidad y equidad son tres características básicas, de orden socioeconómico, que la ciudadanía de los países democráticos demanda a las políticas públicas; características a las que también ha de responder, obviamente, la política educativa. Asimismo, la calidad de los sistemas de formación, educativa o profesional, ha de considerar también criterios de orden pedagógico (la capacidad del sistema de desarrollar de manera equilibrada los diferentes saberes) y conativo (la capacidad del sistema para crear una relación directa entre lo aprendido y la capacidad de actuar). Todas estas características, consideradas de manera dinámica y transformadora, han de hacer de la educación y de la formación instrumentos de desarrollo y cohesión social.
Para dar respuesta a la demanda ciudadana es necesario establecer dispositivos que evalúen la política educativa y que midan el impacto del sistema educativo con la finalidad de rendir cuentas a la sociedad. En este sentido, el informe elaborado hace unos años para la UNESCO por la Comisión Internacional sobre Educación para el siglo XXI, conocido como Informe Delors , afirma que “la evaluación de la educación ha de ser concebida en sentido amplio. No tiene como objetivo único la oferta educativa y los métodos de enseñanza, sino también la financiación, la gestión, la orientación general y la consecución de objetivos a largo plazo”.
Asimismo, la evaluación de las políticas y de los servicios públicos es una necesidad política, de gestión y de mejora, relacionada con la extensión del principio de gobernanza definido por la Comisión Europea (2001) como el "conjunto de normas, procesos y comportamientos que afectan a la calidad del ejercicio de los poderes, en particular, la legitimidad, la transparencia, la coherencia, la eficacia y la eficiencia" .
La evaluación de los sistemas educativos ha de tener, pues, una perspectiva sistémica y ha de ser concebida con un doble propósito: ha de servir como instrumento de control – la sociedad quiere conocer los objetivos de la educación, los esfuerzos y recursos invertidos en ella y los rendimientos que se obtiene – y también como instrumento de mejora del sistema y de sus resultados, que se han de traducir en una mayor calidad educativa.
El sistema y los “subsistemas” de formación profesional españoles
Con el fin de delimitar el alcance de la evaluación a que nos vamos a referir, consideramos interesante hacer una pequeña aclaración sobre la estructura del sistema de formación profesional español, dado que padece un problema conceptual y puede dar lugar a confusiones. Desde hace años, utilizamos una clasificación del sistema en subsistemas únicamente para marcar el terreno de la propiedad de destinatarios y de los recursos públicos que le son destinados. Aunque ha habido múltiples ocasiones para deshacer el entuerto , no se ha querido tocar el tema porque significa tocar bolsillos, competencias y, por tanto, poderes.
Así, pues, el sistema de formación profesional español se divide en tres subsistemas: formación profesional reglada (FPR), también llamada inicial, formación profesional ocupacional (FPO) y formación profesional continua (FPC). Esta clasificación más que responder a una estructuración pedagógica es un mero mecanismo de subdivisión de un conjunto de acciones que han de estar íntimamente relacionadas. Por otro lado, el concepto de ocupacional puede aplicarse tanto a la formación reglada como a la continua y, a su vez, no toda la formación profesional es ocupacional. Sin embargo, el valor de formación permanente que contiene la formación profesional continua le confiere a ésta un carácter pedagógico, reglado.
Así, pues, cuando aquí nos referimos a la formación profesional reglada de Cataluña, estamos indicando aquella formación para la profesión que se realiza en un medio escolar. Aquella formación que prepara para el empleo de manera inicial, dado que, por un lado, las necesidades de cualificación son cada vez más fluctuantes, más “de empresa”, y que, por otro lado, las soluciones a medio y largo plazo han de venir evidentemente de la formación continua.
Conveniencia y oportunidad de la evaluación de la FPR
La generalización del sistema actual de FPR en Cataluña se produjo el curso 2001-2002, en aplicación de la Ley de Ordenación General del Sistema Educativo (LOGSE). Se trata de un periodo temporal de funcionamiento que podemos considerar corto, pero razonable, para evaluar el grado de éxito o fracaso de los diferentes factores que conforman el sistema. Ahora bien, el sistema español de formación profesional reglada arranca de la Ley de Educación de 1970 y, hasta el momento, no se ha producido una evaluación del conjunto de dicho sistema, aunque desde hace unos años se realizan sistemáticamente evaluaciones parciales, casi siempre destinadas a valorar la transición de la escuela al trabajo .
Por otra parte, existen razones de interés social, económico y educativo que hacen necesaria, hoy más que nunca, una evaluación de la formación profesional del sistema educativo que lo analice en su globalidad y que sirva para relacionarla con el progreso económico y social del país. De estas motivaciones, unas son de carácter general y, otras, específico.
Entre las motivaciones de carácter general a las cuales tiene que responder la evaluación de la formación profesional del sistema educativo, señalamos las siguientes :
A. La necesidad de crear una cultura de la evaluación como instrumento para la mejora continua, la estimulación de la transparencia y la rendición de cuentas, que repercuta, en el funcionamiento positivo del sistema.
B. La necesidad de considerar la diversidad y la heterogeneidad de las ópticas con las cuales se mira la formación profesional. Por una parte, la óptica política que la contempla, principalmente, desde el funcionamiento institucional; por otra, la óptica social que se centra en los resultados de la acción formativa y en su adecuación a las demandas de inserción laboral; y, en tercer lugar, la óptica económico-empresarial que considera, sobre todo, la utilidad de los aprendizajes y el dominio de las competencias adquiridas.
C. La necesidad de aumentar las tasas de escolarización en formación profesional y el volumen de graduados como instrumento para la mejora de la competitividad, tanto en términos cualitativos como cuantitativos, en el marco de una economía basada en el conocimiento.
D. La conveniencia de valorar la creación y la adquisición de competencias sociales y laborales como punto de encuentro entre el mundo del trabajo y la sociedad con el mundo educativo y como elementos de mejora del capital humano, fuente principal de conocimiento, innovación y competitividad.
E. El nivel de inversiones e innovaciones llevadas a cabo y las fortalezas y debilidades detectadas reclaman abordar la evaluación con una perspectiva que permita detectar las carencias y aplicar las medidas correctoras adecuadas.
Entre las motivaciones de carácter específico hay que citar las siguientes:
a. La necesidad de situar la FPR a la luz del conjunto del sistema educativo y de la normativa específica, considerando las preferencias formativas de los ciudadanos, las demandas del mercado de trabajo, la coherencia entre los estudios realizados y el puesto de trabajo y los objetivos de cohesión social de la formación.
b. La necesidad de hacer un análisis de la situación del sistema de la FPR en cuanto a su estructura, organización y gestión, con el fin de mejorarlo y hacerlo más eficaz y eficiente.
c. La conveniencia de ofrecer al profesorado reflexiones, orientaciones, pautas e informaciones que le permitan mejorar su actuación pedagógico-docente y contribuyan a su actualización conceptual y metodológica.
d. La necesidad de ofrecer al alumnado elementos de reflexión y análisis sobre la formación que están recibiendo, como herramienta que contribuya a su inserción profesional.
e. La necesidad de integrar de manera efectiva la formación profesional de los ciclos formativos de grado medio en el marco de los sistemas formativos de la Unión Europea.
f. La necesidad de integrar de manera efectiva la formación profesional de grado superior en el marco de la educación superior.
g. El interés de dar pasos decididos hacia la integración de la enseñanza profesional en el marco de la formación permanente.
Tipología, objetivos y contenidos de la evaluación
Conviene señalar que la evaluación afectará al conjunto de centros de Cataluña donde se imparte FPR, los de titularidad pública y los de titularidad privada, cada uno en el marco de su contexto general y específico de referencia.
La evaluación de la FPR que se llevará a cabo hay que entenderla en un sentido múltiple: se trata de una evaluación ex-post, dado que afecta a un determinado periodo temporal pasado; de una evaluación de producto, incidiendo sobre el análisis de los resultados y de los efectos en relación con los objetivos asignados a la FPR y sobre el impacto en el contexto socioeconómico; y de una evaluación de proceso, al valorar aspectos que afectan al entorno, la estructura, la calidad y los recursos de la Formación Profesional Reglada. Por otra parte, la evaluación tendrá también un carácter prospectivo, ya que analizará las tendencias de futuro y el camino a seguir a fin de que la FPR responda a los objetivos que le son asignados y a los nuevos retos que puedan planteársele.
De manera resumida, la evaluación se centrará en dar respuesta a unos objetivos y contenidos generales, propios de un sistema educativo, y otros específicos de la formación profesional. Entre los primeros, destacamos: detectar los puntos fuertes y débiles del sistema, como factor educativo y como instrumento de inserción laboral; efectuar el diagnóstico de la situación del sistema y determinar su impacto en términos cualitativos y cuantitativos; informar a la sociedad sobre la calidad del sistema; realizar una acción prospectiva detectando tendencias a medio y largo plazo.
Como objetivos y contenidos específicos, señalamos los siguientes: evaluar el grado de cumplimiento de las finalidades que política, económica y socialmente se asignan a la FPR; analizar la percepción social sobre el sistema; valorar la estructura, organización y gestión de la FPR, tanto a escala macro (normativa, administración y gestión política, relación y respuesta a las demandas y necesidades del sistema social y económico), como micro (centros, estructura de gestión, profesorado, alumnado, recursos, titulados, formación en centros de trabajo, inserción e itinerario profesional de los titulados, relación entre capacidades, competencias y puesto de trabajo ocupado, categoría salarial, tipo de contratación, itinerario formativo una vez conseguida la titulación…); establecer un sistema de indicadores ad hoc que permita evaluar sistemática y cíclicamente el sistema de FPR (“barómetro de la FPR”); comparar la situación de la formación profesional de Cataluña con la del resto de España y algunos países de la OCDE, en cuanto a objetivos, contenidos, estructuras, profesorado, alumnado y recursos.
Criterios e indicadores de evaluación
De conformidad con los estándares de evaluación comúnmente utilizados por los principales organismos e instituciones internacionales (Naciones Unidas, OCDE, Unió Europea), la evaluación de la FPR de Cataluña pondrá el énfasis en cinco criterios: pertinencia, eficacia, eficiencia, impacto y sostenibilidad.
Estos criterios están en relación directa con los objetivos generales y específicos referidos más arriba y responden a la estructura lógica del diagrama siguiente:
- La pertinencia hace referencia principalmente a la concepción del sistema de FPR. Dicho de otra manera, la pertinencia mide la adecuación del conjunto del sistema a los objetivos que le están asignados por la normativa, las demandas económicas, las necesidades sociales. Los principales indicadores a aplicar se establecerán con relación a las normas de ordenación del sistema (ley marco del sistema, legislación específica y sectorial) y a las “agendas” socioeconómicas (objetivos de Lisboa, acuerdos para la competitividad de la economía catalana, planes de empleo, objetivos de cohesión social).
- La eficiencia cuantifica el logro de los resultados en relación con una adecuada combinación de las actividades realizadas y de los recursos destinados. Esta valoración, que ha de ser cualitativa y cuantitativa, tiene en cuenta, principalmente, los recursos financieros, los recursos humanos, los recursos materiales y los organizativos.
- La eficacia medirá la correspondencia entre el logro de los objetivos y los resultados con las necesidades y expectativas políticas, sociales y económicas puestas en la FPR, sin considerar los costes tenidos para conseguirlos. En este ámbito se considerarán indicadores como el modelo de centro, la capacidad de innovación y de incorporación de nuevas tendencias, la capacidad de adaptación al entorno social y económico, la relación entre la oferta y la demanda formativa, el valor añadido del logro del éxito académico, la percepción que de la FPR tienen los diferentes agentes que participan en ella…
- El impacto permitirá valorar los resultados del sistema de formación profesional en relación con la satisfacción de las necesidades y demandas de los titulados y de las empresas, las expectativas sociales y económicas y los objetivos políticos. Ha de servir, entre otras conclusiones posibles, para clarificar qué es necesario mantener, reformular o bien dar por finalizado del sistema. Los bloques de indicadores a analizar son, principalmente, la creación de competencias, la formación en centros de trabajo, la inserción laboral del alumnado, la transferencia de saberes y tecnología, la distribución territorial de la formación profesional y la relación entre la FPR, la universidad y la formación continua. Un aspecto importante del análisis de impacto será valorar los resultados desde la óptica del principio de causalidad.
- Finalmente, la aplicación del criterio de sostenibilidad permitirá medir si los resultados positivos de la FPR son susceptibles de continuidad y mejora tanto a escala cualitativa como cuantitativa, a medio y largo plazo, en lo que se refiere a los recursos necesarios a emplear, en relación con la mejora del nivel de empleo y su calidad, en cuanto a las posibilidades de innovación…
Prospección del futuro de la formación profesional
En toda evaluación de sistema es imprescindible dedicar una acción específica a explorar el territorio en el que previsiblemente se desarrollará su futuro y construir posibles escenarios para la acción. Este análisis prospectivo deberá promover una filosofía, unos conceptos, unos métodos y un campo de actuación en el cual los actores de la formación profesional reglada pueden devenir agentes principales, conciliando el desarrollo de la ciencia y la tecnología con las exigencias de progreso social y económico. Ello podrá propiciar conclusiones que orienten la toma de decisiones que contribuyan a la mejora de una formación profesional con una alta capacidad de cualificación y de integración social, flexible y adaptable a los cambios.
Este análisis prospectivo deberá realizarse tomando como referente temporal un mínimo de diez años y sobre la base de diferentes escenarios generados por, entre otros: los cambios sociales y demográficos, el contexto de la economía mundial, nacional y local, los cambios tecnológicos, laborales y ocupacionales, las novedades legislativas en el ámbito educativo, las innovaciones en la organización del trabajo y de la producción, las competencias requeridas por el trabajo, la satisfacción de necesidades de formación del profesorado, la mejora de los sistemas de acceso y progresión en la formación profesional de las personas con características específicas (por razón de género, condición, formación previa…).
A modo de conclusión
En el momento de realizar la evaluación de la formación profesional reglada de Cataluña, no disponemos de información suficiente para efectuar una evaluación omnicomprensiva. Por ello, ha sido necesario marcar límites a la evaluación, escogiendo y priorizando algunos de los indicadores y teniendo en cuenta también los objetivos e intereses del sistema educativo, así como las necesidades y los intereses sociales y económicos. Siempre sobre la base de los objetivos, contenidos, criterios e indicadores de evaluación anteriormente expuestos.
Pese a esta limitación, está contrastada la capacidad de incidencia y el papel estratégico de la evaluación en la transformación de los sistemas y, por supuesto, así deberá ser en cuento al sistema educativo. En nuestro caso, es de resaltar la importancia que tendrá para el sistema de formación profesional reglada su evaluación en el ámbito catalán, identificando resultados y problemáticas, brindando pautas para la actuación en política educativa, contribuyendo al reconocimiento social y económico del propio sistema, ofreciendo orientaciones a las personas interesadas en realizar estudios de formación profesional inicial o permanente.
Eficacia, calidad y equidad son tres características básicas, de orden socioeconómico, que la ciudadanía de los países democráticos demanda a las políticas públicas; características a las que también ha de responder, obviamente, la política educativa. Asimismo, la calidad de los sistemas de formación, educativa o profesional, ha de considerar también criterios de orden pedagógico (la capacidad del sistema de desarrollar de manera equilibrada los diferentes saberes) y conativo (la capacidad del sistema para crear una relación directa entre lo aprendido y la capacidad de actuar). Todas estas características, consideradas de manera dinámica y transformadora, han de hacer de la educación y de la formación instrumentos de desarrollo y cohesión social.
Para dar respuesta a la demanda ciudadana es necesario establecer dispositivos que evalúen la política educativa y que midan el impacto del sistema educativo con la finalidad de rendir cuentas a la sociedad. En este sentido, el informe elaborado hace unos años para la UNESCO por la Comisión Internacional sobre Educación para el siglo XXI, conocido como Informe Delors , afirma que “la evaluación de la educación ha de ser concebida en sentido amplio. No tiene como objetivo único la oferta educativa y los métodos de enseñanza, sino también la financiación, la gestión, la orientación general y la consecución de objetivos a largo plazo”.
Asimismo, la evaluación de las políticas y de los servicios públicos es una necesidad política, de gestión y de mejora, relacionada con la extensión del principio de gobernanza definido por la Comisión Europea (2001) como el "conjunto de normas, procesos y comportamientos que afectan a la calidad del ejercicio de los poderes, en particular, la legitimidad, la transparencia, la coherencia, la eficacia y la eficiencia" .
La evaluación de los sistemas educativos ha de tener, pues, una perspectiva sistémica y ha de ser concebida con un doble propósito: ha de servir como instrumento de control – la sociedad quiere conocer los objetivos de la educación, los esfuerzos y recursos invertidos en ella y los rendimientos que se obtiene – y también como instrumento de mejora del sistema y de sus resultados, que se han de traducir en una mayor calidad educativa.
El sistema y los “subsistemas” de formación profesional españoles
Con el fin de delimitar el alcance de la evaluación a que nos vamos a referir, consideramos interesante hacer una pequeña aclaración sobre la estructura del sistema de formación profesional español, dado que padece un problema conceptual y puede dar lugar a confusiones. Desde hace años, utilizamos una clasificación del sistema en subsistemas únicamente para marcar el terreno de la propiedad de destinatarios y de los recursos públicos que le son destinados. Aunque ha habido múltiples ocasiones para deshacer el entuerto , no se ha querido tocar el tema porque significa tocar bolsillos, competencias y, por tanto, poderes.
Así, pues, el sistema de formación profesional español se divide en tres subsistemas: formación profesional reglada (FPR), también llamada inicial, formación profesional ocupacional (FPO) y formación profesional continua (FPC). Esta clasificación más que responder a una estructuración pedagógica es un mero mecanismo de subdivisión de un conjunto de acciones que han de estar íntimamente relacionadas. Por otro lado, el concepto de ocupacional puede aplicarse tanto a la formación reglada como a la continua y, a su vez, no toda la formación profesional es ocupacional. Sin embargo, el valor de formación permanente que contiene la formación profesional continua le confiere a ésta un carácter pedagógico, reglado.
Así, pues, cuando aquí nos referimos a la formación profesional reglada de Cataluña, estamos indicando aquella formación para la profesión que se realiza en un medio escolar. Aquella formación que prepara para el empleo de manera inicial, dado que, por un lado, las necesidades de cualificación son cada vez más fluctuantes, más “de empresa”, y que, por otro lado, las soluciones a medio y largo plazo han de venir evidentemente de la formación continua.
Conveniencia y oportunidad de la evaluación de la FPR
La generalización del sistema actual de FPR en Cataluña se produjo el curso 2001-2002, en aplicación de la Ley de Ordenación General del Sistema Educativo (LOGSE). Se trata de un periodo temporal de funcionamiento que podemos considerar corto, pero razonable, para evaluar el grado de éxito o fracaso de los diferentes factores que conforman el sistema. Ahora bien, el sistema español de formación profesional reglada arranca de la Ley de Educación de 1970 y, hasta el momento, no se ha producido una evaluación del conjunto de dicho sistema, aunque desde hace unos años se realizan sistemáticamente evaluaciones parciales, casi siempre destinadas a valorar la transición de la escuela al trabajo .
Por otra parte, existen razones de interés social, económico y educativo que hacen necesaria, hoy más que nunca, una evaluación de la formación profesional del sistema educativo que lo analice en su globalidad y que sirva para relacionarla con el progreso económico y social del país. De estas motivaciones, unas son de carácter general y, otras, específico.
Entre las motivaciones de carácter general a las cuales tiene que responder la evaluación de la formación profesional del sistema educativo, señalamos las siguientes :
A. La necesidad de crear una cultura de la evaluación como instrumento para la mejora continua, la estimulación de la transparencia y la rendición de cuentas, que repercuta, en el funcionamiento positivo del sistema.
B. La necesidad de considerar la diversidad y la heterogeneidad de las ópticas con las cuales se mira la formación profesional. Por una parte, la óptica política que la contempla, principalmente, desde el funcionamiento institucional; por otra, la óptica social que se centra en los resultados de la acción formativa y en su adecuación a las demandas de inserción laboral; y, en tercer lugar, la óptica económico-empresarial que considera, sobre todo, la utilidad de los aprendizajes y el dominio de las competencias adquiridas.
C. La necesidad de aumentar las tasas de escolarización en formación profesional y el volumen de graduados como instrumento para la mejora de la competitividad, tanto en términos cualitativos como cuantitativos, en el marco de una economía basada en el conocimiento.
D. La conveniencia de valorar la creación y la adquisición de competencias sociales y laborales como punto de encuentro entre el mundo del trabajo y la sociedad con el mundo educativo y como elementos de mejora del capital humano, fuente principal de conocimiento, innovación y competitividad.
E. El nivel de inversiones e innovaciones llevadas a cabo y las fortalezas y debilidades detectadas reclaman abordar la evaluación con una perspectiva que permita detectar las carencias y aplicar las medidas correctoras adecuadas.
Entre las motivaciones de carácter específico hay que citar las siguientes:
a. La necesidad de situar la FPR a la luz del conjunto del sistema educativo y de la normativa específica, considerando las preferencias formativas de los ciudadanos, las demandas del mercado de trabajo, la coherencia entre los estudios realizados y el puesto de trabajo y los objetivos de cohesión social de la formación.
b. La necesidad de hacer un análisis de la situación del sistema de la FPR en cuanto a su estructura, organización y gestión, con el fin de mejorarlo y hacerlo más eficaz y eficiente.
c. La conveniencia de ofrecer al profesorado reflexiones, orientaciones, pautas e informaciones que le permitan mejorar su actuación pedagógico-docente y contribuyan a su actualización conceptual y metodológica.
d. La necesidad de ofrecer al alumnado elementos de reflexión y análisis sobre la formación que están recibiendo, como herramienta que contribuya a su inserción profesional.
e. La necesidad de integrar de manera efectiva la formación profesional de los ciclos formativos de grado medio en el marco de los sistemas formativos de la Unión Europea.
f. La necesidad de integrar de manera efectiva la formación profesional de grado superior en el marco de la educación superior.
g. El interés de dar pasos decididos hacia la integración de la enseñanza profesional en el marco de la formación permanente.
Tipología, objetivos y contenidos de la evaluación
Conviene señalar que la evaluación afectará al conjunto de centros de Cataluña donde se imparte FPR, los de titularidad pública y los de titularidad privada, cada uno en el marco de su contexto general y específico de referencia.
La evaluación de la FPR que se llevará a cabo hay que entenderla en un sentido múltiple: se trata de una evaluación ex-post, dado que afecta a un determinado periodo temporal pasado; de una evaluación de producto, incidiendo sobre el análisis de los resultados y de los efectos en relación con los objetivos asignados a la FPR y sobre el impacto en el contexto socioeconómico; y de una evaluación de proceso, al valorar aspectos que afectan al entorno, la estructura, la calidad y los recursos de la Formación Profesional Reglada. Por otra parte, la evaluación tendrá también un carácter prospectivo, ya que analizará las tendencias de futuro y el camino a seguir a fin de que la FPR responda a los objetivos que le son asignados y a los nuevos retos que puedan planteársele.
De manera resumida, la evaluación se centrará en dar respuesta a unos objetivos y contenidos generales, propios de un sistema educativo, y otros específicos de la formación profesional. Entre los primeros, destacamos: detectar los puntos fuertes y débiles del sistema, como factor educativo y como instrumento de inserción laboral; efectuar el diagnóstico de la situación del sistema y determinar su impacto en términos cualitativos y cuantitativos; informar a la sociedad sobre la calidad del sistema; realizar una acción prospectiva detectando tendencias a medio y largo plazo.
Como objetivos y contenidos específicos, señalamos los siguientes: evaluar el grado de cumplimiento de las finalidades que política, económica y socialmente se asignan a la FPR; analizar la percepción social sobre el sistema; valorar la estructura, organización y gestión de la FPR, tanto a escala macro (normativa, administración y gestión política, relación y respuesta a las demandas y necesidades del sistema social y económico), como micro (centros, estructura de gestión, profesorado, alumnado, recursos, titulados, formación en centros de trabajo, inserción e itinerario profesional de los titulados, relación entre capacidades, competencias y puesto de trabajo ocupado, categoría salarial, tipo de contratación, itinerario formativo una vez conseguida la titulación…); establecer un sistema de indicadores ad hoc que permita evaluar sistemática y cíclicamente el sistema de FPR (“barómetro de la FPR”); comparar la situación de la formación profesional de Cataluña con la del resto de España y algunos países de la OCDE, en cuanto a objetivos, contenidos, estructuras, profesorado, alumnado y recursos.
Criterios e indicadores de evaluación
De conformidad con los estándares de evaluación comúnmente utilizados por los principales organismos e instituciones internacionales (Naciones Unidas, OCDE, Unió Europea), la evaluación de la FPR de Cataluña pondrá el énfasis en cinco criterios: pertinencia, eficacia, eficiencia, impacto y sostenibilidad.
Estos criterios están en relación directa con los objetivos generales y específicos referidos más arriba y responden a la estructura lógica del diagrama siguiente:
- La pertinencia hace referencia principalmente a la concepción del sistema de FPR. Dicho de otra manera, la pertinencia mide la adecuación del conjunto del sistema a los objetivos que le están asignados por la normativa, las demandas económicas, las necesidades sociales. Los principales indicadores a aplicar se establecerán con relación a las normas de ordenación del sistema (ley marco del sistema, legislación específica y sectorial) y a las “agendas” socioeconómicas (objetivos de Lisboa, acuerdos para la competitividad de la economía catalana, planes de empleo, objetivos de cohesión social).
- La eficiencia cuantifica el logro de los resultados en relación con una adecuada combinación de las actividades realizadas y de los recursos destinados. Esta valoración, que ha de ser cualitativa y cuantitativa, tiene en cuenta, principalmente, los recursos financieros, los recursos humanos, los recursos materiales y los organizativos.
- La eficacia medirá la correspondencia entre el logro de los objetivos y los resultados con las necesidades y expectativas políticas, sociales y económicas puestas en la FPR, sin considerar los costes tenidos para conseguirlos. En este ámbito se considerarán indicadores como el modelo de centro, la capacidad de innovación y de incorporación de nuevas tendencias, la capacidad de adaptación al entorno social y económico, la relación entre la oferta y la demanda formativa, el valor añadido del logro del éxito académico, la percepción que de la FPR tienen los diferentes agentes que participan en ella…
- El impacto permitirá valorar los resultados del sistema de formación profesional en relación con la satisfacción de las necesidades y demandas de los titulados y de las empresas, las expectativas sociales y económicas y los objetivos políticos. Ha de servir, entre otras conclusiones posibles, para clarificar qué es necesario mantener, reformular o bien dar por finalizado del sistema. Los bloques de indicadores a analizar son, principalmente, la creación de competencias, la formación en centros de trabajo, la inserción laboral del alumnado, la transferencia de saberes y tecnología, la distribución territorial de la formación profesional y la relación entre la FPR, la universidad y la formación continua. Un aspecto importante del análisis de impacto será valorar los resultados desde la óptica del principio de causalidad.
- Finalmente, la aplicación del criterio de sostenibilidad permitirá medir si los resultados positivos de la FPR son susceptibles de continuidad y mejora tanto a escala cualitativa como cuantitativa, a medio y largo plazo, en lo que se refiere a los recursos necesarios a emplear, en relación con la mejora del nivel de empleo y su calidad, en cuanto a las posibilidades de innovación…
Prospección del futuro de la formación profesional
En toda evaluación de sistema es imprescindible dedicar una acción específica a explorar el territorio en el que previsiblemente se desarrollará su futuro y construir posibles escenarios para la acción. Este análisis prospectivo deberá promover una filosofía, unos conceptos, unos métodos y un campo de actuación en el cual los actores de la formación profesional reglada pueden devenir agentes principales, conciliando el desarrollo de la ciencia y la tecnología con las exigencias de progreso social y económico. Ello podrá propiciar conclusiones que orienten la toma de decisiones que contribuyan a la mejora de una formación profesional con una alta capacidad de cualificación y de integración social, flexible y adaptable a los cambios.
Este análisis prospectivo deberá realizarse tomando como referente temporal un mínimo de diez años y sobre la base de diferentes escenarios generados por, entre otros: los cambios sociales y demográficos, el contexto de la economía mundial, nacional y local, los cambios tecnológicos, laborales y ocupacionales, las novedades legislativas en el ámbito educativo, las innovaciones en la organización del trabajo y de la producción, las competencias requeridas por el trabajo, la satisfacción de necesidades de formación del profesorado, la mejora de los sistemas de acceso y progresión en la formación profesional de las personas con características específicas (por razón de género, condición, formación previa…).
A modo de conclusión
En el momento de realizar la evaluación de la formación profesional reglada de Cataluña, no disponemos de información suficiente para efectuar una evaluación omnicomprensiva. Por ello, ha sido necesario marcar límites a la evaluación, escogiendo y priorizando algunos de los indicadores y teniendo en cuenta también los objetivos e intereses del sistema educativo, así como las necesidades y los intereses sociales y económicos. Siempre sobre la base de los objetivos, contenidos, criterios e indicadores de evaluación anteriormente expuestos.
Pese a esta limitación, está contrastada la capacidad de incidencia y el papel estratégico de la evaluación en la transformación de los sistemas y, por supuesto, así deberá ser en cuento al sistema educativo. En nuestro caso, es de resaltar la importancia que tendrá para el sistema de formación profesional reglada su evaluación en el ámbito catalán, identificando resultados y problemáticas, brindando pautas para la actuación en política educativa, contribuyendo al reconocimiento social y económico del propio sistema, ofreciendo orientaciones a las personas interesadas en realizar estudios de formación profesional inicial o permanente.
Suscribirse a:
Entradas (Atom)