Evaluación de políticas públicas
(Curso Académico 2023 - 2024)

Mostrar Todo Ocultar Todo

• CG3 - Conocer y adoptar herramientas para la toma de decisiones en el ámbito social, económico y de evaluación de las políticas públicas
• CG4 - Conocer y aplicar programas de análisis de datos que permitan analizar y resolver cuestiones complejas en el ámbito de las ciencias sociales

• CB6 - Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación
• CB7 - Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio
• CB8 - Que los estudiantes sean capaces de integrar conocimientos y enfrentarse a la complejidad de formular juicios a partir de una información que, siendo incompleta o limitada, incluya reflexiones sobre las responsabilidades sociales y éticas vinculadas a la aplicación de sus conocimientos y juicios

• T1 - Ser capaz de liderar equipos, promoviendo el libre intercambio de ideas y experiencias, la búsqueda de soluciones y el compromiso con la excelencia

• CE1 - Comprender la relevancia del uso de métodos cuantitativos y cualitativos rigurosos para resolver problemas complejos en Ciencias Sociales.
• CE10 - Evaluar y analizar programas y políticas públicas en ciencias sociales

La asignatura consta de 6 bloques. Un primer bloque de introducción y motivación de los métodos de evaluación de políticas (efectos o impactos del tratamiento y causalidad; el problema del contrafactual, los grupos de control y de tratamiento, etc.). El bloque II introduce los experimentos aleatorizados de evaluación de políticas en Ciencias Sociales. El
Bloque III se centra en los métodos de selección en observables (método de emparejamiento o matching). El Bloque IV y V se adentra en los métodos cuasi-experimentales (estimador de Diferencias en Diferencias; experimentos naturales, control sintético, etc.). El Bloque VI tiene otro enfoque, y se centra en métodos cualitativos y pàrticipativos (planificación, desarrollo de escenarios, procesos participativos, evaluación de la implementación y de la calidad, etc.).

Profesor: Carlos Bethencourt (colaboración Gabriela Sicilia y Álvaro Choi)
Bloque I. Introducción a conceptos de evaluación de políticas públicas
I.1  Tipos de evaluación de políticas
I.2  La evaluación de impacto. El problema de la causalidad.
I.3  El Modelo de Outputs Potenciales (POM).
I.4  El problema del contrafactual. El problema de selección.
I.5  Identificación en observables y en no observables.
I.6  Efectos heterogéneos.

Profesor: Carlos Bethencourt (colaboración Gabriela Sicilia y Álvaro Choi)
Bloque II. Experimentos sociales aleatorizados
II.1 Contraste de hipótesis. Asignación aleatoria. Balance de covariables.
II.2 Tamaño de muestra, cálculo de poder estadístico.
II.3 Validación interna y externa.

Profesor: Gustavo A. Marrero (colaboración Gabriela Sicilia, Álvaro Choi y Angel S. Marrero)
Bloque III. Selección en observables
III.1  Grafos causales (DAGs).
III.2  Estimadores de matching. PSM.
III.3 Regresión.

Profesor: Gustavo A. Marrero (colaboración Gabriela Sicilia, Álvaro Choi y Angel S. Marrero)
Bloque IV. Métodos cuasi-experimentales I
IV.1  Regresiones en presencia de inobservables.
IV.2  Variables Instrumentales (IV). Supuestos de identificación. Estimador LATE.
IV.3  Regresión en discontinuidad (RD). Supuestos de identificación. Sharp y fuzzy regression.

Profesor: Gustavo A. Marrero (colaboración Gabriela Sicilia, Álvaro Choi y Angel S. Marrero)
Bloque V. Métodos cuasi-experimentales II
V.1  El experimento natural.
V.2  Efectos fijos individuales.
V.3  Diferencias en Diferencias. Supuestos de identificación.
V.4  El control sintético.

Profesora: Miriam Álvarez
Bloque VI. Aproximación a la evaluación de políticas públicas desde metodologías cualitativas y participativas.
VI.1 Introducción de las metodologías cualitativas en la evaluación de políticas públicas.
VI.2 Aplicación de las metodologías participativas en la evaluación de política públicas.



 

- Las clases teóricas de la asignatura se centran en la exposición, explicación y razonamiento de los temas de la asignatura, complementado con indicaciones acerca de fuentes de información, bibliografía y claves de análisis. Las clases teóricas no se conciben como un monólogo del profesor, más bien como un escenario en el que debate y la discusión a partir de los textos recomendados debe también estar presente para construir continuamente el conocimiento durante el proceso de aprendizaje. 

- Las clases prácticas de aula (en salas de informática) persiguén que el alumnado sea protagonista, y que el aprendizaje esté centrado en el alumnado. La gran mayoría de estas clases de centrarán en el desarrollo de casos prácticos (con datos reales) que, además de para reforzar los conceptos desarrollados en las clases teóricas, servirán al alumnado para preparar y desarrollar los casos prácticos que serán evaluados. 

- El trabajo autónomo del estudiantado (ya sea individual o en grupo) integra todas las actividades destinadas a reforzar y complementar los contenidos indicados en el aula, mediante estudio personal, trabajo en biblioteca, búsquedas de información en bases de datos, Internet, prensa escrita o digital, etc. Muy especialmente, el alumnado tendrá que desarrollar e interpretar los resultados de los casos prácticos que se les mande para trabajar fuera del aula. Este trabajo se incentivará que se realice de manera colaborativa, pero su ejecución final y su plasmación en un documento (en un ensayo) deberá ser individual. 

- La exposición y debate de trabajos realizados de forma individual ayudarán al alumnado a sintetizar y a defender los resultados alcanzados en los casos prácticos. 

- Las actividades de tutoría tienen como función retroalimentar el aprendizaje de los estudiantes, proporcionando orientación y supervisión para garantizar su progreso hacia los objetivos previstos y promoviendo su implicación y creatividad. 

- La evaluación es el proceso de análisis y cuantificación en una escala del aprendizaje del alumnado, teniendo en cuenta sus intervenciones en el aula así como un conjunto de pruebas orales o escritas, así como trabajos u actividades. 

Actividades formativas	Horas presenciales	Horas de trabajo autónomo	Total horas	Relación con competencias
Clases teóricas. Aprendizaje presencial en el aula, liderada por el profesorado y que se desarrolla en grupo	14,00	0,00	14,0	[CE10], [CE1], [CB8], [CG4], [CG3]
Trabajo autónomo del alumnado. Preparación y estudio de contenidos teóricos y prácticos, que pueden incluir actividades online de apoyo y casos prácticos con datos reales	0,00	26,00	26,0	[CE10], [CE1], [CB8], [CB7], [CB6], [CG4], [CG3]
Clases prácticas. Aprendizaje presencial en el aula con elaboración y resolución de problemas y ejercicios prácticos, la mayoría con ordenador	12,00	0,00	12,0	[CE10], [CE1], [T1], [CB8], [CB7], [CB6], [CG4], [CG3]
Exposición, defensa y debate de trabajos realizados en grupo o de forma individual	1,00	0,00	1,0	[CE10], [CE1], [T1], [CG4], [CG3]
Trabajo en grupo o individual. Preparación y realización de trabajos en grupo (aprendizaje cooperativo) y/o de forma individual, usando paquetes informáticos de análisis cuantitativo, cualitativo y de uso de datos	0,00	10,00	10,0	[T1], [CB6], [CG4], [CG3]
Tutorías programadas con el tutor o tutora académico	1,00	1,00	2,0	[CE10], [CE1], [CB8]
Evaluación. Preparación y evaluación de exámenes y/o pruebas de evaluación	2,00	8,00	10,0	[CE10], [CE1], [T1]
Total horas
Total ECTS

Angrist, J. D., & Pischke, J. S. (2014). Mastering' metrics: The path from cause to effect. Princeton University Press.
Angrist, J. D. and J. S. Pischke (2009), Mostly Harmless Econometrics: An Empiricist Companion. Princeton University Press.
Khandker, S., B. Koolwal, G., & Samad, H. (2009). Handbook on impact evaluation: quantitative methods and practices. The World Bank.
Patton, M. Q. (2003). Qualitative Research & Evaluation Methods. 3rd edition. Sage.

Athey, S., & Imbens, G. W. (2017). The state of applied econometrics: Causality and policy evaluation. Journal of Economic Perspectives, 31(2), 3-32.
Cordoncillo, C. (2022). La incorporación de la participación en la evaluación de políticas públicas. Ivàlua.
Creswell, J. (2013). Qualitative Inquiry and Research Design: Choosing Among Five Approaches. 3rd edition. Sage.
Cunningham, G. (2021). Causal Inference. The Mixtape. Yale University Press.
Duflo, E., R. Glennerster and M. Kremer (2008), “Using Randomization in Development Economics Research: A Toolkit," in T.P. Schultz and J.A. Strauss eds. Handbook of Development Economics, vol. 4. New York: Elsevier Science.
Guyadeen, D. y Seasons, M. (2016). Plan evaluation: Challenges and directions for future research. Planning Practice & Research, 31(2), 215-228.
Imbens, G.W. and J.M. Wooldridge (2009) “Recent Developments in the Econometrics of Program Evaluation", Journal of Economic Literature, vol. 47(1), 5-86.
Morgan, S. L., & Winship, C. (2007). Counterfactuals and causal analysis: Methods and principles for social research. Cambridge University Press.
Rossi, P. H., Lipsey, M. W. y Henry, G. T. (2018). Evaluation: A systematic approach. Sage publications.
Sanz, J. (2011). La metodología cualitativa en la evaluación de políticas públicas. Ivàlua.
Yin, R. (2011). Qualitative Research from Start to Finish. Guilford Press.

La evaluación del rendimiento del estudiantado en la asignatura se realizará mediante evaluación continua (EvC). También se configura la modalidad de evaluación única (EvU) como una opción alternativa. Dado el alto contenido práctico de la asignatura, se aconseja que el alumnado opte por la EvC.

I. La Evaluación Continua (EvC)
La EvC se basa en la combinación de distintos tipos de actividades o pruebas que están relacionadas con las competencias, conocimientos y resultados de aprendizaje de la asignatura. Cada una de las pruebas de evaluación continua tiene un peso inferior al 50% de la calificación final. 

Criterios mínimos
- Criterios de asistencia: La asistencia a clase es obligatoria. Se exige que la asistencia sea de, al menos, el 75%. Si falta menos de un 25%, no tendría que justificar las faltas. En caso contrario, las faltas tendrían que estar debidamente justificadas (enfermedad, cuidado personas enfermas, y otros motivos de necesidad y obligatoriedad que tengan un carácter puntual). La justificación ha de hacerse en la semana siguiente de la misma.
- Entrega de casos prácticos: se ha de entregar todos los casos prácticos.
- Calificación mínima en cada prueba: se ha de obtener al menos 3.5 puntos sobre 10 en cada una de las pruebas evaluativas realizadas. 

De no cumplir alguno de estos requisitos mínimos, la calificación final de la EvC no podrá superar los 4,5 puntos. Si incumple estas condiciones, a pesar de que la puntuación total pudiera superar los 5.0 puntos, la calificación final de la asignatura sería de 4,5. En estos casos, sólo se tendrá la opción de la Evaluación Única. 

Se establece el último día de docencia del cuatrimestre como fecha límite para la comunicación de los resultados de las actvidades de EvC, exceptuando la evaluación derivada de la entrega de casos prácticos y de la última prueba siempre que estas estuvieran incuidas dentro del periodo de exámenes del calendario académico.

La EvC consta de las siguientes pruebas:
1.- Prueba objetiva: Preguntas tipo test de respuesta múltiple, con cuatro alternativas, descontando cada tres errores el equivalente a una respuesta correcta. Sobre los bloques I, II y III, durante la segunda semana de clase, se realizará una prueba tipo test sobre conceptos básicos (entre 10 y 20 preguntas). El peso total es del 25% de la nota final (2.5 punto sobre 10) y está igualmente distribuido entre los tres primeros bloques (1/3 cada uno). 
2.- Resolución de casos prácticos (individual o grupal), usando ordenador con datos reales o simulados. Al comienzo de la asignatura se plantearán un conjunto de casos prácticos (3 en el caso de esta asignatura, bloques IV, V y VI). El desarrollo puede ser grupal, pero la entrega tiene que ser individual. Si fuera pertinente, también se exigirá la entregar del código para poder replicar los resultados obtenidos ("código de replicación"). El límite de entrega de estos casos prácticos será de dos semanas posteriores de la finalización de la docencia de la asignatura. La ponderación final de estas pruebas es del 40% (4 puntos sobre 10) de la nota total, y está distribuido de la siguiente manera: 1.5 puntos bloque IV; 1.5 puntos bloque V; 1.0 puntos bloque VI.  
3.- Pruebas de respuesta corta. Desarrollo por escrito de preguntas en un espacio limitado, basado en los conceptos más relevantes explicados en las clases teóricas y, especialmente, en los casos prácticos. Se valorará especialmente la conexión de las respuestas con los casos prácticos, reflexiones sobre los resultados y sus implicaciones y posibles extensiones. Cada caso práctico contará con un conjunto de preguntas cortas, que tendrán que desarrollar y entregar junto a los casos prácticos. Puntuación: 20% (2 sobre 10), y está igualmente distribuida entre los 3 casos prácticos (1/3 cada uno). 
4.- Presentación y exposición de una parte de un caso práctico. A partir de los casos prácticos del bloque IV y V, cada alumno tendrá que elaborar un poster (una página resumen, con los aspectos más importates) que tendrá que ser defendida ante el profesor y el resto del alumnado durante aproximadamente 5 o 10 minutos. Se realizará una vez se hayan entregado los casos prácticos, y la fecha exacta será fijada por el profesor, una vez haya finalizado la docencia de la especialidad (entre las semanas 11 y 13). La ponderación final de estas pruebas es del 15% (1.5 puntos sobre 10) de la nota total. 

Condiciones para mantener las notas de la EvC
Los/as alumnos/as que no hayan superado la EvC en la primera convocatoria, podrán mantener las notas de la EvC (total o parcialmente) para las siguientes convocatorias (inlucida la de marzo del siguinete año) en los siguientes casos: 
a.- el estudiante haya asistido al menos al 75 % de las clases (teniendo en cuenta las faltas debidamente justificadas).
b.- el estudiante haya entregado todos los casos prácticos.
c.- Sólo se mantendrá la nota de aquellos actividades evaluativas (casos prácticos, preguntas cortas, etc.) que hayan sido superados (hayan sacado un 5.0 sobre 10.0).

Convocatoria agotada en la EvC
En caso de la EvC, se entenderá que una convocatoria está agotada (es decir, el alumno figurará como presentado con la nota correspondiente) desde que el alumnado se presente, al menos, a las actividades cuya ponderación compute el 75% de la evaluación continua (incluyendo el porcentaje considerado en el examen final). En caso contrario será calificado en el acta con un “No presentado”.
 
Renuncia de la evaluación continua
Se podrá renunciar a la EvC (y optar así a la EvU sin que corra convocatoria) siempre que se comunique a través del procedimiento habilitado en el aula virtual antes de haberse presentado a las actividades que computen menos del 75% de la EvC. Este límite de tiempo se aplicará salvo por circunstancias sobrevenidas (p. ej., enfermedad grave, accidente o incompatibilidad con la jornada laboral con carácter puntual), en cuyo caso las solicitudes se podrán admitir con posterioridad. 
 
II. Evaluación Única (EvU)
En caso de no cumplir los requisitos de la EvC, el alumnado tendrá que someterse al método de evaluación única. También podrá optar a esta evaluación si renuncia a la evaluación continua según lo expuesto anteriormente. Al ser la asignatura eminentemente práctica, en la evaluación única se tendrá en cuenta la evaluación de los casos prácticos realizadas durante la evaluación continua siempre y cuando hayan sido superadas (nota superior a un 5.0 sobre 10 en cada caso). En caso de no haber sido superadas, el estudiantado deberá realizar la evaluación única que consistirá en 2 partes:
 
1.- entrega de los casos prácticos que no haya superado durante el curso, de forma individual y en documento en formato de ensayo y con el “código de replicación" de los casos. Cada caso práctico tendrá la misma puntuación que en la continua. 50% (5 sobre 10) de la nota, con la misma división por bloques que en la EvC.
 2.- responder a un conjunto de preguntas cortas (con espacio acotado), que no haya superado, asociadas al contenido teórico-aplicado de cada uno de los casos prácticos. En estas preguntas se puede plantear que el alumnado desarrolle una extensión del caso práctico o que explique en detalle cómo desarrollaría esa extensión. 25% (2.5 sobre 10) de la nota, con la misma división por bloques que en la EvC.
3.- responder a un tipo test de opciones múltiples con cuatro alternativas, descontando cada tres errores el equivalente a una respuesta correcta, asociadas al contenido teórico-aplicado de la asignatura. 25% (2.5 sobre 10) de la nota, con la misma división por bloques que en la EvC.

En este caso, la evaluación se hará sobre 10 puntos. Para superar la asignatura en la EvU, se ha de obtener al menos un 5.0 (sobre 10) en cada una de las partes de la evaluación única. En caso de no cumplir con este criterio, y aunque la puntuación total superase los 5.0 puntos, la calificación final en la EvU sería de 4,5. En las subsiguientes convocatorias se evaluará siguiendo los mismos criterios. Las distintas partes evaluaran conjuntamente las competencias de la asignatura.

III. Comentarios finales sobre EvC y EvU
Tanto para la EvC como para la EvU,  cualquier plagio en las diversas tareas sometidas a evaluación será tratado con el máximo rigor que permita la normativa. Tanto en los trabajos escritos como en los exámenes se requerirá pulcritud con el lenguaje, pudiendo haber reducción en las calificaciones por faltas de ortografía. Cualquier forma de plagio será castigada con un cero en la evaluación, sin menoscabo de las posibles medidas disciplinarias que pudieran aplicarse.

El alumnado que se encuentre en la quinta o posteriores convocatorias y desee ser evaluado por un Tribunal, deberá presentar una solicitud a través del procedimiento habilitado en la sede electrónica, dirigida  a la dirección de la Escuela de Doctorado y Postgrado de la ULL. Dicha solicitud deberá realizarse con una antelación mínima de diez días hábiles al comienzo del periodo de exámenes.

 

Tipo de prueba	Competencias	Criterios	Ponderación
Pruebas objetivas	[CE10], [CE1], [CG4], [CG3]	Preguntas tipo test de respuesta múltiple con cuatro alternativas, descontando cada tres errores el equivalente a una respuesta correcta.	25,00 %
Pruebas de respuesta corta	[CE10], [CE1], [CG4], [CG3]	Desarrollo por escrito de preguntas en un espacio limitado, basado en los conceptos más relevantes explicados en las clases teóricas y, especialmente, en los casos prácticos desarrollados y que han de ser entregados para su evaluación. Emplearemos como criterios de valoración el nivel de conocimiento de la materia y, sobre todo, la conexión de las respuesta con los casos prácticos a los que se hace referencia  y reflexiones del alumnado.	20,00 %
Presentación y exposición oral de trabajos prácticos individuales o en grupo.	[CE10], [CE1], [T1], [CB8], [CB7], [CB6]	A partir de una parte de los casos prácticos (a determinar por el profesor), elaboración de un "poster" (presentación corta) que tendrá que ser contada y defendida ante el profesor y todos los compañeros durante 5-10 minutos.	15,00 %
Resolución de casos prácticos (individual o grupal), usando ordenadores, con datos reales o simulados	[CE10], [CE1], [T1], [CB8], [CB7], [CB6], [CG4], [CG3]	Resolución de casos prácticos (3 en total) usando ordenador con datos reales o simulados. El desarrollo puede ser grupal, pero la entrega ha de ser individual. En cada caso, habrá que entregar el código para poder replicar los resultados obtenidos.	40,00 %

El cronograma tiene carácter orientativo y podrá sufrir modificaciones leves en caso necesario para mejorar y ajustar situaciones sobrevenidas y ajustes docentes. 
* Las fechas de  entrega de los casos prácticos podrá ser modifcado por el profesor, anunciada con sificiente antelación.

Semana	Temas	Actividades de enseñanza aprendizaje	Horas de trabajo presencial	Horas de trabajo autónomo	Total
Semana 1:	Introducción de la asignatura. Bloque I, II y III. Teoría y práctica.	Explicación conceptos teóricos. Desarrollo de casos prácticos en sala de ordenadores. Preguntas tipo test de respuesta múltiple Bloque I	10.00	10.00	20.00
Semana 2:	Bloque IV y V. Teoría y práctica	Explicación conceptos teóricos. Desarrollo de casos prácticos en sala de ordenadores. Preguntas tipo test de respuesta múltiple Bloque I, II y III.	8.00	10.00	18.00
Semana 3:	Bloque V. Práctica Bloque VI. Teoría y práctica.	Explicación conceptos teóricos. Desarrollo de casos prácticos en sala de ordenadores.	10.00	5.00	15.00
Semana 5:	Evaluación. Límite de entrega casos prácticos	Entrega para evaluación de casos prácticos	0.00	10.00	10.00
Semana 11:	Evaluación: Prueba Oral, Exposición	Evaluación Presentación prueba oral: 9 abril (este dia puede sufrir modificaciones debido a la coordinación con otras asignaturas)	1.00	5.00	6.00
Semana 16 a 18:	Evaluación	Evaluación y trabajo autónomo del alumnado	1.00	5.00	6.00
Total			30.00	45.00	75.00