Pisa – Competencia científica para el mundo del mañana

Elaboración del informe

El presente documento ha sido elaborado por Alfonso Caño y Francisco Luna y ha contado con el asesoramiento técnico de Eduardo Ubieta. Ha sido supervisado y aprobado por el equipo directivo del Instituto Vasco de Evaluación e Investigación Educativa (ISEI-IVEI). Es necesario agradecer el apoyo y la colaboración del personal técnico que ha tomado parte en el desarrollo del proyecto PISA, cuyo trabajo ha sido decisivo para la existencia de este documento: Raimundo Rubio, José Ramón Ugarriza, Amaia Arregi, Carmen Núñez, Cristina Elorza, Inmaculada Tambo, Alicia Sainz, Arrate Egaña y Mikel Urkijo.

Presentación

Desde que en el año 2000 se puso en marcha la evaluación internacional PISA hasta el último estudio llevado a cabo en 2009, esta evaluación se ha convertido en un referente mundial en la medición de procesos educativos. El modelo PISA, basado en la medición de las competencias del alumnado de 15 años y no de los contenidos curriculares, ha transformado de forma significativa el concepto de medición del rendimiento del alumnado y de las variables relacionadas con los procesos de enseñanza y aprendizaje.

Nuestro actual currículo también hace una fuerte apuesta por el desarrollo de las competencias básicas del alumnado, dentro de una tendencia cada vez más extendida a nivel internacional y que la propia Unión Europea está impulsando de forma expresa en todos sus países socios. Además, el propio currículo actual promueve las evaluaciones de diagnóstico basadas también en la medición de competencias.

El proyecto PISA evalúa el rendimiento del alumnado de 15 años en comprensión lectora, matemáticas y ciencias. PISA se ha venido aplicando cada tres años y, junto a los resultados, divulga parte de las pruebas que utiliza.

Sin duda, uno de los aspectos más novedosos del estudio PISA es precisamente el formato y las características de los ítems que se utilizan para la medición de los niveles competenciales del alumnado. Son ítems basados en situaciones y contextos cercanos al alumnado en los que se les plantean problemas que deben ser capaces de resolver a partir de los conocimientos y aprendizajes adquiridos en el ámbito educativo e incluso en su vida diaria. Todos ellos pretenden ser un reto para el estudiante de 15 años.

Es por ello, por lo que se pone a disposición del profesorado vasco este documento en el que se recogen todos los ítems que hasta el momento han sido liberados por PISA para medir la competencia científica. El ISEI-IVEI publicó en 2005 otro documento en el se dieron a conocer los ítems liberados hasta aquel momento (http://www.isei-ivei.net/cast/pub/Itemsciencias.pdf), pero a fin de facilitar la tarea de consulta y el conocimiento de los mismos por parte del profesorado, nos ha parecido más adecuado reunir todos los ítems disponibles en este documento.

Al principio de este documento se presenta el marco de la evaluación y, a continuación, los ítems liberados por la OCDE. Los ítems están organizados en varios subapartados:

Los dos primeros grupos incluyen los ítems liberados de competencia científica que se utilizaron fundamentalmente en la prueba de 2006 (algunos de ellos usados también en pruebas anteriores) y en la evaluación piloto de 2005. Estos ítems están escalados según su grado de dificultad. La diferencia entre los dos grupos de ítems estriba en que de los ítems liberados de competencia científica que se utilizaron solamente en la prueba piloto de 2005 no se dispone de puntuación que permita situar estos ítems en una escala de dificultad.

El último grupo de ítems reúne los de competencia científica que se utilizaron en las aplicaciones de 2000 y 2003, tal y como fueron presentados en su momento en la citada publicación del ISEI-IVEI.

Todos los ítems que fueron utilizados en las distintas pruebas se acompañan de una rica información acerca de sus características, la guía de corrección y los resultados obtenidos. No obstante, para facilitar la utilización práctica de los ítems, el ISEI-IVEI ha puesto a disposición del profesorado una nueva publicación (www.isei-ivei.net/cast/pub/itemsliberados/Ciencias2011/ciencias_PISA2009items.pdf), que recoge exclusivamente los ítems, sin el resto de las informaciones añadidas en el presente documento. De esta forma, podrían ser fácilmente copiados y utilizados con el alumnado.

Confiamos que este documento puede ser de utilidad a todo el profesorado en su labor docente y que ayude a un mayor conocimiento de los instrumentos empleados en el estudio internacional PISA de la OCDE.

El marco de la competencia científica en PISA

1.1. ¿CÓMO SE DEFINEN EN PISA LAS CIENCIAS?

La competencia científica constituye la otra área de evaluación de PISA 2009 y su relevancia fue puesta de manifiesto en la anterior edición 2006 al ser evaluada de forma detallada. Esto implica retomar el concepto de competencia científica en los términos desarrollados anteriormente pero con un número menor de ítems al no ser, junto con las matemáticas, área de evaluación central.

La definición de las Ciencias en PISA se basa en el concepto de competencia científica, o "alfabetización" científica si se quiere responder al término anglosajón "literacy", que es en definitiva:

El término competencia o alfabetización representa para PISA la meta que todo estudiante debería alcanzar. La educación en ciencias representa un continuo que engloba tanto el conocimiento científico, como las habilidades científicas asociadas a la investigación en Ciencias, incorpora múltiples dimensiones e incluye las relaciones que se dan entre la ciencia y la tecnología.

El objetivo de la evaluación de Ciencias en PISA 2009 es indagar en aspectos relacionados con la utilidad personal, la responsabilidad social y el valor "per se" del conocimiento científico. A la hora de evaluar las competencias, interesan sobre todo aquellas cuestiones en las que el conocimiento científico puede realizar una aportación al alumnado en los procesos de toma de decisiones en que se va a ver involucrado en el momento actual o en el futuro.

Desde la perspectiva de la competencia científica, el alumnado aborda estas cuestiones según su grado de comprensión de los conocimientos científicos, su capacidad para acceder a la información, para interpretar las pruebas científicas correspondientes y para identificar los aspectos científicos y tecnológicos. Todas ellas son capacidades cognitivas, pero además, se toma en consideración la respuesta afectiva del alumnado, a través de aspectos relacionados con la actitud, el interés y la motivación ante las ciencias.

1.2. ¿CÓMO SE HAN MEDIDO LAS CIENCIAS EN PISA 2009?

• Situaciones y contextos

Los ítems propuestos por PISA 2009 hacen referencia a diferentes situaciones de la vida cotidiana del alumnado relacionadas con su entorno personal: el propio alumno, su familia y sus amistades; su entorno más cercano: la comunidad y el ámbito más global, el planeta. Todas ellas se plantean como situaciones de la vida diaria que implican el conocimiento y uso de la ciencia y de la tecnología.

En términos generales, las situaciones planteadas coinciden con las aplicadas en las anteriores ediciones de PISA sobre la competencia científica en áreas relacionadas con la salud, los recursos naturales, el medio ambiente, los riesgos y los límites de la ciencia y la tecnología. Como puede verse, se trata de áreas relevantes para mejorar y mantener los niveles de calidad de vida y desarrollo de políticas públicas.

La evaluación de Ciencias en PISA no es una evaluación propiamente de contextos. Lo que se evalúa son capacidades, conocimientos y actitudes, según se presentan o se relacionan en unos determinados contextos. A la hora de seleccionar los contextos, es importante tener presente que lo que se pretende evaluar son las capacidades científicas, el grado de asimilación de los conocimientos y las actitudes que ha adquirido el alumnado. Los contextos que se emplean en los ejercicios de evaluación se eligen atendiendo a su relevancia para los intereses y la vida del alumnado.

A continuación se presentan los diferentes ámbitos, contextos o situaciones de evaluación propuestos por PISA:

• Procesos científicos

La evaluación de Ciencias en PISA 2009 da prioridad a las siguientes capacidades: la identificación de cuestiones científicas; la explicación de fenómenos científicos y la utilización de pruebas científicas para tomar y comunicar decisiones. En todas estas capacidades se halla implícita la noción de conocimiento científico, que comporta tanto un conocimiento de la ciencia como un conocimiento acerca de la propia ciencia, entendida como un método de conocimiento y una forma de enfocar la investigación.

Ciertos procesos cognitivos poseen una especial relevancia en la competencia científica. Entre estos procesos, que se hallan implícitos en las capacidades científicas, se encuentran: el razonamiento inductivo/deductivo, el pensamiento crítico e integrado, la conversión de representaciones (por ejemplo, de datos a tablas, de tablas a gráficos), la elaboración y comunicación de argumentaciones y explicaciones basadas en datos, la facultad de pensar en términos de modelos y el empleo de las Ciencias. Todos ellos se fundamentan en la lógica, el razonamiento y el análisis crítico.

A continuación, se recogen de forma más detallada las capacidades científicas que se miden en PISA:

• Contenidos científicos

El conocimiento científico hace referencia a 2 grupos de conocimientos: el Conocimiento de la Ciencia y el Conocimiento acerca de la Ciencia en sí misma.

a) El conocimiento de la ciencia

Dado que la evaluación de Ciencias en PISA 2009 sólo puede evaluar una parte del conocimiento que posee el alumnado, es importante establecer unos criterios claros a la hora de seleccionar los conocimientos que se van a evaluar. Ha de tenerse en cuenta, además, que el objetivo de PISA es describir en qué medida el alumnado es capaz de aplicar sus conocimientos a aquellos contextos que son relevantes para sus vidas. En consecuencia, los conocimientos a evaluar se seleccionan entre los campos de la física, la química, la biología, las ciencias de la Tierra y el espacio y la tecnología, atendiendo a los siguientes criterios:

• Deben ser relevantes y útiles para la vida de los individuos.

• Los conocimientos seleccionados deben representar conceptos científicos importantes y, por tanto, han de tener una utilidad duradera.

• Los conocimientos seleccionados deben ser adecuados al nivel de desarrollo del alumnado de 15 años.

Basándose en esos criterios se han establecido 4 categorías o sistemas fundamentales de conocimientos, que se muestran más detalladamente a continuación. De estas 4 categorías sólo se dan resultados de las 3 primeras (sistemas físicos, sistemas vivos y sistemas de la Tierra y el Espacio). El motivo es que los datos recogidos en la categoría de los sistemas tecnológicos no han sido suficientemente amplios como para garantizar unas estimaciones fiables.

b) El conocimiento acerca de la ciencia

El Conocimiento acerca de la ciencia incluye dos categorías. La primera de ellas, la Investigación científica, se centra en la investigación, considerada como uno de los procesos esenciales de las ciencias. La segunda categoría, la constituye las Explicaciones científicas que están estrechamente ligadas a la investigación ya que son un resultado de la misma. Se podría pensar en la investigación como un método propio de la ciencia (la forma en que los científicos obtienen datos) y en las explicaciones como los objetivos de la ciencia (la forma en que los científicos usan los datos obtenidos). Los siguientes ejemplos se limitan a dar una idea de los significados de las respectivas categorías, sin pretender ofrecer un listado exhaustivo de todos los conocimientos relativos a cada una de ellas.

• Actitudes hacia la ciencia

Uno de los objetivos de la educación en Ciencias es que el alumnado desarrolle una serie de actitudes que promuevan su interés por los temas científicos, así como la subsiguiente adquisición y aplicación del conocimiento científico y tecnológico para un beneficio personal, social y global.

La atención que presta PISA a las actitudes se basa en el convencimiento de que la competencia científica de una persona comporta toda una serie de actitudes, creencias, orientaciones motivadoras, criterios de auto eficacia, valores y, en último término, acciones. PISA 2009 tiene en cuenta las actitudes hacia las ciencias del alumnado en tres aspectos: interés por la ciencia, apoyo a la investigación científica y sentido de la responsabilidad sobre los recursos y los entornos.

1.3. DIMENSIONES PARA EVALUAR LA COMPETENCIA CIENTÍFICA

En el siguiente diagrama se pueden observar los aspectos o dimensiones que se valoran en la prueba PISA 2009 en la Competencia científica.

Los niveles de competencia científica

En PISA 2009 se propone mantener los 6 niveles de 2006 que describían el grado de competencia científica general alcanzado por los y las estudiantes. A estos niveles se añade otro nivel (<1) que encuadra al alumnado que no llega a alcanzar la puntuación correspondiente al nivel más bajo.

Cada uno de estos niveles describe qué tipo de tareas es capaz de realizar el alumnado clasificado en cada uno de ellos. A cada alumno y alumna se le adjudica una puntuación en función del nivel de dificultad de las tareas que ha sido capaz de realizar; a partir de esta puntuación se le asigna a uno de los 6 niveles correspondientes. Por tanto, en un mismo nivel puede haber alumnado con diferentes puntuaciones. En la medida en que la puntuación de un alumno o alumna es más alta, significa que se incrementa la posibilidad de responder correctamente a las cuestiones de ese nivel.

Las habilidades que subyacen en cada uno de estos niveles se pueden entender como una descripción de las competencias científicas que son necesarias para que un alumno o alumna alcance la puntuación que le sitúa en ese nivel. Son las siguientes:

Descripción de los niveles de rendimiento en Competencia científica. PISA 2009

Ejemplos de ítems de ciencias en PISA

• ÍTEMS DE CIENCIAS DE PISA 2009

Ítems de ciencias de PISA 2009, según nivel de rendimiento

En la tabla anterior se distribuyen los ítems de la evaluación PISA 2009 en seis niveles de rendimiento. Al final de cada ítem, entre paréntesis, se ofrece la puntuación media del ítem en la OCDE.Los ítems liberados de PISA en castellano pueden consultarse en la página web del IE (Instituto de Evaluación): http://www.institutuodeevaluacion.educacion.es Los ítems originales en inglés pueden obtenerse en la página web de PISA: http://www.pisa.oecd.org. En esta última también pueden verse algunos ítems de lectura evaluados mediante ordenador, que estaban incluidos en la denominada ERA (Electronic Reading Assessment).

EL EFECTO INVERNADERO

Lee los siguientes textos y contesta a las preguntas que les siguen.

EL EFECTO INVERNADERO: ¿REALIDAD O FICCIÓN?

Los seres vivos necesitan energía solar para sobrevivir. La energía que mantiene la vida sobre la Tierra procede del Sol, que al estar muy caliente irradia energía al espacio. Una pequeña proporción de esta energía llega hasta la Tierra. La atmósfera de la Tierra actúa como una capa protectora de la superficie de nuestro planeta, evitando las variaciones de temperatura que existirían en un mundo sin aire. La mayor parte de la energía radiada por el Sol pasa a través de la atmósfera de la Tierra. La Tierra absorbe una parte de esta energía y otra parte es reflejada por la superficie de la Tierra. Parte de esta energía reflejada es absorbida por la atmósfera. Como resultado de todo ello, la temperatura media por encima de la superficie de la Tierra es más alta de lo que sería si no existiera atmósfera. La atmósfera de la Tierra funciona como un invernadero, de ahí el término efecto invernadero. Se dice que el efecto invernadero se ha acentuado en el siglo XX.

Es un hecho que la temperatura media de la atmósfera ha aumentado. En los periódicos y las revistas se afirma con frecuencia que la principal causa responsable del aumento de la temperatura en el siglo XX es la emisión de dióxido de carbono.

Un estudiante llamado Andrés se interesa por la posible relación entre la temperatura media de la atmósfera de la Tierra y la emisión de dióxido de carbono en la Tierra. En una biblioteca se encuentra los dos siguientes gráficos.

A partir de estos dos gráficos, Andrés concluye que es cierto que el aumento de la temperatura media de la atmósfera de la Tierra se debe al aumento de la emisión de dióxido de carbono.

Fuente: CSTI Environmental Information Paper 1, 1992.

Pregunta 1: EL EFECTO INVERNADERO

CRITERIOS DE CORRECCIÓN

Máxima puntuación

Código 11: Se refiere al aumento (promedio) de ambos), la temperatura y la emisión de dióxido de carbono.

• Según aumentan las emisiones aumenta la temperatura.

• Ambos gráficos aumentan.

• Porque en 1910 empezaron a crecer ambos gráficos.

• La temperatura está aumentando según se emite CO2.

• Las líneas de información de los gráficos crecen juntas

• Todo se incrementa.

• A mayor emisión de CO2, más alta es la temperatura.

Código 12: Se refiere (en términos generales) a una relación definitiva entre la temperatura y la emisión de dióxido de carbono.

[Nota: Con este código se intenta codificar la utilización por parte de los estudiantes de la terminología tal como relación definitiva, forma similar o directamente proporcional; aunque el ejemplo siguiente de respuesta no es estrictamente correcto, muestra suficiente comprensión como para darle la puntuación en este caso].

• La cantidad de CO2 y la temperatura media de la Tierra son directamente proporcionales.

• Tienen una forma similar que indica que tienen relación.

Sin puntuación

Código 01: Se refiere al incremento (media) de la temperatura o de la emisión de dióxido de carbono.

• La temperatura ha subido.

• El CO2 aumenta.

• Muestra el cambio espectacular de las temperaturas.

Código 02: Se refiere a la temperatura y a la emisión de dióxido de carbono sin tener clara la naturaleza de la relación.

• La emisión de dióxido de carbono (gráfico 1) tiene un efecto sobre el aumento de temperatura de la Tierra (gráfico 2).

• El dióxido de carbono es la causa principal del incremento de la temperatura de la Tierra.

Otras respuestas.

• La emisión de dióxido de carbono está creciendo mucho más que la temperatura media de la Tierra.

[Nota: Esta respuesta es incorrecta porque lo que se ve como respuesta es el grado en que están creciendo la emisión de CO2 y la temperatura en vez de que ambas estén aumentando].

• El aumento del CO2 a lo largo de los años se debe al incremento de la temperatura de la atmósfera de la Tierra.

• El modo en el que el gráfico sube.

• Hay un aumento.

Código 9: Sin respuesta.

Análisis

En cuanto a medir la capacidad de utilizar evidencia científica, las unidades EFECTO INVERNADERO y PROTECTOR SOLAR son buenos ejemplos para el nivel 3. En EFECTO INVERNADERO, pregunta 3, los y las estudiantes tienen que interpretar los datos presentados en representaciones gráficas y deducir que combinando los gráficos, se llega a la conclusión de que tanto la temperatura media como la emisión de carbono dióxido están aumentando. Los y las estudiantes tienen que juzgar la validez de una conclusión estableciendo una correlación entre la temperatura atmosférica de la Tierra y la cantidad de las emisiones de carbono dióxido, comparando los datos de dos gráficos a la misma escala de tiempo. Los y las estudiantes tienen que entender el contexto y para ello, leer unas líneas del texto descriptivo. Se dan puntos por comprender que los dos gráficos ascienden con el tiempo o que hay una relación positiva entre los dos gráficos y, así llegar a la conclusión establecida. Los efectos de este tema medioambiental son globales, lo cual define el contexto. Los y las estudiantes tienen que tener la capacidad de interpretar datos del gráfico, así que la pregunta pertenece a la categoría de "Explicaciones científicas".

Quienes superan esta pregunta del Nivel 3, tienen la capacidad de captar el simple patrón de dos gráficos y utilizar el patrón para apoyar una conclusión.

Pregunta 2: EL EFECTO INVERNADERO

Otra estudiante, Juana, no está de acuerdo con la conclusión de Andrés. Compara los dos gráficos y dice que algunas partes de los gráficos no apoyan dicha conclusión.

Selecciona como un ejemplo una zona de los gráficos que no confirme la conclusión de Andrés. Explica tu respuesta.

……………………………………………………………………………………………………………………………

……………………………………………………………………………………………………………………………

……………………………………………………………………………………………………………………………

CRITERIOS DE CORRECCIÓN

Máxima puntuación

Código 2: Se refiere a una parte concreta de los gráficos en las que ambas curvas no descienden o no ascienden y proporciona la explicación correspondiente.

• Durante el periodo 1900–1910 el CO2 aumentó mientras que la temperatura descendió.

• De 1980 a 1983 el dióxido de carbono disminuyó y la temperatura aumentó.

• La temperatura durante el siglo XIX es muy constante, pero el primer gráfico se mantiene en crecimiento.

• Entre 1950 y 1980 la temperatura no aumentó, pero el CO2 sí lo hizo.

• Desde 1940 hasta 1975 la temperatura se mantuvo aproximadamente igual a pesar de que la emisión de dióxido de carbono tuvo un incremento brusco.

• En 1940 la temperatura es mucho más alta que en 1920 y tienen similares emisiones de dióxido de carbono.

Puntuación parcial

Código 1: Menciona un periodo correcto sin ninguna explicación.

• 1930–1933.

• Antes de 1910.

O Menciona solo un año concreto (no un periodo de tiempo) con una explicación aceptable.

• En 1980 las emisiones descendieron aunque la temperatura siguió subiendo.

O Proporciona un ejemplo que no sustenta la conclusión de Andrés pero comete un error en la mención del periodo.

[Nota: Debe haber evidencia de este error –p.e. en el gráfico está marcada un área que ilustra una respuesta correcta y se ha cometido un error al transferir esta información al texto–].

• Entre 1950 y 1960 la temperatura disminuyó y la emisión de dióxido de carbono aumentó.

O Se refiere a las diferencias entre las dos curvas sin mencionar un periodo específico.

• En algunos puntos la temperatura aumenta incluso si la emisión disminuye.

• Antes había poca emisión y, sin embargo, había una temperatura alta.

• Cuando hay un crecimiento estable en el gráfico 1, no hay un incremento en el gráfico 2, éste se mantiene constante. [Nota: Se mantiene constante «en general»].

• Porque al principio la temperatura se mantenía alta cuando el dióxido de carbono era muy bajo.

O Se refiere a una irregularidad en uno de los gráficos.

• Es alrededor de 1910 cuando la temperatura cayó y comenzó a crecer durante un cierto periodo de tiempo.

• En el segundo gráfico hay una disminución de la temperatura de la atmósfera de la Tierra justo antes de 1910.

O Indica diferencias en los gráficos, pero la explicación es pobre.

• En los años 40 la temperatura era muy alta aunque el dióxido de carbono era bajo.

[Nota: La explicación es muy pobre, aunque la diferencia que se indica es clara].

Sin puntuación