Determinacin del dominio
La seccin anterior se centr en el diseo de
la evaluacin y la necesidad de recopilar pruebas
de validez para los resultados de la evaluacin.
Esperemos que a medida que pasen los aos y
los programas de CBE maduren, ms
instituciones emprendern y publicarn
rigurosos estudios de validez para establecer una
base de investigacin acorde con la creciente
popularidad de CBE requerida para recibir
crdito. En la evaluacin educativa, esto se
conoce como establecimiento de normas, un
proceso que es comn en la educacin primaria
y secundaria, pero menos discutido en la
educacin superior. El establecimiento de
estndares es el proceso de definir niveles
discretos de logro en una evaluacin y establecer
puntuaciones de corte para separar esos niveles.
En algunos casos, como con los exmenes de
licenciatura, dos niveles de rendimiento son
suficientes: pasar o no. En otros casos, ms
niveles son tiles para diferenciar an ms el
rendimiento. Los exmenes AP, por ejemplo,
tienen cinco puntos.
El establecimiento de normas no slo
relaciona las puntuaciones de evaluacin con los
niveles de desempeo, sino que tambin
determina qu niveles de rendimiento son
suficientes para recibir crdito. Como se
describi anteriormente, el EBSS puede
proporcionar un marco de fijacin de estndares
particularmente atractivo para los programas de
aprendizaje previo y CBE, ya que cada nivel de
desempeo en esos programas est asociado no
slo con un nivel de competencia sino tambin
con una probabilidad emprica de xito futuro.
Los siguientes prrafos describen cada uno de
los cinco pasos de EBSS:
1. Definir los resultados relevantes;
2. Disear estudios apropiados;
3. Realizar estudios y sintetizar los
resultados;
4. Revisin y recomendaciones de las
partes interesadas; Y
5. Vigilancia continua.
Paso 1: Definir los resultados relevantes.
El primer paso en EBSS es definir las
competencias e indicadores correspondientes de
xito futuro para cada nivel de rendimiento. Por
ejemplo, los estudiantes generalmente necesitan
demostrar conocimientos especficos y
habilidades para obtener una calificacin de
examen AP de 4-una afirmacin sobre
competencia. Por otra parte, los estudiantes que
obtienen un 4 suelen obtener un A-, B + o B en
un curso universitario correspondiente-una
afirmacin sobre el xito futuro.
Los diseadores de programas de CBE han
establecido definiciones similares. El programa
CBE de la Universidad Lipscomb, por ejemplo,
tiene cuatro niveles para cada competencia:
bsico / elemental, profesional competente,
excepcional / experto y maestro / gur. Cada
nivel de rendimiento est asociado con un
conjunto particular de conocimientos,
habilidades y comportamientos. La competencia
de "influencia" de Lipscomb, requerida para un
ttulo de CBE de pregrado, es un buen ejemplo.
Los estudiantes en el nivel bsico / elemental de
la competencia de influencia son sensibles:
reconocen las solicitudes rpidamente, escuchan
atentamente y ganan respeto y admiracin. En el
siguiente nivel, los profesionales competentes
son lderes de equipo confiables que identifican
y comunican motivadores convincentes. Ajustan
su estilo de influencia para satisfacer las
necesidades de los miembros individuales del
equipo y ofrecen reconocimiento y estmulo
para mantener al equipo avanzando.
El influenciado excepcional / experto
comunica una agenda legtima y coherente a
travs de una variedad de funciones, entiende la
dinmica de poder y las responsabilidades de
liderazgo, claramente articula las ventajas de la
situacin y valida las preocupaciones
potenciales. Finalmente, los individuos en el
nivel de maestro / gur desarrollan e
implementan reconocimiento, recompensas e
incentivos apropiados y creativos para activar
una organizacin. Ellos influyen en todos los
niveles de la organizacin y los actores externos
a travs de una fuerte comunicacin, mensajes
impactantes y atractivo personal. Adems, los
maestros / gurs siguen siendo
persistentemente optimistas, particularmente
ante los retos.
El programa CBE de Lipscomb tambin ha
hecho asociaciones con medidas externas. Si
bien cada una de estas cuatro categoras describe
un nivel distinto de competencia, cada una de
ellas tambin est relacionada con el xito en
varios niveles de empleo. Por ejemplo, los
estudiantes en el nivel bsico / elemental estn
listos para convertirse en contribuyentes
individuales de nivel bsico, mientras que los
profesionales competentes estn preparados
para puestos de supervisor o de nivel de entrada.
Las competencias excepcionales / de nivel de
expertos son necesarias para los gerentes
funcionales o los gerentes de los gerentes. Por
ltimo, los lderes estratgicos o ejecutivos
corporativos estn asociados con el nivel de
rendimiento maestro / gur.
Los diseadores de programas de CBE
tambin deben considerar cuntas categoras de
desempeo pueden diferenciarse claramente por
sus evaluaciones y las consecuencias del
aterrizaje en cualquier nivel dado. Muchos
programas de CBE dividen las escalas de sus
evaluaciones en dos niveles (uno en el cual los
estudiantes reciben crdito y uno en el que no lo
hacen), pero no se requiere una dicotoma tan
rgida. En cambio, diferentes niveles de
desempeo podran traducirse en diferentes
nmeros de crditos otorgados, o los programas
de CBE podran establecer distinciones
graduadas para desempeo excepcional (similar
a las calificaciones de los cursos en los
programas de grado tradicionales).
Paso 2: Diseo de Estudios Adecuados.
En el paso dos, los lderes del programa CBE
deben desarrollar estudios de investigacin que
puedan producir evidencia de las afirmaciones
implcitas en sus niveles de desempeo. Para los
exmenes de AP, los profesores universitarios y
los maestros de los cursos de AP de la escuela
secundaria describieron por primera vez lo que
los estudiantes deberan ser capaces de hacer en
cada nivel y luego estimaron cuntas preguntas
de la prueba un alumno necesitara para
responder correctamente para alcanzar cada
puntaje. Pero para apoyar las afirmaciones sobre
los resultados futuros, los lderes tuvieron que
disear estudios de investigacin que
compararan el rendimiento de los cursos
universitarios con los resultados de los
exmenes AP.
Para apoyar las demandas de competencia
hechas por los programas de CBE, los
diseadores de evaluacin han implementado
procesos similares. En el programa de
enfermera de la UGT, por ejemplo, un panel de
profesores universitarios y expertos externos
revisaron los tems de evaluacin objetivamente
calificados e indicaron cmo crean que tendra
un estudiante con suficiente maestra en la
competencia.46 De manera similar, los
diseadores del Lipscomb University Adult
Degree Programme Recomendaciones de varios
grupos diferentes, incluyendo profesores y
empleadores locales, quienes recomendaron
niveles de competencia apropiados para un
ttulo universitario, basados en su conocimiento
experto de los requisitos del curso y del trabajo.
Sin embargo, a nuestro entender, ninguna
de las universidades dise estudios para
respaldar las afirmaciones sobre los resultados
futuros como parte de su proceso inicial de
establecimiento de normas. Sin duda, esto es
tpico de la mayora de los procesos de
establecimiento de estndares para las
evaluaciones educativas. Los estndares iniciales
a menudo se establecen sobre la base de juicios
de expertos, mientras que los diseadores
recopilan datos de validez basados en relaciones
con resultados futuros o probando las
consecuencias despus del hecho.
Sin embargo, cuando las evaluaciones
estn vinculadas a afirmaciones significativas
sobre los resultados futuros -como es el caso
tanto de las evaluaciones de aprendizaje previo
como de los programas de CBE- argumentamos
que, cuando sea posible, los diseadores del
programa deben buscar evidencia emprica que
relacione los resultados de la evaluacin con los
resultados externos para informar al
Configuracin estndar inicial. Establecer estos
vnculos externos a priori lleva tiempo y una
planificacin cuidadosa, pero ha demostrado ser
factible en grandes y pequeos programas de
pruebas.
Paso 3: Realizar estudios y sintetizar los
resultados. En el paso tres, los diseadores del
programa realizan los estudios de investigacin
diseados en el paso dos y luego combinan y
sintetizan los resultados. Por ejemplo, el College
Board lleva a cabo un estudio de comparabilidad
universitaria, administrando una versin ms
corta del examen AP a los estudiantes
matriculados en los cursos introductorios de la
universidad.48 El rendimiento de los estudiantes
en el examen AP se compara con las
calificaciones del curso.
Para establecer vnculos empricos entre las
puntuaciones de los exmenes y los resultados
relevantes, las puntuaciones AP se promedian
dentro de los grados universitarios discretos.
(Por ejemplo, cul es la puntuacin AP
promedio para los estudiantes que ganan un A-,
B + o B en el curso?) El desempeo promedio
puede apoyar las reclamaciones sobre los
resultados futuros en cada uno de los cinco
niveles de desempeo AP. En general, un
puntaje AP de 5 es equivalente a un grado de
curso universitario de A; Un 4 mapas a los
grados de la universidad de A-, B +, y B; Y un 3
mapas a B-, C +, y C.49
Este tipo de investigacin de validez
externa es poco frecuente en los programas de
CBE. Pocos programas han vinculado el
desempeo en sus evaluaciones con los
resultados futuros, por lo que estos vnculos
tambin estn ausentes durante el proceso de
establecimiento de normas. ste es un rea clara
para mejorar: cuando los programas de CBE
establecen las puntuaciones mnimas de los
exmenes para el crdito del curso, los datos
externos que relacionan esos juicios con el
desempeo futuro deben desempear un papel
central.
Paso 4: Revisin de las Partes Interesadas
y Recomendaciones. En el paso cuatro, las
partes interesadas revisan tanto las evaluaciones
como la evidencia del estudio para determinar la
puntuacin que mejor diferencie a los
estudiantes que han demostrado dominio de
aquellos que no lo han hecho (o los estudiantes
en un nivel de desempeo de aquellos en un
nivel adyacente). Para el programa de AP, las
partes interesadas ms relevantes son los
profesores de AP de la escuela secundaria y los
profesores universitarios. Para los programas de
CBE, las partes interesadas relevantes incluyen
no slo a los profesores que implementarn los
programas y sus evaluaciones, sino tambin a
colegas, empleadores o representantes de la
industria que contratarn graduados de CBE.
Para el programa AP, los interesados pueden
considerar la informacin tanto de los juicios de
los expertos sobre los tems de evaluacin como
del rendimiento de los estudiantes en los cursos
universitarios. Hay pautas generales sobre la
relacin entre el desempeo de los exmenes AP
y las calificaciones de los cursos universitarios,
pero los interesados tambin deben considerar
la variacin entre los cursos universitarios y los
juicios hechos por los expertos revisores al
recomendar puntuaciones de corte para cada
nivel de desempeo.
Adems, las partes interesadas pueden
utilizar los resultados del estudio de
comparabilidad universitaria para considerar las
consecuencias de las diferentes colocaciones de
puntuaciones cortas. Debido a que la mayora de
las universidades usan un puntaje AP de 3 o ms
para otorgar crditos universitarios, esta
puntuacin de corte es particularmente
importante. Si el puntaje de corte se establece
demasiado alto, muchos estudiantes todava
tendran que completar un curso de nivel bsico,
a pesar de que ya tienen los conocimientos y
habilidades necesarias para desempearse bien
en ese curso. Si el corte a puntuacin es
demasiado baja, los estudiantes pueden colocar
fuera del curso de nivel bsico, pero no tienen
los conocimientos y habilidades para tener xito
en un curso posterior. El objetivo es encontrar
la puntuacin de corte de Goldilocks que no es
tan alta que los estudiantes sobre preparados son
injustamente enviados a los cursos de
introduccin, pero no tan bajo que los
estudiantes preparados se les permitan saltar
material que an no han dominado.
revisin de las partes interesadas es tambin
un paso importante en el establecimiento de
estndares para los programas de CBE. Las
partes interesadas suelen tener voz en la
definicin del marco de competencia original;
Tambin deben participar en la determinacin
del nivel de competencia requerido para una
credencial. Adems, al establecer los estndares
para las evaluaciones de K-12, los
desarrolladores de pruebas suelen publicar un
informe tcnico que describe la composicin de
las partes interesadas y su papel en el proceso de
establecimiento de normas. Los informes
tcnicos son una prctica comn en el desarrollo
de la evaluacin. Los informes proporcionan
transparencia y permiten la revisin externa de
los procesos de desarrollo de pruebas y la
evidencia de validez asociada. Los proveedores
de CBE deben hacer esfuerzos para publicar
documentacin tcnica similar para sus
evaluaciones.
Paso 5: Monitoreo continuo. Los
diseadores de programas de CBE deben
recolectar datos a lo largo de la vida de un
programa de evaluacin para proporcionar
apoyo continuo para la interpretacin de
puntuaciones y clasificaciones de nivel de
desempeo. Segn sea apropiado, los
desarrolladores de evaluacin y las partes
interesadas pueden revisar y revisar las
puntuaciones de corte del nivel de desempeo
para reflejar la nueva evidencia generada por
mltiples cohortes de estudiantes que progresan
a travs de un curso o unidad acadmica. Para
AP, esto significa iteraciones adicionales de los
estudios anotados anteriormente, donde las
calificaciones de los cursos universitarios de
nivel bsico estn vinculadas a los puntajes de
AP. Obviamente, los puntajes de AP ms altos
deben continuar para predecir mejores
calificaciones en los cursos de nivel bsico.
Adems, si los estudiantes reciben crditos AP y
saltarse un curso de nivel bsico, en los cursos
subsiguientes deben realizar tan bien como los
estudiantes comparables que no avanzaron a
travs del crdito AP.
Mientras tanto, los programas que no
incluyen evidencia de estudios basados en
resultados en el proceso de establecimiento de
normas inicial deben monitorear (y, si es
necesario, revisar) las puntuaciones de corte
despus de haber recopilado y analizado tales
datos. Por ejemplo, Lipscomb puede usar las
calificaciones de los empleadores una vez que
los graduados regresen a la fuerza de trabajo
para evaluar si alcanzar el nivel de profesional
competente predice desempeo exitoso en el
trabajo o si requiere un desempeo excepcional
o de nivel experto podra ser ms prudente para
trabajos ms exigentes. Igualmente, Excelsior
College puede monitorear la relacin entre el
desempeo estudiantil en las evaluaciones de
enfermera de CBE y su posterior desempeo en
el examen de licenciatura de enfermera para
asegurar que los estudiantes que aprueben las
evaluaciones del programa CBE estn al menos
tan bien preparados para el examen de
licenciatura como estudiantes que optaron por
un examen tradicional. Aa medida que los
programas de CBE continan madurando,
deben continuar recolectando datos de
estudiantes y graduados para usarlos en
exmenes regulares de sus umbrales de
competencia.
Conclusin y Recomendaciones
Los programas de educacin basados en
competencias bien pueden representar una va
alternativa viable a un grado de posgrado.
Idealmente, los estudiantes de CBE progresarn
a su propio ritmo y demostrarn el dominio de
competencias importantes, libres de las
restricciones de los requisitos tradicionales de
tiempo de asiento. Esto permitira a los
graduados describir claramente (y proporcionar
evidencia para) los conocimientos, habilidades y
habilidades que demostraron para obtener su
ttulo. Los empleadores podran adaptar sus
necesidades a los candidatos con competencias
relevantes. En trminos prcticos, sin embargo,
la credibilidad de las credenciales CBE en el
mercado (y por lo tanto la viabilidad del modelo
CBE en general) descansa en evaluaciones
confiables y vlidas con niveles de rendimiento
basados en evidencia.
Segn nuestra revisin, parece que la
mayora de los esfuerzos de CBE hasta la fecha
se han centrado en definir las competencias y
desarrollar los marcos de competencias
asociados con varios programas de grado.
Muchos programas tienen una documentacin
clara de las competencias que buscan ensear y
medir y los tipos de evaluaciones que usarn
para determinar el dominio. El siguiente paso
debera ser proporcionar documentacin ms
especfica vinculando tareas de evaluacin
(como preguntas de prueba) con las
competencias que esas tareas estn diseadas
para medir.
Ms importante an, los programas de
CBE seran aconsejables para iniciar la
investigacin longitudinal que vincula sus
evaluaciones con otros resultados relevantes de
los estudiantes, como el desempeo en el
trabajo. Este tipo de evidencia es crucial para
establecer la validez de ambas evaluaciones CBE
y las puntuaciones de corte que separan a los que
reciben crdito de los que no lo hacen.
A lo largo de este documento, hemos
descrito los estndares de evidencia de la
industria de evaluacin y el estado actual de la
evaluacin de CBE en relacin con esos
principios bsicos. Para resumir nuestras
observaciones e impulsar investigaciones
adicionales, concluimos con algunas
recomendaciones para las instituciones que
actualmente ofrecen (o estn considerando
desarrollar) programas de CBE:
1. Definir claramente las
competencias y documentar la
evidencia de que las evaluaciones
miden completamente esas
competencias. Los debates
contemporneos sobre educacin
superior se centran en los
conocimientos, habilidades y estn conceptualmente relacionadas, las
habilidades que los graduados
universitarios deben poseer. El perfil de
calificaciones de la Fundacin Lumina y
los resultados esenciales de aprendizaje
de la Asociacin de Universidades y
Universidades de Estados Unidos se
han propuesto identificar las
competencias para la educacin general.
As que tienen varios de los programas
mencionados en este documento. Esas
competencias, sin embargo, deben ser
definidas con suficiente detalle para que
puedan ser medidas. Aunque muchos
de los programas actuales de CBE
tienen descripciones detalladas de las
competencias, hay menos
documentacin que vincula esas
competencias con las evaluaciones que
las miden. Tal claridad no slo
proporcionara evidencia de validez,
sino que tambin mejorara la
transparencia en torno a los procesos y
expectativas de los programas de CBE.
2. Realizar investigaciones para
relacionar las evaluaciones del CBE
con otras evaluaciones que miden
las competencias similares y con los
resultados futuros que las
evaluaciones estn diseadas para
predecir. Muchos programas de CBE
desarrollan sus propias evaluaciones y
tienen buenas razones para no querer
adoptar pruebas a gran escala
estandarizadas. Pero no es menos
importante que estas evaluaciones
locales sean validadas frente a otras
medidas. Los programas de CBE
podran colaborar para reunir las
pruebas necesarias. Por ejemplo, los
estudiantes podran completar las dos
medidas de resolucin de problemas de
Alverno College y las evaluaciones de
competencias de resolucin de
problemas y toma de decisiones de la
Universidad Lipscomb. Las
instituciones colaboradoras no deben
esperar que las puntuaciones sean
idnticas, pero cuando las competencias
evaluaciones de esas competencias
deben mostrar una relacin emprica.
3. Utilizar los resultados de los estudios de
investigacin emprica en el proceso
inicial de establecimiento de normas.
Los datos relativos a las puntuaciones
de la evaluacin CBE a otros resultados
deben utilizarse no slo para validar la
evaluacin post hoc, sino tambin para
establecer normas de competencia a
priori. Aunque normalmente se deben
establecer estndares de rendimiento
antes de que se puedan recopilar datos
longitudinales que vinculen el
desempeo de la evaluacin con los
resultados futuros, existen alternativas
viables para recolectar datos de
resultados. Las evaluaciones CBE
podran ser administradas a los
empleados que trabajan actualmente en
los campos relevantes para la
evaluacin. Por ejemplo, la UGT ofrece
programas de grado en educacin,
negocios, tecnologa de la informacin
y atencin mdica. Los trabajadores de
nivel inicial en esos campos podran
completar las evaluaciones del CBE de
la UGT, y el desempeo de los
estudiantes en el trabajo podra
compararse con su desempeo en las
evaluaciones del CBE. Estos vnculos
empricos podran evaluarse
conjuntamente con los juicios de
expertos actualmente recopilados,
ayudando a reforzar la evidencia de
validez que apoya los niveles de
rendimiento elegidos. Los programas
de CBE seran aconsejables para iniciar
una investigacin longitudinal que
vincule sus evaluaciones con otros
resultados relevantes de los estudiantes,
como el desempeo en el trabajo.
4. Seguir recopilando e informando
evidencia de validez de las evaluaciones y
estndares de desempeo de la CBE,
incluyendo comparaciones de los resultados
de los estudiantes con grupos de
comparacin relevantes. Para que los
programas de CBE sean vistos como una
alternativa atractiva a los programas
tradicionales, los estudiantes y los empleadores
necesitan pruebas de que (1) los graduados de
CBE poseen los mismos conocimientos y
habilidades que los graduados tradicionales
comparables y (2) los graduados de CBE tienen
igual xito despus de la graduacin. Estos
resultados podran medirse en trminos de
desempeo acadmico posterior o por medio
del logro laboral, desempeo laboral, prestigio
ocupacional o ganancias. Algunos programas de
CBE pueden estar recolectando estos datos ya;
Deben centrarse en anlisis y publicacin
rigurosos. Otros programas tendrn que
desarrollar la infraestructura y los plazos
necesarios para iniciar la recopilacin de datos.
Se necesitar tiempo para recopilar datos slidos
a largo plazo, pero estos datos pueden
proporcionar pruebas convincentes de la
eficacia de los programas de CBE y apoyar su
crecimiento continuo.