Tecnicas cuantitativas II - Construccion de escalas LIkert- Rodrigo Asun

30 de Sepptiembre
En ciancias sociales nos enfrentamos a una paradoja. El objeto de las ciencias
sociales es de naturaleza diferente al de las ciancias sociales, decimos que tenemos
un objeto de mayor complejidad.
No es tan cierto. Pero supongamos que lo es. El objeto de las ciencias sociales es
mas complejo "Es super importante la conciencia de clase"
Como se entiende que cuando queremos medirlo se hace de una manera
extremadamente simple? (critica a la metodologia cuantitativa)
Ej: Del uno al diez cuan religioso es ud
Por lo tanto debemos construir instrumentos tan complejos como nuestros
conceptos.
Ejemplo: Mediciond e la posicion politica d las personas
Se esta tratando de detetar si las movilizaciones del 2011 generaron un cambio en
la politica chilena. Una tesis comun es que estamos en tiempos de politizacion. SI
eso es asi deberia notarse.
Hipotesis del investigador: La relacon entre las clases sociales y la posicion politica
de las personas esta decayendo. "Nadie vota clasistamente". Ha ocurrido un
proceso de desclasificacion de la politica. Cada vez la gente vota por personas y no
por posiciones politicas. Segun el 2011 constituyo un punto de inflexion, y las clases
sociales volvieron a ser relevantes para la posicion politica.
El problema sera entonces un intrumento para medir clase social y posicion politica.
EL primero esta listo. Como abordad el instrumento de posicion politica
EL investigador busco las encuestas CEP. Como se mide en esta encuesta?.
La pregunta as frecuenta es (clasica y simple)
"Las conceptos de izquierda y derecho son utiles para resumir de una manera muy
simplificada lo que piensa la gente en muchos temas. Me gustaria que porfavor se
clasificara en la escala siguiente que va de 1 al 10, donde 1 reprsente a la
izqueirda y 10 representa a la derecha"
PROBLEMAS
1- Indeterminacion de los numeros. No podemos saber que distancia hay entre un 4
y un 5

2- No queda claro que es lo que se mide (posicion valorica, valorqacion institucional,

preferencia gobierna, estado vs mercado...no podemos saberlo) El contenido que la
gente le da a ser izquierda o de derecha puede variar. No hay homogeneidad en el
sentido que le dan las personas y el investigadosr. Hay distintos esquemas
interpretativos.
Si la tesis del investigador fuese cierta la gente debiese haberse puesto mas de
izquierda despues del 2011 y debise haber habido mas relacion entre clase y
posicion politica.
Sin embargo el instrumento no detecto ninguna modificacion en las posiciones
politicas de la poblacion. SI le creeyeramos la resultaddo diriamos que no hay
cambio.
Por lo tanto quedamos en la incertidumbre de si Chile no cambio o nuestro
instrumento no es capaz de ver nada. EL isntrumento no esta midiendo nada
sustantivo con respecto a la cultura politica.
2- Inplica aceptar e supuesto de unidimiensionalidad de las posiciones ideologicas
Supone que el espacio ideologico es una linea. Uno esta mas hacia el polo de la
izquierda (temas como igualdad, redistribucion, estado, reformas) y el polo de
derecha (desigualdad, conservadurismo, mercado y estabilidad.
Ejemplo: Intendando posiciconar enel espacio lineal a figuras como Stalin, Gandi,
Pinochet

Algunas propuestas plantean una medicion bidimiensional: Dos ejes: Estado

-Mercado y Autaritarismo- Liertarismo
Porpuesta tridimiensional de 3 ejes: Autortarismo- Libertarismo, IzquierdaDerecha, ANtiproductivista- Productivista

Sin embargo en todas las encuestas politicas chilenas se sigue midiendo en un

sentido unidimensional.
3- Medicion poco fiable: La medicion hecha por el CEP es poco fiable, ya que las
posiciones intermedias no tienen etiqueta, su significado queda a la discreccion de
la persona. Esto tiene el efecto de distintos marcos interpretativos.
El uso de la escala es INDIOSINCRATICO.
-Solo tienen etiquetas las puntuaciones extremas. AL resto es el encuestado quien
tiene que darle sentido

- La spersonas usan de manera cada escala.

EJ: Un militante ddel MIR se puso un 3 y un PPD se puso un 2 .
Cual es la causa de ese "error". Esta en la cabeza del sujeto. Su marco
interpretativo que provoca esa diferencia es dificilmente explicable en la sociologia.
NInguna variable externa puede eplicar las diferencias entre la autoclasificacion y la
clasificacion por un observador externo.
- Medicion poco fiable. No se sabe bien la puntuacion real de cada sujeto
- Atenuacion de las relaciones con otras variables.

La diferencia en entre lo que marcaron y lo que debiesen haber marcado no puede

ser explicado por razones sociales.
La tesis del investigador resultara siendo una relfexion sobre la dificultad
metodologica de miedir la posicion politica en este tipo de encuestas. El cambio
esta fundamentado en una serie de antecedentes, sin embargo no podemos
capturarlo.
Tambien encontro una correlacion posicion politica - preferir propiededad Esdado o
Mercado de -0.235
SOLUCON A LA PARADOJA
- Realizar investigacion metodologico sobre el impacto que tienene los intrumentos
de medida sobre los reultados,
-COnstruir instrumentos de medicion mas sofisticados, acorde con la complejidad de
lo que se pretende medir.
- Investigaciones mixtas cuantitativas y cualitativas. EL problema de lo cualitativo
es el limite en la capacidad de generalizar los resultados mas alla de tu
investigacion. Junto a que tiene menos legitimidad publica. La cientificidad de los
numeros parece tener mas credibilidad.
POTENCIAL SESGO DE LAS PREGUNTAS. (ejemplo de encuesta CEP sobre reforma
educativa)
-"Que le parece que los colegios particulares subceconados, ademas de entregar
educacion, generen ganancias a sus duenos
A- Le parece mal que se obtengan ganancias y debiera estar prohibido por completo

B- Le parece bien,siempre y cuando tengan un nivel educacional bueno y los padres

esten informados ( la ultima parte distorsiona enormemente)
*No puedes ponerle adjetivos positivos a las categorias de respuesta. GENERA UN
ENORME SESGO.
-"Cree Usted que es bueno que los padres puedan complementar el subsidio
educacional que oroga el Estado a traves de un copago (pagando matricula y o
colegiatura) para mejorar la educacion de dus hijos, o Ud creee que debiera estar
prohibido?
*Tener en cuenta que estos sesgos mancharon enormenmente la reputacion del CEP
QUE ES UNA ESCALA DE MEDICION
Cosas de lenguaje: los sociologos las llaman escalas, los psicologos tests. lOs
conjuntos de distintas escalas se llman BATERIA (conjunto de instrumentos
sofisticados, un monton de escalas)
- Instrumento sofisticado
-Disenado siguiendo algunas relgas difinidas
-Incluye reglas predelimitadas de analisis e interpretacion
-Disenado para medir constructos uni o multideimensionales, usualmente
multitematicos con componentes subjetivos.
*La nocion de multidimensionalidad en investigacion es bastante moderna.
DIFERENCIAS MULTIDIMENSIONALIDAD Y MULTITEMACIDAD.
--Los indices permiten evaluar la subjetividad de las personas y tambien pueden ser
aplicados a instituciones, midiendo condiciones objetivo- extrasubjetivas de la
realidad.
ej: EN el indice de desarrollo humano se evalua la escolarizacion, sevicios, capital
per capita, NO SE PREGUNTA A PERSONAS.

Las ESCALAS son EXCLUSIVAS PARA SUBJETIVIDAD.

Durante un tiempo las escalas mueron delegadas a fondo. Muy por influencia de la
escuela de frankfurt, se llego a un gran enfasis estructura, abandonando la

investigacion subjetiva. Los antropologos, psicologos sociales, etc, se tomaron el

campo.
A partir del 2000 aparecen una serie de corrientes sociologicas que investigan la
subjetividad con gran enfasis. Correintes francesas, individualismo metodologico
gringo. Es tendencia.
En la practica se ve que el campo esta muy tomado por psicologos sociales.
ej: EL problema del Cheguevara fue desestimar

Barozet esta haciendo una investigacion sobre como se explica que en Chile con sus
enormes niveles de desigualdad. (mayor ingreso por capita y mayor desigualdad).
COmo estas condiciones objetivas no generan una revolucion. Investiga como la
gente clasifica a las personas, y que desigualdades consideran legitimas. La
hipotesis es que solo se rebelaran ante desigualdades ilegitimas. La gente sabe que
en Chile hay desigualdades, pero ciertas desigualdades son consideradas legitimas
(ahi hay que atacar, hay que destruir estos mitos,ninguna desigualdad de este tipo
es legitima). La gente en abstracto no considera que la dsigualdad sea negativa.
Esto demuestra la enorme importancia de lo subjetivo en los procesos sociales.
DIFERENCIA ENTRE DIMENSON Y TEMA DE UN CONSTRUCTO
Lo primero que hace uno al construir escala es leer sobre el constructo.
Los temas de un constructo corresponden a las distintas areas de contenido que se
pueden distinguir en un constructo.
EJEMPO: Midiendo escalas de habilidades sociales (IHS).
ejEMPLO: Midiendo desercion universitaria. Ha aumentado enormemente dada el
aumento de cobertura universitaria. La tasa de desercion ha alcanzado un 40%.
Brutal, es un tremendo endeudamiento para la sociedad en general (gasto publico)
y para las familias.
Lo unico importante no es falta de recursos. Hay 2 otros factores muy importantes
(ademas de desigualdad social)
- Problemas vocacionales
-Capacidad de los estudiantes de establecer redes con sus companeros. Puesto en
un lugar distinto el sujeto asilarse.
En funcion de esta investigacion se esta construyendo una Escala de habilidades
sociales (IHS)

Pensar que la universidad es un espacio mucho mas hostil que el coelgio. Tambien
suele ser un espacio social muy diferente, presentando diferentes estratos sociales
y culturales.
ALgunos temas que se encontraron
1- Enfrentamiento del riesgo: Habilidades para poner limite a los otros en situacones
adversas
2- Auto-afirmacion: Frente a los otros
3- Conversacion y desenvoltura social
4- Autop exposicon a desconocidos o a situaciones nuevas
5- Autocontrol de la agresividad a situaciones aversivas

DIMENSION
Si los temas son los contenidos diversos, las dimensiones son los planos autonomos
y diversos del constructo. Los temas suelen no variar autonomamente. Las
dimensiones pueden variar autonomamente,
Dimensiones de clase social en Weber
-Poder
-Prestigio
-Ingresos
Estas son dimensiones y no temas. Una persna puede tener una y no tener otra.
Hay ciertos niveles de independencia.
*De que estamos hablando cuando se dice methaanalisis
CUANDO TENEMOS DIMENSIONES NO TIENE SENTIDO SUMARLAS. En temas si tiene
sentido
Si es tema o instrumento depende del caso concreto
Si es dimension hay que calcular puntaciones separadas en cada dimension
Si son temas puedo sumarlas y tener una sola puntacion

Volviendo a la medicion de posicion politica si tuvieramos el constructo

tridimensional tendriamos que tener puntaciones separas por cada dimension
TABLA DE ESPECIFICACIONES DE UNA ESCALA O TEST
CUando construyo una escala Likert tengo que hacer una tabla de especificaciones
Un cosntructo puede ser caracterizado segun distintos series de temas
TAbla de especificaciones: Descripcion grafica, unidimensional, bidimensional o
multidimensional de los distintos temas que componen un tema
Methaanalisis: En un analisis que se basa en investigaciones previas

(SEGUNDO BLOQUE)
TIPOS DE ESCALAS
En rigor dos dimensiones de un constructo no deberian sumarse.
PERO: Porque se suma?
Siempre es mas facil simplificar y aveces es necesario presentar una puntuacion
global sobre un tema.
EN este sentido las investigaciones globales sobre desarrollo humano entregan al
mismo los datos-dimensiones desagregados y las puntuaciones globales. Por lo
danto cuando miremos el INDH hay que mirarlo por sus componentes.
La mayor parte de los rankings miden en funcion de dimensiones, por lo que es util
analizarlos en base a estas. . Ejm: Ranking SHangai universidades.
Ejm Psu mideria dimensiones distintas para la seleccion universitaria. Pero son
sumandas. Sin embargo esta sumatoria se realiza en funcion de ponderaciones
diferenciadas por carrera. La ponderacion tiene un fundamento relativamente
arbitrario.
"Podemos sumar peras con manzanas, pero duelen los dientes y es arbitrario";
Pregunta gabo: Se han correlacionado puntajes psu con resultados en la
universidad?
Solo se ha medido su validez en comparacion a la prueba de aptitud.

6 TIPOS DE ESCALAS (en la mayoria de lso libros)

1- DISTANCIA SOCIAL O DE BOGARDUS
2-THURSTONE O DE INTERVALOS APARENTEMENTE IGUALES. (Tambien invento el
analisis factorial)
3- LIKERT o sumativa (es la mas utlizada)
4- Osgood O DFERENCIAL SEMANTICO
5- Comparacion entre pares o opsativas. Estan en desarrollo
6- Escalas de ASIGNACION GLOBAL

La mayor parte de estas escalas han sido creadas por psicologos o psicologos
sociales. Los sociologios no estan tan presentes: Bogardus y Lazarsfeld
Son pocos por el quiebre y la reorientacion de la sociologia hacia temas
macroestructurales dudante 60-70. La sociologia se partio en dos, iendo una parte a
la macroteoria (europea) y otra a la realizacion de cuestionarios (gringa)
ESCALA DE DISTANCIA SOCIAL
Es la primera. De Bogardus de usa y progresista. Estaba muy reocupado por la
inmigracion. El problema radicaba en la generacion de guettos y los consecuentes
conflictos sociales con la poblacion estadounidense.
Bogardus queria generar planes de intervencion social para disminuir los conflictos.
PPT: Origen medicion de la distancia subjetiva a la que se encuentran los grupos
humanos. Problemas provocados por la inmigracion en EEuu de comienzos del siglo
XX.
Recordar la sociologia urbana de Chicago.
A qeu distancia quiero estar yo de otra persona.
Logica de circulos concentricos. Yo estoy en el centro y posiciono alas demas
personas en las distancias de los otros circulos..
Su instrumento referia a "que niveles de interaccion quieres tener tu con ese grupo
humano". Es como una prueba de vallas.
EJEMPLO: Escala de distancia social de los chilenos hacia los peruanos

Va avanzando gradualemnte hasta espacio mas intimosde interaccion social. Se

supone que llegaria un punto en el que se tiende al no. De que entren a Chile hasta
que se casen con tu hija. "Hasta aqui llego". Ha
Puede ser una dificultad definir los grados de cercania y distancia social de las
distintas categorias.
El problema de la escala es que es unidimensional , suponiendo la distancia social
como un continuom. Es su supuesto y desventaja
Esta escala sigue siendo utilizada 100 anos despues tras su origen. Muy utilizada
para medir discriminacion a distintos grupos sociales.
ESCALAS DE ASIGNACION GLOBAL
Su idea es medir el concepto de una sola vez con una sola pregunta. SUpone
unidimensionalidad. Puede ser aplicada por el investigador, por el propio sujeto o
por terceros.
Ventajas:
- Son rapidas de construir

-Rapidas de aplicar - Ocupan poco espacio

Desventajas
-Poco fiables al ser unidimensionales
Al tener un bajo nivel de fiabilidad, suelen dar correlaciones muy bajas.
Una forma de mejorarlas en aplicacion es que otro sujeto aplique la encuesta sobre
el sujeto de la muestra. Ej: Ruptura sentimental, la responde el mejor amigo del
sujeto de la ruptura.
La escala presupone que uno es muy conciente de lo que se esta investigando.
Vulnerable a la cristalizacion.
Existen dos tipos
1- Asignacion numerica: X medido del 1 al 10. Solo tiene etiquetas en los extremos
2- Asignacion por conceptos: Cada numero de la escala tiene su etiqueta
EJmplo de esta : Escalade observacion de agresividad entre pares
1- Interfiere en lso juegos de sus companeros
2-Les arrebata los juguetes a sus companeros
3-Discute co sus companeros

4-Anmenanza a sus companeros

5-Pelea a goldes con algun companeros

Segun el profesor es mucho mejor la de asignacion de conceptos. Es mas costosa

en el sentido de esfuero para construirla
ESCALA DE DIFERENCIAL SEMANTICO
Inventada por un psicologo llamado Osgood. Queria una escala capaz de medir el
impacto emocional que provoca la aparicion de un concepto. Mucho enfasis en la
importancia de las emociones en el actuar humano. Ejm: Atraccion o rechazo
emocional ante el concepto politico de comunismo. La conducta de las personas es
guiada por el impacto emocional generado por lso constructos que se encuentran
en su vida.
Ese objetivo tiene su instrumento.
IDEA CENTRAL: Estudiar el contenido semantico (significado) de los conceptos
Modelo multidimensional
Utiliza pares de adjetivos polares. Son multiples escalas de asigacion global frente a
cada concepto
EJEMPLO: Sala de clases
Ejemplo: plaza publica : Limplia-sucia segura-peligrosa . Muy utilizada para la
evaluacion de servicios y de espacios.
TIene escala: Sala de clases
BUENA 1 2 3 4 5 6 7 Mala
Fea 1 2 3 4 5 6 7 BOnita ...
Tambien es muy utilzada para evaluar dirigente politicos. Que imagen tiene la gente
de X sujeto politico. Suele ser utilizada internamente por partidos politicos. Por
ejemplo si se registra percepcion de debilidad en un politico, este al informarse de
la investigacion, cambiara su comportamiento en ese sentido en funcion de de la
percepcion publica
Ejemplo: Tesis del profe sobre la percepcion de militantes de izq ante la caida de los
socialismos realis.
Como sentian el socialismo ahora y antes. En terminos de bueno -malo, debil-fuerte.
Seguian encontrandolo bueno pero lo consideraban debil.

En base a un estudio metodologico se agruparon los pares de adjetivos pueden ser

agrupados en 3 ejes:
EJE EVALUACION DEL CONCEPTO: Eje bueno y malo
EJE TEMPORAL: Nuevo y viejo
EJE DE ACTIVIDAD: Activo - pasivo
Sin embargo, el profe pone en duda si esta agrpacion de tres dimensiones continua
siendo valida
SI esque son temas pueden ser sumados en un indice unico.
ESCALAS IPSATIVAS O DE COMPARACION
Estan en desarrollo aun. Tienen problemas de formato y estadisticos. Su proposito
es producir un instrumento que te obligue a tomar desiciones entre pares o mas
conceptos, obligandote a elegir uno comparando una cosa cosa con otra. Trata de
evitar la deseabilida social
Ej: La deseabilidad social sesgando un estudio sobre discriminacion a peruanos.
En la practica, la deseabilidad social al responder testpuede volverse un tema muy
relevante para el sujeto en terminos concretos, como ser contratado en funcion de
los resultados de un test psicologico.
Una via puede ser presentar la medicion de una manera indeterminada, que no
permita que que la deseabilidad social se imponga. EJ: TEst de rocher sobre las
manchas. Uno no puede saber lo que es socialmente deseable sobre cada mancha
Buscar test de rorssarch. En el todo tiene una significacion. Tiene una validez
sorprendente alto.
Esto puede demostrarnos grandes diferencias metedologicas en sociologia y
psicologia.
EJmeplo: Al medir racismo, se presentan personas de colores diferentes y dben ser
evaluadas como buenas o malas. Si te demoras mas es que tuviste que reprimir tu
primera respuesta. Se calculan tus tiempos. Muy sofisticado.
La sociologia ha seguido mas la linea de los test verbales mas que proyectivos
Una altervanita puede ponerte categorias de respuesta en el que son todas malas.
"Cuando me veo muy atrasado" Puras opciones malas. Pero al gerente le interesa
que aunque estes atrasado cumplas.

Estas escalas son muy utilizadas en eleccion vocacional. La escala te obliga a elegir.
Ejemplo la escala del cepech.
De esta forma producen tu perfil vocacional.
SUS PROBLEMAS PRINCIPALES
- Principal: Suelen haber preguntas en las que ninguna de las alternativas era lo que
querias responder. Esa respuesta de menor validez tiene el mismo valor que una
pregunta que respondiste con mucha certeza.
Ej: EN la pelicula de facebook esta presente!
En el congreso del profe hubieron muchas ponencias sobre escalas ipsativas. La
idea es encontrar una propuesta en la que no tengas que hacer una cantidad
inmensa de preguntas (la solucion todo contra todo)
ESCALA THURSTONE
Es una exelente escala. Muy validas y fiables. Sin embargo son en la practica
imposibles de counstrir, ya que son demasiado caras. Liker lo hace a midad de
precio
Origen "Articulo: Las actitudes pueden medirse 1928"
Invento el analisis factorial.
Su objetivo era medir las actitudes de las personas como se miden objetos fisicos.
Ejemplo de pesar un lapiz en una balanza. Se van poniendo en la otra bandeja de la
balanza diferentes pesos (ya se saben sus unidades exactas) cuando se equilibran
es que tengo el peso
Para poder medir las actitudes sociales, necesito igualarlo con algo que ya este
medido.Por lo tanto necesito pesos, cosas ya medidas.
Ej: Midiendo machismo en un sujeto.
EN la vida social uno se encuentra con una serie de frases que hablan sobre las
mujeres. Como peso estas frases en terminos de machismo.
Son pesadas
Hay que poner en igualdad las opiniones del sujeto con esas frases. Aquellas frases
que iguales la opinion de el.
Hay que ponerle muchas frases, y aquellas con las que este de acuerdo
representara su nivel del machismo.

El problema radica en la calibracion de las frases. Segun el autor deben ser

calibradas en funcion del juicio social.
Construye unas 300 frases sobre machismo. Justa alrededor de 200 personas que
tomen cada una de las frases y que las clasificquen en sasilleros que vayan de 1 al
11.
COn el analisis estadistico de esas frases se le asignaban valores a las frases. EL
PROCEDIMIENTO FUNCIONA MUY BIEN. Es la forma de construccion de escalas mas
valida que ha existido
PROBLEMAS
- Reunir a los jeuces que produciran la calibracion
- Seguramente deberas pagarles, alimentarlos y tenermos como 4 horas alli
- Las frases no siempre pesan lo mismo. Las sociedades camnbian, lo que es
considerado machista ahora no lo sera probablemente ahora ni lo fue en el pasado.
Por lo tanto es CARISIMO Y PERECIBLE
- Otro problema: es unidimensional
EL invento la multidimensionalidad, pero solo despues de haber construido su
escala Thurstone.
Ejemplo actitud hacia el aborto
ESCALA LIKERT
Se creo en funcion de simplificar la escala Thurstone. Lo que la hacia mas dificil
eran lso jueces. Porlo tanto habia que eliminar la calibracion por jueves.
Si solo uso frases extramas no necesito calibrarlas. Se califica las posiciones
intermedias en funcion de la lejania con las frases extremas
La lejania con los polos se demostrara en funcion de :
1- Muy de acuerdo
2- DE acuerdo
3- NI de acuerdo ni desacuerdo
4- DEsacuerdo
5 Muy en desacuerdo
Es como el 80% de calidad de la escala THrustone

Likert hacia investigacion organizacional, pero es mucho mas conocido por su

aporte metodologico
La idea central es entonctrar la posicon del sujeto enfuncion del polo.
La frase representa un polo.
SOn mas imperfectas que las thurstone
PROBLEMAS
1- LAs posiciones intermedias no siempre quedan bien definidas. En rigor no hay
frases para ellos.
2- Se te puede arracncar la gente por el extremo. No deben ser tan extremas al
punto de que ninguna persona las marque. En el extremo pero no tanto.
Probablemente el item te quedara menos extremo que algunas personas. Las
personas muy extremas (outsiders) no suele quedar bien medidas
Las escalas Likert son todas aquellas escalas en las que respondes frente a una
escala en terminos de acuerdo-desacuerdo , cercania-lejania.
La encuesta de evaluacon docente es Likert. Pero solo tiene polos negativos
Las frses de polo negativo suelen ser mas dificl de responderentender.65666666666666666666666666666544545111111111111111111111111
111111111111111111111444444444444444444444444444444444444444444444
441111111111111111111111111111111111111111111111111111444111111111
111111111111111111111111111111111111111444444444444444444444444444
444444444444414444444444444444444444441114444444444444444444444444
444444444444444444444444444411111141111114=11111111111111111111111
111144111111111111111111111111111111111111111111111111111111111111
111111111114444444444444411111111111111111111111111111111111111111
111111111411111111111111111111111111111111111111111111111111111111
11114444444444444444444444444444444444=444111111111111111111111111
111111111111111111111111111111111111111111111111111111111111111111
111111111111111111111111111111111111111111111111111111111111111111
111111111111111111111111111111111111111111111111111111111111111111
111111111111111111111111111111111111111111111111111111111111111111
111111111111111111111111111111111111111111111111111111111111111111
111111111111111111111111111111111111111111111111111111111111111111
111111111111111111111111111111111111111111111111111111111111111111
111111111111111111111111111111111111111111111111111111111111111111
1111111111111111111111111111111111111111111111111