Programacion Paralela Cap1

POLITECNICO
GRACOLOMBIANO
Ingeniería de Sistemas
Gestión Tecnológica
UNA INTRODUCCION A LA PROGRAMACIÓN PARALELA
Por: Alexis Rojas Cordero
Bogotá, 2019
Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

CONTENIDO
2. TEMÁTICA
¿Por qué necesitamos el rendimiento cada vez mayor.?
¿Por qué estamos construyendo sistemas paralelos.
1. INTRODUCCION
¿Por qué tenemos que escribir programas paralelos.
¿Cómo escribir programas paralelos?
Lo que vamos a hacer.
Concurrente, paralelo, distribuido!
3. CONCLUSIONES 4. BIBLIOGRAFIA

INTRODUCCIÓN
Con la llegada de los computadores multicore y las

tecnologías de Cloud Computing, la computación en
paralelo ha tomado relevancia.
No es un área específica en el mundo de la

computación, pero si es una de las mejores
alternativas para lograr eficiencia, mejor uso de los
recursos, ahorro de energía, bajar la temperatura,
aumentar la velocidad de frecuencia de reloj, etc.

INTRODUCCIÓN
Anteriormente, para aumentar el rendimiento

de una aplicación bastaba con moverla a una
máquina con un procesador más rápido.
Sin embargo hoy en día esto ya no vale, pues

el rendimiento se obtiene a través de
sacarle partido a más núcleos y no
aumentando la velocidad.

¿ PORQUE NECESITAMOS MAYOR RENDIMIENTO?
A partir de 1986 - 2002, los

microprocesadores se aceleraron como un
cohete, lo que aumentó el rendimiento en un
promedio del 50% anual.
Después del 2002, se redujo en

aproximadamente el rendimiento de los
procesadores en un 20% por año.
Este cambio tan dramático se asoció con el

diseño de los microprocesadores.

En lugar de diseñar y construir microprocesadores

más rápidos, se decidió poner varios procesadores en
un solo circuito integrado.

AHORA LE TOCA A LOS PROGRAMADORES
• La adición de más procesadores no ayuda

mucho si los programadores no son
conscientes de ellos ...
• ... O no saben cómo usarlos.
• Los programas en serie como aprendimos a

desarrollarlos, no se benefician de este
enfoque (en la mayoría de los casos).

¿ PORQUE NECESITAMOS INCREMENTAR EL RENDIMIENTO?
La potencia computacional va en aumento, pero

también lo son nuestros problemas y necesidades de
computación.
Los problemas que nunca soñamos resolver con la

programación en serie, han sido resueltos por las
tecnologías paralelas, como la decodificación del
genoma humano.
Los problemas más complejos todavía están

esperando a ser resueltos.

MODELAMIENTO DEL CLIMA

DESDOBLAMIENTO DE PROTEINAS

SECUENCIACION GENETICA Y DESARROLLO DE DROGAS

INVESTIGACIÓN ENERGÉTICA Y CONTAMINACIÓN

FACULTAD DE INGENIERIA, DISEÑO E INNOVACION
PROGRAMACIÓN PARALELA
ANALISIS DE DATOS

¿POR QUÉ ESTAMOS CONSTRUYENDO SISTEMAS PARALELOS?
• Hasta ahora, los aumentos de rendimiento

han sido atribuidos a la densidad creciente
de la tecnología de los transistores.
• Pero existen y co-existen problemas

inherentes.

CONCEPTOS FISICOS QUE AVALAN EL PARALELISMO

• Transistores pequeños = procesadores más
rápidos.
• Los procesadores más veloces = mayor

consumo de energía (generación hasta 2002).
• El aumento de consumo de energía =

aumento de calor.
• El aumento de calor = procesadores no

fiables.
SOLUCIÓN
• Migración del hardware de un solo núcleo

por hardware multi-núcleo.
• “core” = central processing unit (CPU)
Introducing parallelism!!!

¿PORQUE NECESITAMOS ESCRIBIR PROGRAMAS PARALELOS?
• La ejecución de varias instancias de un

programa serial a menudo no es muy útil.
• Piense en ejecutar varias instancias de su

juego favorito.
• Qué es lo que realmente queremos?. Que se

ejecute más rápido.

¿ QUE NECESITAMOS HACER ENTONCES?
• Volver a escribir los programas seriales para

que queden en paralelo.
• Escribir programas de traducción que

conviertan automáticamente los programas
seriales en programas paralelos.
1. Esto es muy difícil de hacer.
2. El éxito ha sido limitado.

MAS PROBLEMAS
• Algunos programas seriales pueden ser

reconocidos por algún conversor que los pase
a programación paralela.
• Sin embargo, es probable que el resultado

sea un programa muy ineficiente.
• A veces la mejor solución paralela es dar un

paso atrás y diseñar un algoritmo
completamente nuevo.

EJEMPLO
Calcule los valores de n números y súmelos.
Solución serial.

EJEMPLO (continuación)
Tenemos p núcleos, donde el numero p es mucho

menor que n. (50 cores para n=5000 millones)
Aproximadamente (n / p) valores
Cada núcleo utiliza sus propias variables

privadas y ejecuta este bloque de código
independientemente de los otros núcleos.

Después cada núcleo finaliza la ejecución del código.
Su variable privada my_sum contiene la suma de los

valores calculados por sus llamadas a
Compute_next_value.
Ex, p = 8 núcleos, n = 24, entonces las llamadas a

Compute_next_value, regresa los siguientes valores:
1,4,3, 9,2,8, 5,1,1, 5,2,7, 2,5,0, 4,1,8, 6,5,1, 2,3,9

En cuanto tiempo ?. En 6 veces menos que si fuera de un solo core.

Una vez que todos los núcleos

realizan sus cálculos, su variable
my_sum privada retorna su suma
y se forma una suma global de los
resultados mediante el envío a un
lugar designado núcleo "maestro"
que acumula las sumitas en un
resultado final.
Por cada
núcleo que no
sea yo

Core 0 1 2 3 4 5 6 7
my_sum 8 19 7 15 7 13 12 14
Global sum
8 + 19 + 7 + 15 + 7 + 13 + 12 + 14 = 95
Core 0 1 2 3 4 5 6 7
my_sum 95 19 7 15 7 13 12 14

¿ COMO MEJORAMOS LOS ALGORITMOS?

- No obligando al núcleo principal para que
haga todo el trabajo.
- Comparta el trabajo entre los otros

núcleos.
- Empareje los núcleos de manera que

núcleo 0 recoja el resultado del core 1.
- El Core 2 añada su resultado con el

resultado núcleo 3 y así sucesivamnte.
¿ COMO MEJORAMOS LOS ALGORITMOS?

- Repita el proceso sólo con los núcleos
uniformemente clasificados.
- El resultado del Core 0, se suma el resultado

acumulado en la base del Core 2.
- El Core 4 añade el resultado del núcleo 6, etc.
- Repita el proceso con los resultados de los

núcleos divisibles por 4 y así sucesivamente,
hasta que el núcleo 0 obtenga el resultado final.

OBTENCIÓN DE LA SUMA GLOBAL CON MULTIPLES CORES

ANALISIS
- En el primer ejemplo (Programa en C),

el núcleo maestro recibe 7 resultados y
realiza 7 adiciones para la suma global.
- En el segundo ejemplo, el núcleo

maestro realiza 3 recibos y 3 adiciones.
- La mejora es más que un factor de 2!

ANALISIS
- La diferencia es más dramática con un mayor

número de núcleos.
- Si tenemos 1000 núcleos:
- En el primer ejemplo se el núcleo maestro recibe

999 resultados y hace 999 adiciones.
- En el segundo ejemplo sólo se requieren 10

recibos y 10 adiciones.
- Eso es una mejora de casi un factor de 100!

¿CÓMO ESCRIBIR PROGRAMAS PARALELOS?

Hay varias maneras, pero por ahora
trataremos solo dos formas, que deben
trabajar alrededor de los Cores del
hardware sobre el que se va a realizar el
trabajo.
La maneras son.
1. peticionando tareas.
2. peticionando datos.
¿CÓMO ESCRIBIR PROGRAMAS PARALELOS?

1. Por paralelismo de tareas.
Divide la tarea en sub-tareas y así resolver

el problema con apoyo de los núcleos.
2. Por paralelismo de datos.
Particionando los datos para resolver el

problema con el apoyo de los núcleos. Cada
núcleo lleva a cabo operaciones similares
con su parte de datos.
ASISTENTES CLASIFICADORES DEL PROFESOR P

Supongamos que el profesor p tiene que dictar una
cátedra “literatura inglesa”. Supongamos que
también tiene 100 estudiantes y llega la hora de
evaluar.
15 questions
300 exams

ASISTENTES DEL PROFESOR P (cores)

El profesor P cuenta además con tres asistentes

SOLUCIÓN POR PARALELIZACIÓN DE DATOS
TA#1
TA#3
100 exámenes
100 exámenes
TA#2
100 exámenes
Quien será el Máster?

SOLUCIÓN POR PARALELIZACIÓN DE TAREAS
TA#1
TA#3
Preguntas del 11 - 15
Preguntas del 1 - 5
TA#2
Preguntas del 6 - 10

SOLUCIÓN POR PARALELIZACIÓN DE DATOS
Por paralelización de datos usamos mismo

programa en varios servidores con diferentes
bloques de datos

SOLUCIÓN POR PARALELIZACIÓN DE TAREAS
Partimos la tarea principal en sub-tareas con el

mismo programa que se ejecuta en varios cores.
(ejemplo generación de números primos)
Tareas
1) Recibe
2) suma


Los núcleos en general tienen que coordinar su
trabajo.
Comunicación - uno o más núcleos de enviar a sus

sumas parciales actuales a otro núcleo.
Balanceo de carga - comparten el trabajo en partes

iguales entre los núcleos de modo que uno no esté
muy recargado.
Sincronización - Cada núcleo funciona a su propio

ritmo. Asegúrese de que un núcleo no tome grandes
ventas con respecto al resto de núcleos.
¿ QUE DEBEMOS HACER ENTONCES?
- Aprender a escribir programas que sean

explícitamente paralelos.
- Utilizar el lenguaje C, Fortran o Java.
- Usar las diferentes extensiones de los lenguajes:
1. Mensaje-Passing Interface (MPI)

2. Hilos POSIX (Pthreads)
3. OpenMP

CENTRALES INFORMÁTICAS DE HOY
CERN
Centro
Europeo de
Investigación
Nuclear

CENTRALES INFORMÁTICAS DE HOY
Dr Mateo
Valero.
Director del
Barcelona
Supercomputer
Center
BSC

CABELADO BAJO PISO FALSO BSC

HIGHT PERFORMAN COMPUTING

GRANJAS DE COMPUTADORES EN CLUSTER

GOOLGE COMPUTER CENTER

ESCALA FLYNN

CATEGORIZACION FLYNN


CATEGORIZACION FLYNN SISD



CATEGORIZACION FLYNN - SIMD

CATEGORIZACION FLYNN - SIMD

GPU’S

GPU’S

ARQUITECTURA GPUS DE CRAY

CATEGORIZACION FLYNN - MISD

CATEGORIZACION FLYNN - MIMD

CATEGORIZACION FLYNN – MEMORIAS FUERTE Y

DÉBILMENTE ACOPLADAS


MIMD COM MEMORIA COMPARITDA

TERMINOLOGIA
Computación concurrente – Funciona con un

programa en el que múltiples tareas puede estar en
progreso en cualquier instante.
Computación Paralela– Funciona con un programa

en el que múltiples tareas cooperan estrechamente
para resolver un problema.
Computación distribuida – Es un programa que

tenga que cooperar con otros programas para
resolver un problema.

TIPOS DE SISTEMAS PARALELOS

De memoria compartida.
Los núcleos pueden compartir el acceso a la memoria
del ordenador.
Coordinar los núcleos haciendo que examinen y

actualicen las ubicaciones de memoria compartida.
De memoria distribuida.
Cada núcleo tiene su propia memoria.
Los núcleos deben comunicar explícitamente mediante
el envío de mensajes a través de una red.

TIPOS DE SISTEMAS PARALELOS
Shared-memory Distributed-memory

PERSPECTIVAS DEL DESARROLLO, LA TRANSFORMACION Y LA ADAPTACION
DE TECNOLOGÍA EN LA UNIVRESIDAD COLOMBIANA
CONCLUSIONES
• Las leyes de la física nos han llevado a las
puertas de la tecnología multi-núcleo.
• Programas seriales normalmente no se

benefician de los servidores múltiples núcleos.
• La generación automática de programas

paralelos a partir de un programa en serie no
es el enfoque más eficaz para conseguir un alto
rendimiento en computadoras multicore.

CONCLUSIONES (CONT)
• Aprender a escribir programas paralelos

implica aprender a coordinar los núcleos.
• Los programas paralelos suelen ser muy

complejos y por lo tanto, se requieren técnicas
de sondeo y desarrollo de programas para
servidores multi-core.

4 BIBLIOGRAFIA
[1] Timtthy J Rolfe. “A Specimen or parallel Programing”, Parallal Sort

Implementation. ACM - Diciemre 2010. VOLUMEN 1. Nº. 4.
[2 ] Peter Pacheco. An Introduction to Parallel Programing. Universidad de

California. ISBN: 978-0-12-374260-5

Programacion Paralela Cap1

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Programacion Paralela Cap1

Caricato da

Copyright:

Formati disponibili

POLITECNICO

UNA INTRODUCCION A LA PROGRAMACIÓN PARALELA

Por: Alexis Rojas Cordero

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Con la llegada de los computadores multicore y las

No es un área específica en el mundo de la

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Anteriormente, para aumentar el rendimiento

Sin embargo hoy en día esto ya no vale, pues

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

A partir de 1986 - 2002, los

Después del 2002, se redujo en

Este cambio tan dramático se asoció con el

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

En lugar de diseñar y construir microprocesadores

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

• La adición de más procesadores no ayuda

• ... O no saben cómo usarlos.

• Los programas en serie como aprendimos a

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

La potencia computacional va en aumento, pero

Los problemas que nunca soñamos resolver con la

Los problemas más complejos todavía están

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

¿POR QUÉ ESTAMOS CONSTRUYENDO SISTEMAS PARALELOS?

• Hasta ahora, los aumentos de rendimiento

• Pero existen y co-existen problemas

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

CONCEPTOS FISICOS QUE AVALAN EL PARALELISMO

• Los procesadores más veloces = mayor

• El aumento de consumo de energía =

• El aumento de calor = procesadores no

• Migración del hardware de un solo núcleo

• “core” = central processing unit (CPU)

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

¿PORQUE NECESITAMOS ESCRIBIR PROGRAMAS PARALELOS?

• La ejecución de varias instancias de un

• Piense en ejecutar varias instancias de su

• Qué es lo que realmente queremos?. Que se

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

¿ QUE NECESITAMOS HACER ENTONCES?

• Volver a escribir los programas seriales para

• Escribir programas de traducción que

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

• Algunos programas seriales pueden ser

• Sin embargo, es probable que el resultado

• A veces la mejor solución paralela es dar un

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Calcule los valores de n números y súmelos.

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Tenemos p núcleos, donde el numero p es mucho

Cada núcleo utiliza sus propias variables

Curso-P Paralela. 2019 – Alexis Rojas rojas.alexis.universidades@gmail.com

Después cada núcleo finaliza la ejecución del código.

Su variable privada my_sum contiene la suma de los

Ex, p = 8 núcleos, n = 24, entonces las llamadas a

1,4,3, 9,2,8, 5,1,1, 5,2,7, 2,5,0, 4,1,8, 6,5,1, 2,3,9