Anlisis crtico de la cultura con

datos y software:
mtodos, usos y herramientas
Everardo REYES
Universit Paris 8 / Lab. Paragraphe

Slides :

Ciclo de conferencias Arte y tecnologa digital: esttica y crtica

Coordinadores: Jos Luis Barrios y Adriana Casas
14 oct. 2016. CENART, Mxico
Datos.
el caso de la imagen digital
La imagen como rep resentacin

Representacin: un modelo, un sistema formal y sus

especificaciones para hacer explcitas ciertas unidades

Descripcin: el resultado del uso de une representacin para

describir une entidad, e.g:

void setup() {

0 255 255 255 255 0 size(5,5);

background(255);
255 0 255 255 255 0
}
255 255 0 255 255 0
void draw(){
255 255 255 0 255 0
line(0,0, 5,5);
255 255 255 255 0 0
}

No simblica No simblica Simblica

Imagen: definicin tcnica
An image f(x, y) that has been discretized, where x and y are spatial
coordinates and the value of f at (x, y) is proportional to the
brightness of the scene at that point. It is represented by a series of
2D arrays, one for each color band Each element of the array is

called pixel or pel, derived from the term picture element. Thus, a
digital image looks like this

[ Petrou & Petrou, 2010 ]

Ceci nest pas un pixel

Esto no es un pixel
Esto no es un pixel

es la huella, o rastro, de

un filtro de reconstruccin
Ejemplos de filtros de reconstruccin
Alvy R. Smith, 1995
 La manera en que la informacin es representada determina la
facilidad para hacer diferentes operaciones con ella

[ Marr, 1982 ]

Tipos de datos
[ pixels, valores de color ]

Estructuras de datos Algoritmos

[ arreglos, rboles, stacks ] Lenguajes de programacin
Software
Meta-datos

Formatos de archivos
reas computacionales

Procesamiento de imgenes [ image processing ]

Grficas computacionales [ computer graphics ]

Vision computarizada [ computer vision ]

Bases de datos de imgenes [ image databases ]

Multimedia / hipermedios

Visualizacin de datos
Para un anlisis crtico
 Hetergeneidad: niveles de anlsis

Word 1.0 Processing 3

Microsoft, 1989 C. Reas & B. Fry, 2015
1021 archivos en 33 folders 82,000 lneas de cdigo
La mayor parte del cdigo est en C La mayor parte del cdigo est en Java
x86 lenguaje ensamblador
 Signos

Textos /
enunciaciones

Objetos
Semitica
Algirdas Greimas [LT-FR, 1917-1992]

Un sistema conjunto de signos signifiante que suponemos,

hipotticamente, que tiene una organizacin y articulacin interna y

autnoma 1979:339]
 Plano de la Expresin

materia, sustancia perceptible

Semiosis
produccin de
significado

Plano del Contenido

interpretacin, narrativa, discurso

Planos del lenguaje que constituyen la produccin del sentido

Elaborado por Hjelmslev, a partir de Saussure
 Forma de la expresin
Plano de la
Expresin

Sustancia de la expresin

Semiosis

Sustancia del contenido

Plano del
Contenido
Forma del contenido

Cada plano tiene una forma y una sustancia

estructura vs. perceptible
invariable vs. variable
Trayectoria generativa del contenido
Trayectoria generativa de la expresin

[ Adapted from J. Fontanille, 2008:34 ]

 Signos

Textos-
enunciaciones

Plano de la Expresin Objetos

Prcticas

Estrategias

Formas de
vida
Semiosis

Plano del Contenido

 Procedencia de formantes
Cdigo binario, difusin de electrones

Signos
Formantes recurrentes:
Signos alfanumricos, Tipos de datos, Estructuras de datos
Algoritmos

Red de isotopas:
Sintaxis de lenguajes de programacin
Elementos de la Interfaz Grfica de Usuario [ GUI ]
Textos
enunciaciones Soporte de inscripcin:
Paradigmas de programacin
Lneas y cdigos de programacin
Interfaces de usuario

Soporte formal:
Matriz de bitmaps

Objetos
Soporte material:
Monitores [ screens CRT, plasma, LED, DLP ],
Captura[ cameras CCD ],
Procesamiento y almacenamiento [ processors, hard drives ]
Nuest ra perspect iva

Observar la materialidad del cdigo en sus

manifestaciones formales y materiales

Es importante analizar diferentes niveles para ver cmo la

materia y sustancia modifican interpretaciones y
significados

El tipo de manifestaciones que nos interesan provienen del

rea cultural analytics
Cultural analytics
 Propiedades visuales

Formas y texturas : Colores :

Superficie Tinta
Dimetro Saturacin
Circularidad Brillo
Ratio Rojo
Redondez Verde
Solidez Azul
ngulo
Densidad y derivaciones estadsticas:
media, desviacin estndar, etc.

Medidas permitidas por el software ImageJ [ 1997 - ]

Meta-datos tcnicos
File Name Canon.jpg
Camera Model Canon EOS DIGITAL REBEL
Date/Time 2003:12:04 06:46:52
Shooting Mode Bulb
Shutter Speed 4
Aperture 14.0
Metering Mode Center-weighted average
Exposure Compensation 0
ISO 100
Lens 18.0 - 55.0 mm
Focal Length 34.0 mm
Image Size 8x8
Quality RAW
Flash No Flash
White Balance Auto
Focus Mode Manual Focus
Color Tone Normal
Color Space sRGB
File Size 2.6 kB
File Number 118-1861
Drive Mode Continuous Shooting
Owner Name Phil Harvey
Serial Number 0560018150

Estndar EXIF [ JEITA & CIPA, 1995-2010 ]

Meta-datos culturales

Relaciones semnticas
Relaciones pragmticas
Relaciones textuales: inter, hiper, meta, para
Subjetividad
Contexto de produccin
Inspiraciones
Interpretaciones
Recepcin
Experiencias estticas
 390 propiedades visuales
Jeremy Douglass, SSI, 2011
 Wide data
Big data
Uso de los datos.
proyectos
culturales, sociales, tecnolgicos
 Tcnicas algo r tmicas

Separacin de capas RGB Transformacin de espacios

de color: de RGB a HSL

[ Arnold & Tilton, 2015 ]

 Principal Component Analysis Grfica de imgenes
y K-Means : clusters
Media de imgenes del videoclip Smells Like Teen Spirit
Nirvana. Director: S. Bayer, 1991
E. Reyes, 2013
Mosaico de imgenes del videoclip Smells Like Teen Spirit
E. Reyes, 2013
Secciones de imgenes, videoclip Come As You Are
Vista ortogonal
Secciones de imgenes de varios videos de Nirvana
1991-1992
E. Reyes, 2013
Implementaciones
 Video Vortex
Robert M Ochshorn, 2013
http://rmozone.com/videovortex9//#
 Front Row to Fashion Week
NYTimes, 2014
http://www.nytimes.com/newsgraphics/2014/02/14/fashion-week-editors-picks
 Diferentes
dimensiones
descriptivas

On Broadway
Software Studies Initiative & collaboradores, 2015
http://on-broadway.nyc/
 Visualize the Public Domain
Brian Foo & NYPL Labs, 2016
http://publicdomain.nypl.org/pd-visualization/
 Ejemplo de flujo de p rocesamiento

Scripts de ImageJ

PNG IJM IJM PNG

Coleccin de ImageJ ImageMeasure ImagePlot Grfica de imgenes

imgenes
Software Extraccin / Seleccin de
cientfico cuantificacin parmetros de
de propiedades la grfica
visuales
Saturacin

Aos

203 imageenes de pinturas de Paul Klee

Hecho con ImageJ
E. Reyes, 2015
203 imageenes de pinturas de Paul Klee
Hecho con JavaScript, HTML, CSS
http.//ereyes.net/kleeviz, 2015
203 imageenes de pinturas de Paul Klee
Hecho con JavaScript, HTML, CSS
http.//ereyes.net/kleeviz, 2015
 2000 portadas de discos
Data : AllMusic.com, E. Reyes, 2013
 Diseo especulativo
2000 portadas de discos rock
E. Reyes, 2014

as
 1998 2015

conventions
du support web
[ menus, onglets,
boutons, etc. ]

Fisicalizacin" de datos
200 imgenes de la pgina principal de Google, entre 1998 et 2015
E. Reyes, 2015
 // motionStructure-v2
// this version replaces and extends the latest imageToObject 0.1

// Script written in ImageJ Macro Language (IJM)

// Description:
// This macro makes a digital 3D object out of an image sequence
// It asks for a directory path, then impots all images, converts them to 8-bit, substracts background, applies a smooth filter
and runs the 3D viewer with some predefined parameters

// To run the macro: open ImageJ, from the top menu Plugin, select Macros then Run choose the file from your local disk.

// For information on how to use imageJ, see

// http://rsbweb.nih.gov/ij/

// Last modification: November 3, 2015, in Paris.

// By: Everardo Reyes Garcia
// http://ereyes.net

dir = getDirectory("Choose image sequence");

list = getFileList(dir);

print("directory contains " + list.length + " files");

run("Image Sequence...", dir);

name = getTitle;
print(name);

run("8-bit");
run("Subtract Background...", "rolling=50 stack");
run("Smooth", "stack");

// Display as Volume (last parameter in 0). Goes faster if no immediate need to export as OBJ
run("3D Viewer");
call("ij3d.ImageJ3DViewer.add", name, "None", name, "0", "true", "true", "true", "2", "0");
selectWindow(name);

Source code: motionStructure.ijm

Flowchart : motionStructure.ijm
3D Viewer en dtail
 Marching cubes algorithm,
W. Lorensen & H. Cline, 1987
Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011
Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011
Game of Thrones (Benioff & Weiss, 2011-2014)
E. Reyes, 2011
Impresin 3D de un Motion Structure
E. Reyes, 2011
Gracias por su atencin
Everardo REYES
Universit Paris 8 / Lab. Paragraphe
ereyes.net