3D Camera with Pelican Imaging

Talluri showed off a mobile development platform tablet equipped with a Snapdragon 800
processor with an array camera from Pelican Imaging. The camera is about the size of a typical
single element camera you would see on a tablet, but it is able to capture depth information at
every pixel. By being able to produce an image with a depth map, your camera becomes a much
more powerful tool. Talluri demonstrated how you can scan objects in 3D, capture/replicate their
3D structure before sending it all to a 3D printer.

Cmara 3D con imgenes Pelican

Talluri mostr una tableta de plataforma de desarrollo mvil equipado con un procesador
Snapdragon 800 con un conjunto de cmaras de Pelican Imaging. La cmara tiene
aproximadamente el tamao de una cmara de un solo elemento tpico que se vera en una
tableta, pero es capaz de capturar la informacin de profundidad en cada pxel. Al ser capaz de
producir una imagen con un mapa de profundidad, la cmara se convierte en una herramienta
mucho ms poderosa. Talluri demostr cmo se puede escanear objetos en 3D, captura / replicar
su estructura en 3D antes de enviarlo todo a una impresora 3D.

Para escanear objetos en 3D

Por mucho tiempo, el escaneo de objetos tridimensionales ha sido complicado. Las soluciones
existentes son costosas. S, hay cierto tipo de escner que es como un brazo, con un nmero de
grados de libertad, que permite ir mapeando un objeto tridimensional en el mundo real punto a
punto. Puede uno ser tan preciso como se dese, pero es claro que esto es una labor que lleva
cierto tiempo. Sin embargo, las cosas podran cambiar con tecnologa que ha sido mostrada en la
conferencia UpLinq 2014 de Qualcomm, que se desarrolla en San Francisco.
La empresa Pelican Imaging ha desarrollado un enfoque interesante: usando un arreglo de
microcmaras fotogrficas, captura una imagen y la convierte en 3D. Evidentemente no es una
cuestin de magia, sino de software muy preciso que mide las diferencias de pixeles entre imagen
e imagen (de las 16 tomas del objeto fotografiado), y lo convierte entonces en una imagen 3D que
puede portarse a programas que manejan imgenes tridimensionales, como Maya, 3D studio,
Blender, etctera, pues usa archivos .stl como salida.
Una pregunta que surge es cmo hace el software para ver la parte trasera de una imagen, es
decir, la parte que no se ve en una foto? (algo as como la cara oculta de la Luna). Pues bien,
aparte del modo de imagen fija, tiene un segundo modo en video en donde las 16 cmaras se
hacen girar alrededor del objeto. Tenemos entonces un video (que o son ms que 30 fotos por
segundo de 16 cmaras en un arreglo de 44), que es procesado por un programa de Pelican
Imaging y genera la imagen final en 3D. Cabe decir que el resultado final podra no ser tan preciso

como hubisemos esperado, pero evidentemente como la salida es un objeto manipulable por los
programas convencionales de 3D, podemos siempre hacer ajustes.
El siguiente video muestra las ventajas de este enfoque:
VIDEO
https://www.youtube.com/watch?v=CMPfRR4gHTs#t=93
https://www.youtube.com/watch?v=Nleclfgqn_U
Habr que esperar para que estos arreglos de pequesimas cmaras se puedan conectar a los
telfonos celulares o bien, que ya vengan integrados con los nuevos telfonos o tablets.

To scan 3D objects
For a long time, scanning three-dimensional objects has been complicated. Existing solutions are
expensive. Yes, there is some kind of scanner that is like an arm, with a number of degrees of
freedom, which allows mapping a three-dimensional object to go in the real world point to point.
One can be as accurate as he wanted, but it's clear that this is a task that takes time. However,
things could change with technology that has been shown in 2014 Qualcomm Uplinq conference,
which takes place in San Francisco.
The company Pelican Imaging has developed an interesting approach: using an array of
photographic microcameras, captures an image and converts it into 3D. Obviously not a matter of
magic, but very precise software that measures differences pixels between images (of the 16 shots
the object photographed), and then converts it into a 3D image that can be ported to programs
that handle three-dimensional images such as Maya, 3D studio, Blender, etc., used for "stl" files as
output.
One question that arises is how does the software to see the back of an image, ie, the part that is
not seen in a photo? (something like the dark side of the moon). Well, apart from the still mode,
second mode has a video where 16 cameras are rotated around the object. Then we have a video
(that are either more than 30 frames per second from 16 cameras in an array of 4 4), that is
processed by a program of Pelican Imaging and generates the final 3D image. We can say that the
end result might not be as accurate as we would have expected, but obviously as the output is an
object manipulated by conventional 3D programs, we can always make adjustments.

YOUR LIFE IS IN 3D. WHY SHOULD YOUR PHOTOS AND VIDEO BE ANY DIFFERENT?
What makes Pelican's camera unique?

Pelican Imaging's advances in computational imaging have enabled a high-resolution light field
camera in a mobile form factor.
Going beyond megapixels, the Pelican array camera captures in native 3D to provide complete
depth information of the scene, allowing users to refocus after the fact and perform an
unprecedented range of edits. Focus on any subject, change focus (even on multiple subjects)
after you take the photo, capture linear measurements, scale and segment your images, change
backgrounds, and apply filters, all from any device.
Take a look at 3D images captured with the Pelican camera.
Super-thin mobile array camera
At under 3mm thickness, Pelican's array camera is about 50% thinner than best-in-class current
smartphone cameras. It is the first mobile plenoptic camera to capture video, 30 fps at 1080p
resolution, and to capture still images at approximately 8 megapixels, with excellent image quality.
The Pelican camera architecture is designed with no moving parts, which enables the user to take
an immediate first shot, followed by very rapid sucessive shots. Every scene is captured in
complete focus, which means that there are no missed shots -- every picture is perfect.
Pelican's technology has been featured in many press articles, including Forbes, MIT Technology
Review, and the Huffington Post; read more about our recent coverage.
Meet with us at an upcoming event or request more info. Learn more about the camera
architecture in this technical paper and video, published first at SIGGRAPH Asia 2013.
Refocus
Get the exact shot you want, because the Pelican camera captures every shot in complete focus.
Refocus anytime after you capture the scene. Discover the freedom to select any subject in the
picture, or even select multiple subjects.

Tu vida est en 3D. POR QU SU FOTOS Y VIDEO ser diferente?

Lo que hace que la cmara del Pelican nico?
Avances en las imgenes computacional del pelcano de imagen han permitido una cmara de
campo de luz de alta resolucin en un factor de forma mvil.
Yendo ms all de megapxeles, la cmara gama Pelican captura en 3D nativa para proporcionar
informacin en profundidad completa de la escena, lo que permite a los usuarios volver a enfocar
despus de los hechos y realizar una gama sin precedentes de ediciones. Enfoque sobre cualquier
tema, el cambio de enfoque (incluso en varios temas) despus de tomar la foto, capturar

mediciones lineales, la escala y el segmento de las imgenes, cambiar fondos, y aplicar filtros, todo
ello desde cualquier dispositivo.
Echa un vistazo a las imgenes en 3D tomadas con la cmara del pelcano.
Cmara Super-fina matriz mvil
En menos de 3 mm de espesor, el conjunto de cmaras de Pelican es un 50% ms delgado que el
mejor en su clase de cmaras de telfonos inteligentes actuales. Es la primera cmara plenoptic
mvil para capturar vdeo, 30 fps con una resolucin de 1080p, y para capturar imgenes fijas de
aproximadamente 8 megapxeles, con una excelente calidad de imagen.
La arquitectura de la cmara Pelican est diseado sin piezas mviles, lo que permite al usuario
tomar una primera toma inmediata, seguida de disparos sucesivos muy rpidos. Cada escena es
capturada en un enfoque completo, lo que significa que hay disparos sin perdidas - cada imagen es
perfecta.
La tecnologa de Pelican ha aparecido en numerosos artculos de prensa, incluyendo Forbes, MIT
Technology Review, y el Huffington Post; leer ms sobre nuestra cobertura reciente.
Renase con nosotros en un prximo evento o solicitar ms informacin. Obtenga ms
informacin acerca de la arquitectura de la cmara en este documento tcnico y el vdeo,
publicado por primera vez en SIGGRAPH Asia 2013.
Reorientar
Obtener el tiro exacto que desee, ya que la cmara Pelican captura todos los tiros en el enfoque
completo. Centrar en cualquier momento despus de capturar la escena. Descubra la libertad de
seleccionar cualquier objeto en la imagen, o incluso seleccionar varios temas.

Abstract
We present PiCam (Pelican Imaging Camera-Array), an ultra-thin high performance monolithic
camera array, that captures light fields and synthesizes high resolution images along with a range
image (scene depth) through integrated parallax detection and superresolution. The camera is
passive, supporting both stills and video, low light capable, and small enough to be included in the
next generation of mobile devices including smartphones. Prior works [Rander et al. 1997; Yang et
al. 2002; Zhang and Chen 2004; Tanida et al. 20
anida et al.
uparre et al. 2004] in
camera arrays have explored multiple facets of light field capture - from viewpoint synthesis,
synthetic refocus, computing range images, high speed video, and micro-optical aspects of system
miniaturization. However, none of these have addressed the modifications needed to achieve the
strict form factor and image quality required to make array cameras practical for mobile devices.
In our approach, we customize many aspects of the camera array including lenses, pixels, sensors,

and software algorithms to achieve imaging performance and form factor comparable to existing
mobile phone cameras.
Our contributions to the post-processing of images from camera arrays include a cost function for
parallax detection that integrates across multiple color channels, and a regularized image
restoration (superresolution) process that takes into account all the system degradations and
adapts to a range of practical imaging conditions. The registration uncertainty from the parallax
detection process is integrated into a Maximum-a-Posteriori formulation that synthesizes an
estimate of the high resolution image and scene depth. We conclude with some examples of our
array capabilities such as post-capture (still) refocus, video refocus, view synthesis to demonstrate
motion parallax, 3D range images, and briefly address future work.

Resumen
Presentamos PICAM (Pelican Imaging Camera-Array), un conjunto de cmaras monoltica de alto
rendimiento ultra-delgada, que captura los campos de luz y sintetiza imgenes de alta resolucin
junto con una imagen del rango (profundidad de la escena) a travs de la deteccin y de superresolucin de paralaje integrado. La cmara es pasivo, apoyando tanto imgenes fijas y de vdeo,
con poca luz capaz, y lo suficientemente pequeas para ser incluidos en la prxima generacin de
dispositivos mviles como telfonos inteligentes. Trabajos previos [Rander et al. 1997; Yang et al.
2002; Zhang y Chen 2004; Tanida et al. 2001; Tanida et al. 2003; Duparre et al. 2004] en arreglos
de cmara han explorado mltiples facetas de la luz de captura de campo - a partir de la sntesis
de punto de vista, el nuevo enfoque sinttico, imgenes de rango de computacin, video de alta
velocidad, y aspectos micro-ptica de la miniaturizacin del sistema. Sin embargo, ninguno de
ellos ha abordado las modificaciones necesarias para lograr el factor de forma y la imagen de
calidad estricto necesario para que las cmaras de arreglo prctico para dispositivos mviles. En
nuestro enfoque, personalizamos muchos aspectos del conjunto de cmaras incluyendo lentes,
pxeles, sensores y algoritmos de software para lograr un rendimiento de imagen y el factor de
forma comparable a las cmaras de telfonos mviles existentes.
Nuestras contribuciones a la post-procesamiento de imgenes a partir de matrices de cmaras
incluyen una funcin de costos para la deteccin de paralaje que se integra a travs de mltiples
canales de color, y una restauracin de la imagen regularizado proceso (super-resolucin) que
tenga en cuenta todas las degradaciones del sistema y se adapta a una amplia gama de prcticas
condiciones de formacin de imgenes. La incertidumbre de registro desde el proceso de
deteccin de paralaje se integra en un un mximo a posteriori-formulacin que sintetiza una
estimacin de la imagen de alta resolucin y la profundidad de la escena. Concluimos con algunos
ejemplos de nuestras capacidades de matriz, tales como post-captura (todava) reorientar, el
nuevo enfoque de video, vista la sntesis de demostrar paralaje de movimiento, imgenes de
rango 3D, y aborda brevemente el trabajo futuro.