1

RECONOCIMIETO DE PLACAS DE AUTOMOVILES (Mayo 2009)

Daniel Barbosa Tarazona Cod. 20041005014. Jorge Mario Rincon Gndara Cod. 20041005085
Abstract Automatic Vehicle

Identification has many applications in traffic control systems. In this study, a smart and simple algorithm is presented. the proposed algorithm consists of five major parts; Extraction of plate region, found the corners of the plate to apply a spatial transform, segmentation of characters and recognition of plate characters. In this steps morphological operations, smearing algorithm and 2D correlations are used. The Performance of the proposed algorithm has been tested on real images.
Palabras clavesPlacas, OCR, smearing, dilatacin, erosin, RGB, HSV, transformacin especial.

Brillo), y se ecualiza la iluminacin de la imagen con adapthisteq. A continuacin se va mostrar algunas imgenes con su respectivo ajuste
IMAGEN ORIGINAL

I. INTRODUCCION

L procesamiento digital de imgenes cuenta con muchas aplicaciones en lo cotidiano, una de ellas en el reconocimiento de placas de automviles, el cual puede usarse para parqueaderos, hoteles, ingreso de edificios y reconocimiento de placas sospechosas. Muchas veces la adquision de las imgenes no es ptima, las condiciones de luz, el movimiento de los carros y la toma de la placa en perspectiva son factores que afectan el resultado final y que en este paper se busca mitigar

Figura 1. Imagen Original Despus de ecualizar la imagen

IMAGEN AJUSTADA

II. PROCECEDIMIETOS A. Ajuste de Iluminacin El primer procedimiento a realizar, una vez adquirida la imagen es ajustar la iluminacin de esta, ya que nos permite obtener mejores resultados tanto en la binarizacion posterior con tambin en el reconocimiento de los caracteres. Para lograr esto, convertimos la imagen RGB a HSV. Una vez cambiado el modelo de color, Se trabaja con V (Value o

Figura 2. Imagen Ajustada

2 Tambin se realiza un conteo de pixeles que cumplan esta condicin ya que si supera cierto valor, se identifica que es un taxi y por tanto hay que cambiar el anlisis que se va a realizar posteriormente, ya no ser la deteccin del amarillo de las placas particulares sino del blanco de las placas de servicio pblico. Los valores utilizados para la seleccin de blanco en los taxis fueron las siguientes H>0.25 S>0.25 V>0.43 El valor para que cambie el modo de deteccin es de 20000 pixeles, lo que le da un margen amplio para no cometer errores con imgenes de autos particulares que estn rodeados de lneas amarillas de sealizacin. Figura 3. Imagen original A continuacin se muestra las imgenes segmentadas
IMAGEN AJUSTADA IMAGEN AJUSTADA

Otro una imagen con poca iluminacin

IMAGEN ORIGINAL

Figura 4. Imagen ajustada Una vez realizado este ajuste se contina a la siguiente etapa B. Segmentacin En esta etapa se busca el color amarillo de la imagen ya que este es el color de la placa de los automviles. Para lograr esto de crea primero una matriz llena de ceros con el tamao de la imagen y sabiendo ya el nmero de columnas y filas de la imagen se procede a buscar el amarillo en la imagen con unas condiciones, todo se realiza con el modelo de color HSV, que son las siguientes: 0.06<H<0.18 S>0.45 V>0.28 Estos valores fueron escogidos despus que se realizaron varias pruebas.

Figure 5. Imagen ajustada

Imagen Segmentada

Figure 6. Imagen Segmentada

Ahora la segmentacin para el taxi.

IMAGEN AJUSTADA

Cerramos la imagen con el mismo elemento estructurante el cual nos da como resultado
Imagen Cerrada

Figura 7. Imagen de taxi ajustada

Imagen Segmentada

Figura 10. Imagen Cerrada Y al final la abrimos y nos queda la siguiente

Imagen Abierta

Figura 8. Imagen de taxi segmentada

Despus dilatamos la imagen con elemento estructurante tipo diamante de un tamao 2, y tambin se rellenan los huecos. La imagen que se obtiene es la siguiente
Imagen Dilatada

Figura 11. Imagen Abierta En la siguiente etapa se eliminaran los segmentos pequeos y muy grandes que no hacen parte de la placa. C. Smearing En esta etapa se busca eliminar los elementos indeseados en la imagen, esto se logra mediante este algoritmo que vacontando de manera horizontal y vertical el nmero de pixeles en blanco, estableciendo un rango en la longitud de pixeles de los objetos. Se establece que los objetos que tengan un ancho y una altura muy pequeos sean eliminados, lo mismo sucede con los objetos grandes, estos valores se escogieron teniendo en cuanta el ancho y el alto de la placa

Figura 9. Imagen Dilatada

Smearing se realiza tanto horizontal como vertical. Se uso primero smearing horizontal, despus vertical y por ultimo de

4 nuevo horizontal para obtener mejores resultados. Los criterios utilizados para los smearing fueron: Smearing horizontal: Lneas menores 18 y mayores de 100. Smearing Vertical: Lneas menores 18 y mayores de 80. Smearing horizontal2: Lneas menores 18 y mayores de 100. A continuacin se muestran los resultados
smearing Horizontal 2

smearing Horizontal

Figura 14. Smearing horizontal 2 Sin embargo, no en todos los casos es efectivo, como en el siguiente
IMAGEN AJUSTADA

Figura 12. Smearing horizontal

smearing Vertical

Figura 15. Imagen ajustada

smearing Horizontal

Figura 13. Smearing Vertical

Figura 16. Smearing Horizontal

5
smearing Vertical

Figura 19. Eliminacion por Bordes Y ahora con el criterio de las reas. Se ordena de mayor a menor y se eliminan todos los objetos menos el primero, ya que ese contiene la placa. Todo esto se logra con la funcin regionprops.

Figura 17. Smearing Vertical

smearing Horizontal 2

Figura 20. Eliminacion por areas

E. Deteccin de las esquinas de las placas las esquinas del objeto correspondiente a la placa son halladas de la siguiente manera: inicialmente se encuentran los ndices de posicin en donde se encuentra el elemento, estos son almacenados en dos matrices correspondientes a la posicin en el eje x y y, si a la matriz Y le restamos la matriz x que va creciendo linealmente, le estaremos dando un mayor valor a los valores mas a la izquierda en Y que a los valores que se encuentran mas a la derecha, encontraremos que los valores mnimos y mximos de esta operacin sern dos esquinas opuestas del objeto, el mnimo, corresponder a los ndices de la esquina superior derecha y el mximo ser los de la inferior izquierda; Si por el contrario a la matriz Y le sumamos la matriz X le daremos un mayor valor a los ndices en Y correspondientes a los puntos que se encuentran ms a la derecha, as pues, el mnimo de esta matriz corresponder a la esquina superior izquierda y el mximo, a la esquina inferior derecha, de esta manera y con unas sencillas operaciones encontraremos las esquinas del objeto.

Figura 18. Smearing Horizontal2 Por lo tanto se requiere adicionar otro criterio de eliminacin para los objetos restantes. D. Eliminacin de objetos por area y cecana a los bordes de la imagen Para los objetos restantes de la imagen, primero se eliminan los objetos que estn cerca de los bordes de la imagen, no ms de 20 pixeles entre el borde y adentro de la imagen.
Eliminacion por bordes

6
Deteccion de los bordes

Imagen recuperada

Figura 22. Imagen recuperada de la placa

Figura 20. Deteccin de esquina de la placa Una vez obtenido los valores de las esquina de la placa de procede a la siguiente etapa.

IMAGEN AJUSTADA

F. Transformacin espacial El tipo de trasformacin que se usa es la proyectiva, ya que no todas las placas de los automviles se le pueden fotografiar de frente. Esta transformacin recupera la imagen como si estuviera frontal. Primero se crea un nuevo espacio en donde queremos llevar los pixeles. Ese espacio es de 150 pixeles de ancho y de 300 pixeles de ancho. Una vez creado se calculan los coeficientes necesarios para llevar a acabo la transformacin y luego esta se aplica sobre la imagen teniendo en cuenta las esquinas de la placa obtenidas de la etapa anterior.
IMAGEN AJUSTADA

Figura 23.Imagen ajustada

Imagen recuperada

Figura 24.Imagen recuperada de la placa

Figura 21.Imagen ajustada

7
IMAGEN AJUSTADA

Imagen a escala de grises ajustada

Figura 28.Imagen de la placa a escala de grises ajustada

Imagen Invertida

Figura 25.Imagen ajustada

Imagen recuperada

Figura 29.Imagen de la placa a blanco y negro invertida

Imagen erosionada

Figura 26.Imagen recuperada de la placa

G. Binarizacion de la placa Una vez se tenga la placa recuperada se procede a binarizar la imagen. Primero se convierte la imagen a escala de grises, despus se ecualiza la imagen con adapthisteq para mejorar el contraste de la imagen. Una vez hecho esto se convierte a blanco y negro, y se hace una erosion para evitar la conexin de algunos elementos.

Figura 30.Imagen de la placa erosionada por un elemento estructurante cuadrado de tamao 3. H. Smearing placa Ahora se utiliza de nuevo smearing para eliminar objetos nos deseados. Esta vez se aplica de la siguiente manera VerticalHorizontal-Vertical con los siguientes rangos Smearing vertical: Lneas menores 5y mayores de 100. Smearing horizontal: Lneas menores 1 y mayores de 100. Smearing vertical2: Lneas menores 5 y mayores de 100.

Imagen a escala de grises

Figura 27.Imagen de la placa a escala de grises

8
Smearing vertical

Figura 34.Imagen de la placa, eliminando objetos por rea y por cercana en sus bordes

imagen invertida

Figura 31.Smearing vertical para la placa

Smearing horizontal

Figura 35.Imagen de la placa invertida.

J. Reconocimientos de caracteres Una vez se tenga la imagen con sus 6 objetos, 3 letras y 3 nmeros, se procede a correlacionar los objetos con el conjunto de plantillas, en donde estn las imgenes de todas las letras y nmeros, esta correlacin nos dar como resultado, un valor de semejanza entre dos matrices, en este caso el mayor valor de semejanza ser el que se le asignar a el objeto.

Figura 32.Smearing horizontal para la placa

Smearing vertical

Figura 36. Correlacin en dos dimensiones Figura 33.Smearing vertical2 para la placa El tipo de de letra de las plantillas que usaremos es aproximado ya que en la pagina del ministerio de trasporte de Colombia no se encontr dicha informacin. Las imgenes de las letras y nmeros que estn guardadas en la plantillas son de 24x42 pixeles. Por lo tanto al llamar a cada objeto de la placa, este se tiene que redimensionar para poder as correlacionar correctamente. El mayor coeficiente de cada letra o numero con mayor valor, ese es el carcter escogido como resultado final. Las imgenes con mucho movimiento o que se encuentren desenfocadas, el reconocimiento de caracteres es poco eficiente. Lo mismo sucede con las imgenes con mucha perspectiva y poca iluminacin.

I. Eliminacin de objetos de la placa por rea Dado que quedan aun muchos objetos indeseados en la placa, se vuelve a utilizar el mtodo de eliminacin de objetos por reas y tambin los que estn en los bordes de la placa. Para seleccionar el rango de reas a eliminar, se tuvo en cuanta el rea de las letras, su valor mnimo y mximo de todo el abecedario y de los nmeros.
imagen eliminando objetos

9 por reconocer. Si bien este resultado no es ptimo, es una buena base para resultados y optimizaciones futuras del algoritmo propuesto. IV. DESARROLLOS FUTUROS Si se quiere mejorar el algoritmo presentado, ser necesario especficamente mejorar la segmentacin de los caracteres, ya que esta, en muchos casos genera errores debido a que dos caracteres se unen entre s o a los tornillos que fijan la placa. Para resolver este problema se han planteado dos soluciones, la primera es la de llevar a cabo la correlacin de segundo orden sobre toda la imagen sin segmentar, y hallar los valores pico de esta para as encontrar los caracteres presentes, y la segunda es la de mejorar la segmentacin de los caracteres, implementando un algoritmo que separe caracteres unidos a partir de el ancho del objeto y que elimine ruido en la binarizacin mediante algoritmos de deteccin de bordes. Es necesario tambin implementar un algoritmo que quite el desenfoque causado por el movimiento, en donde se ha pensado en hacer una estimacin del desenfoque mediante anlisis de Fourier, para luego con los datos obtenidos del ngulo y la longitud del desenfoque usar iteraciones del mtodo de Lucy-Richardson para corregir la imagen.

Figura 37.Plantillas de caracteres.

III. RESULTADOS Para probar la efectividad del algoritmo propuesto, se hicieron prueba sobre 31 imgenes de automviles, para las cuales se obtuvieron los siguientes resultados en cada parte del proceso: Identificacin del rea de la Placa: 31/31=100% Encontrar esquinas de la Placa: 31/31=100% Para el reconocimiento de texto se obtuvieron los siguientes resultados en las 31 imgenes:
7
N de Caracteres reconocidos

Resultados Reconocimiento de caracteres

V. CONCLUSIONES Se logr implementar satisfactoriamente un algoritmo para la deteccin de automviles a travs de la identificacin de los caracteres de sus placas. El uso del algoritmo de smearing fue de bastante utilidad para la segmentacin de objetos con ciertas caractersticas de Forma. Las operaciones morfolgicas nos permitieron mejorar las condiciones del las imgenes binaraias para una correcta segmentacin. La correlacin en dos dimensiones nos permite tener buenos resultados, siempre y cuando los caracteres de encuentren en las mejores condiciones posibles. REFERENCES
[1] [ICONTEC. Norma Tcnica Colombiana NTC4736 Placas retrorreflectivas de identificacin vehicular. ICONTEC. 2000. . [12] Parker, J. An approach to license plate recognition. Laboratory for computer vision. University of Calgary. 1997. Low-Cost Real-Time License Plate Recognitionfor a Vehicle PC, Bergenudd Erik, Masters Degree Project , Estocolmo Suecia, Diciembre 2006 Automatic Vehicle Identification by Plate Recognition, Serkan Ozbay, and Ergun Ercelebi , Proceedings Of World Academy Of Science, Engineering And Technology Volume 9 November 2005 License Plate Recognition,Chuck Wing Yi, Karen, 2004 Automatic recognition of license plates, Henrik Hansen, Anders Wang Kristensen,Morten Porsborg Khler, Allan Weber Mikkelsen,Jens Mejdahl Pedersen and Michael Trangeled,May 26, 2002

6 5 4 3 2 1
0

Imagen N

De donde en total se obtuvo:

10 9 8 7 6 5 4 3 2 1 0 9

N de imagenes

5 4

5 3 3

[2] [3]

[4]
0 1 2 3 4 N de caracteres reconocidos 5 6

[5]

[6] En donde vemos que a pesar de que solo en 3 imgenes la placa fue reconocida en todos sus caracteres, de un total de 186 caracteres existentes en las 31 fotos, fueron reconocidos 99 caracteres lo que corresponde al 53% del total de caracteres