III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

Sistema Inteligente basado en Redes Bayesianas para el diagnstico Clnico de Enfermedades Cutneas
Rosangela Abregu M.1, Joseph Gonzales M.1, Nancy Laurente G.1, Jorge L. Tvara1, Virgilio Tito C.1 1 Universidad Csar Vallejo rosangela_20_4@hotmail.com, joseph_737_7@hotmail.com, nanxita_17@hotmail.com, jl_xd22@hotmail.com, fredytito@gmail.com

Resumen
En este artculo se presenta un sistema inteligente para el diagnstico clnico de las enfermedades cutneas basado en las redes bayesianas, para lo cual se aplicaron algunos clasificadores bayesianos, tales como, el naive bayes y el bayesnet que proporciona el software de aprendizaje automtico y reconocimiento de patrones WEKA (http://www.cs.waikato.ac.nz/ml/weka/). Los datos con los que se trabaj fueron extrados de la Clnica de la Piel (http://www.clinicadelapiel.com/) y se logr una clasificacin correcta de datos del 98%. Para llegar a esta clasificacin se tuvieron que realizar pruebas utilizando el clasificador BayesNet que utiliza un algoritmo de bsqueda K2 Hill Climbing y se utiliz el estimador simple como condicin de probabilidad (Bouckaert, 2004) y el clasificador Naive bayes, siendo en este caso el clasificador BayesNet el que nos proporciona un mejor resultado y la red bayesiana ptima considera a seis padres como mximo en cada nodo. Finalmente, se implementa el aplicativo en java utilizando las probabilidades obtenidas en la red bayesiana. Palabras clave: Weka, BayesNet, Naive bayes, enfermedades cutneas.

Abstract
This article presents an intelligent system for the clinical diagnosis of skin diseases based on Bayesian networks, for which applied some Bayesian classifiers such as Naive Bayes and bayesnet provided by the software of machine learning and pattern recognition WEKA (http://www.cs.waikato.ac.nz/ml/weka/). The data with which we worked were extracted from the Skin Clinic (http://www.clinicadelapiel.com/) and achieved a correct classification of data for 98%. To achieve this classification had to test the classifier using BayesNet using a search algorithm K2 Climbing Hill and used the simple estimator as a condition of probability (Bouckaert, 2004) and the Naive Bayes classifier, being in this case the classifier BayesNet which gives us a better result and the optimal Bayesian network sees a maximum of six parents in each node. Finally, the application is implemented in Java using the probabilities obtained in the Bayesian network. Keywords: Weka, BayesNet, Naive Bayes, skin diseases.

1. Introduccin
Una de los principales males que afecta nuestra vida social son las enfermedades de la piel. Estas enfermedades de la piel afectan a personas de todas las edades, ya que todos en general estamos expuestos a la contaminacin por gases txicos, los rayos ultravioletas y otros.

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

En la actualidad, hay un gran nmero de programas informticos dedicados a la medicina y a sus diversas especialidades, sin embargo, no hay muchos programas dedicados a la dermatologa. Entre los que se pueden encontrar, destacan: Nail-TutorTM: un programa informtico basado en imgenes, que ensea la anatoma, patrones patolgicos y enfermedades de las uas. Mycin: es un sistema experto desarrollado a principios de los aos 70 por Edgar ShortLiffe, en la Universidad de Stanford, para diagnosticar enfermedades hematolgicas. Fue escrito en Lisp y adems era capaz de razonar el proceso seguido para llegar a estos diagnsticos, y de recetar medicaciones personalizadas a cada paciente (segn su estatura, peso, etc.).

Para efectos de realizar el diagnstico de enfermedades cutneas, se extrajeron datos obtenidos en junio de la Clnica de la Piel. El nmero de casos con el que se trabaja es de 200, donde cada instancia tiene 14 atributos que diagnostican 6 enfermedades. En este trabajo, se muestran los resultados obtenidos por los clasificadores bayesianos Nave Bayes y BayesNet para finalmente implementar en el lenguaje de programacin Java el sistema inteligente. El resto de este artculo est organizado de la siguiente manera. En la seccin 2, se muestran los trabajos previos. La seccin 3 describe las redes bayesianas y los clasificadores bayesianos utilizados. La forma de colocar los Experimentos y Resultados se encuentra en la seccin 4. La Discusin de los Experimentos se muestra en la seccin 5 y, nalmente, la manera de redactar las conclusiones estn en la seccin 6.

2. Trabajos previos
El trabajo que ms se aproxima al presente artculo es la tesis titulada Sistema de Deteccin y Tratamiento de Enfermedades Cutneas desarrollado por Celia Hergueta Gonzlez en la Universidad Pontificia Comillas. Para la realizacin de este sistema, se ha hecho uso de las tcnicas de Ingeniera del Conocimiento, especficamente un sistema de produccin para aportar la fiabilidad del diagnstico. Otro trabajo relacionado con el tema es Mtodos de clasificacin para identificar lesiones en piel a partir de espectros de reflexin difusa publicada por la Revista Ingeniera Biomdica ISSN 1909-9762, volumen 4, nmero 8, julio-diciembre 2010, pgs. 34-40 de la Escuela de Ingeniera de Antioquia-Universidad CES, Medelln, Colombia. En este trabajo se discriminan lesiones benignas y malignas en la piel humana a partir de espectros de reflexin difusa, se han analizado diferentes algoritmos de clasificacin usando el software de aprendizaje automtico y reconocimiento de patrones WEKA. Se prob la clasificacin de la seal usando los algoritmos de mquinas de vectores de soporte, redes neuronales y bosques aleatorios, el desempeo fue evaluado usando el promedio de la k-fold cross-validation tomando en cuenta los porcentajes de instancias clasificadas correctamente, el ndice kappa, el rea bajo la curva ROC, la sensibilidad y la especifidad. Finalmente, se demuestra que el algoritmo de redes neuronales con los parmetros momentum y learning rate en 0,6 y 0,3 respectivamente, es el que mejor se adapta al problema de reconocimiento de patrones ya que clasifica correctamente al 89,89% de los casos.

3. Redes Bayesianas
La red bayesiana de tipo causal o red de diagnstico (Korb y Nicholson, 2004) es la que hemos establecido para la estructura de datos de nuestro sistema inteligente. Representa la distribucin de probabilidades conjunta para un conjunto de variables. En ellas podemos
2

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

establecer dependencias entre los atributos mediante un grafo dirigido acclico, en el que los arcos representan las dependencias entre las variables y los nodos las variables, siendo asignadas a cada uno de los nodos del grafo una tabla de probabilidades condicionadas. A partir de una red bayesiana, se calculan las probabilidades a posteriori usando la ecuacin 1. (1) En esta expresin Padres(Xi) se refiere a los inmediatos predecesores de Xi en la red bayesiana. Los valores de P(Xi|Padres(Xi)) son los que se almacenan en la tabla de probabilidades condicionadas asociada al nodo Xi. Un ejemplo de red Bayesiana se presenta en la Figura 1. La funcin de probabilidad conjunta representada en esta red es:

X
1

X
5

X
2

X X
3 4

Figura 1. Ejemplo de red bayesiana

3.1.Clasificador Naive Bayes

El clasificador Naive Bayes fue popularizado por Duda y Hart [Duda, R. O. & P. E. Hart., 1973] gracias a su simplicidad, eficiencia y bajo error de clasificacin. Este clasificador supone que todas las variables son condicionalmente independientes dado el valor de la clase. Dos variables X e Y son independientes si la ocurrencia de una no tiene que ver con la ocurrencia de la otra. Por definicin, se cumple que Y es independiente de X si y slo si: (2) Esto implica que: (3) (4) Este supuesto simplifica la representacin de de la muestra de entrenamiento. , as como su estimacin a partir

La estructura de este clasificador puede representarse usando una red Bayesiana (Figura 2) en la que existe un nodo para la variable de clase C, que es padre de todas las variables y en la que no existen arcos entre las variables.

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

X
1

X
2

X
3

X
4

X
5

Figura 2. Estructura de una red Nave Bayes

3.2. Clasificador Bayesiano La clasificacin bayesiana es un mtodo basado en estadsticos (Jouffe, 2011). Su funcionamiento usa el clculo de probabilidades a partir del teorema de Bayes, presentado en la ecuacin 5. La base de todos los algoritmos de aprendizaje Bayesiano es la Regla de Bayes. (5) Donde:

P(h) es la probabilidad a priori de la hiptesis h. En nuestro caso sera la probabilidad de que se diera una determinada clasificacin de la serie. P(D) es la probabilidad de observar el conjunto de entrenamiento D, cuando es usado para clasificar. P(D|h) es la probabilidad de observar el conjunto de entrenamiento D en un universo donde se verifica la hiptesis h. P(h|D) es la probabilidad a posteriori de h, cuando se ha observado el conjunto de entrenamiento D.

El aprendizaje bayesiano puede verse como el proceso de encontrar la hiptesis ms probable, dado un conjunto de ejemplos de entrenamiento D y un conocimiento a priori sobre la probabilidad de cada hiptesis. El modo de aplicacin del teorema de Bayes para la clasificacin es el clculo de la hiptesis con mayor probabilidad a posteriori, como se muestra en la ecuacin 2. (6) Siendo D los datos de entrenamiento y h cada una de las hiptesis, en nuestro caso modos de fallo, que tenemos para clasificar. El subndice MAP se corresponde con Mximo a posteriori. De este modo, clasificamos la instancia como aquella que tiene una mayor probabilidad a posteriori. Podemos observar que si tenemos en cuenta el valor de esta probabilidad para todas las hiptesis, en lugar de centrarnos slo en la ms probable, podemos obtener una ordenacin de las hiptesis en funcin de dicha probabilidad. 3.3. Algoritmos de bsqueda El algoritmo de bsqueda que se utiliz en el siguiente artculo es hill climbing. K2: Hill Climbing agrega arcos con un orden fijo de variables, con la opcin especfica: randomOrder establece un orden aleatorio de los nodos. Si es falso (por defecto) la ordenacin de datos se utiliza. La nica excepcin, en ambos casos es que en el caso de los primeros la red es una red de Bayes ingenuo (initAsNaiveBayes establecer cierto) de la clase variable que se hizo por primera vez en el ordenamiento. (Bouckaert, 2004)
4

III CONGRESO INTERNACIONAL

3.4. El algoritmo K2

DE

COMPUTACIN

TELECOMUNICACIONES

El algoritmo K2 es propuesto por Cooper y Herskovits. Este mtodo comienza con la red ms simple posible, es decir, una red sin arcos, y supone que los nodos estn ordenados. Para cada variable Xi, el algoritmo aade a su conjunto de padres i el nodo con nmero menor de Xi que conduce a un mximo incremento de la calidad correspondiente a la medida de calidad elegida para el proceso de bsqueda. El proceso se repite hasta que, o bien no se incrementa la calidad, o se llega a una red completa. Hemos ejecutado este algoritmo a partir de una red vaca, como proponen en su trabajo Cooper y Herskovits. Tambin hemos usado la variacin propuesta en el algoritmo de WEKA en la que se toma como primer atributo la clase. Al igual que Kutat, K2 comienza con una red que no tiene arcos. El proceso por el cual se basa K2 se muestra en la Figura 3.

(a)

(b)

(c)

(d)

(e)

(f)

Figura 3. Ejecucin del algoritmo K2. (a) K2 comienza con una red que no tiene arcos, es la creencia de que la red contiene nodos independientes slo marginalmente. (b) Desde el primer nodo en el orden que, por definicin, no tienen padres, K2 procede inmediatamente al nodo 2, que puede tener como mximo un posible padre, es decir, el nodo 1. (c) Del mismo modo, el K2 se encuentra uno de los padres para el nodo 3. (d) Para el nodo 4, K2, primero se agrega un arco desde el nodo 2, ya que el arco es el arco que se puede aadido a este nodo en el que aumenta la probabilidad de la mayora de la red, entonces K2 determina que un segundo de arco desde el nodo 3 aumentara an ms la puntuacin de la red (e) y (f). Por ltimo, el programa aade un arco desde el nodo 3 al nodo 5, y determina que no hay ningn otro nodo que se podra aadir al conjunto de los padres para el nodo 5, que se traducira en una red con una mayor puntuacin.

3.5. Estimador simple

En la opcin Estimador de Weka, se elige el mtodo para estimar las distribuciones de probabilidad condicional. La clase SimpleEstimator produce estimaciones directas de la probabilidad condicional, es decir: (7) Donde es el parmetro alfa que se puede establecer es de 0,5 y por defecto. Con alfa = 0, obtenemos estimaciones de mxima probabilidad.
5

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

3.6.

Matriz de confusin

La informacin de la prueba de clasificacin se dispone en una matriz de confusin. La matriz de confusin es una matriz cuadrada cuyo orden es el nmero de clases. En las columnas se presentan las clases reales mientras que en las filas se presentan las clases asignadas por el clasificador. Una matriz de confusin contiene informacin sobre las clasificaciones actuales y pronosticados realizado por un sistema de clasificacin. La tabla 1, muestra la matriz de confusin de un clasificador de dos clases. Las entradas en la matriz de confusin tienen el siguiente significado en el contexto de nuestro estudio: Prediccin Negativ Positivo o Negativo a b Actual Positivo c d
Tabla 1. Matriz de confusin de dos clases

Donde: a es el nmero de predicciones correctas de que una instancia es negativo, b es el nmero de predicciones incorrectas que una instancia es positivo, c es el nmero de predicciones incorrectas de que una instancia es negativa, y d es el nmero de predicciones correctas que una instancia es positivo. La precisin (AC) es la proporcin del nmero total de predicciones que son correctas. Se determina mediante la ecuacin: (8) La tasa de verdaderos positivos (TP) s la proporcin de casos positivos que fueron identificados correctamente, se calcula mediante la ecuacin: (9) La tasa de falsos positivos (FP) es la proporcin de casos negativos que fueron clasificados errneamente como ecuacin positiva: (10) La tasa de verdaderos negativos (TN) se define como la proporcin de casos negativos que fueron clasificados correctamente, se calcula mediante la ecuacin: (11) La tasa de falsos negativos (FN) es la proporcin de casos positivos que fueron clasificados errneamente como algo negativo, como se calcula usando la ecuacin: (12)
6

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

4.

Experimentos y Resultados

La base de datos utilizada es la obtenida en junio de la Clnica de la Piel, el nmero de casos es de 200, donde cada caso contiene los atributos que se muestran en la tabla 2.
Atributos Edad Zona de infeccin Fiebre Cefaleas Conjuntivitis Anorexia Vmito Picazn Dolor de cabeza Fatiga Quemazn Enrojecimiento Ardor Enfermedad Categoras 10 Descripcin <0-7.4], <7.4-12.8], <12.8-18.2], <18.2-23.6], <23.6-29], <2934.4], <34.4-39.8], <39.8-45.2], <45.2-50.6], <50.6-mas] Boca, Cabeza y Tronco, Cara, Cara y Boca, Cara y Extremidades, Cara y Labio, Cara y Tronco, Cuello, Cuello y Cara, Cuello y Extremidades, Extremidades, Genitales, Labio, Labios y Cara, Pecho y Espalda, Tronco, Tronco y Extremidades S, No S, No S, No S, No Nada, Regular, Intenso S, No S, No S, No S, No S, No Bajo, Medio, Alto Varicela, Herpes Zoster, Sarampin, Herpes simple, Aftas, Pitiriasis rosada.

18 2 2 2 2 3 2 2 2 2 2 3 6

Tabla 2. Atributos de las enfermedades cutneas

Parte de la base de datos se indica en la figura 4.

Figura 4. Base de datos de las enfermedades cutneas

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

Se han utilizado los algoritmos NaiveBayes y BayesNet en los experimentos realizados sobre la base de datos. Ambos algoritmos han sido proporcionados por WEKA. El algoritmo de redes bayesianas utilizado fue el algoritmo de bsqueda K2 y como estimador de parmetros el denominado SimpleEstimator, tal como se describi anteriormente. Los resultados obtenidos se muestran en la tabla 3.
N de Padres 1 2 3 4 5 6 BayesNet 7 8 9 10 11 12 13 14 NaiveBayes 1 Instancias correctamente clasificadas Cantidad 168 178 183 189 193 196 195 194 194 193 193 193 193 193 168 Porcentaje 84% 89% 91.5% 94.5% 96.5% 98% 97.5% 97% 97% 96.5 96.5% 96.5% 96.5% 96.5% 84% Instancias incorrectamente clasificadas Cantidad 32 22 17 11 7 4 5 6 6 7 7 7 7 7 32 Porcentaje 16% 11% 8.5% 5.5% 3.5% 2% 2.5% 3% 3% 3.5 3.5% 3.5% 3.5% 3.5% 16%

Clasificador

Tabla 3. Resultados obtenidos con los algoritmos BayesNet y Naive Bayes

Como se puede apreciar en la tabla 3, el algoritmo que presenta una mejor clasificacin de datos es el BayesNet considerando que cada nodo admite como mximo 6 padres. La evolucin del porcentaje de clasificacin con respecto al nmero de padres es tal como se muestra en la figura 5. En esta figura, notamos que si consideramos el algoritmo bayesNet y Naive bayes el resultado es el mismo, ya que en ambos casos se considera que un nodo depende exclusivamente de un padre y la estructura la vemos en la figura 6. Puesto que en ambos casos el porcentaje de clasificacin correcta es bajo, se puede mejorar este porcentaje agregando un padre ms (ver Figura 7), hasta que obtenemos el mximo porcentaje de clasificacin correcta (Ver Figura 5).

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

Figura 5. Evolucin de la clasificacin correcta (CC) de datos

Figura 6. Red bayesiana considerando como mximo un padre en cada nodo

Figura 7. Red bayesiana considerando como mximo dos padres en cada nodo

Como se ve en esta ltima figura, el atributo edad no influye en la red bayesiana, lo mismo ocurre con tres, cuatro, etc. padres, por lo que se elimina, ya que no es determinante en la clasificacin de la enfermedad. Finalmente, la red bayesiana a implementar es la que se muestra en la figura 8.

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

Figura 8. Red bayesiana ptima obtenida para la clasificacin correcta de datos al 98%, considerando que cada nodo admite como mximo 6 padres.

En la siguientes tablas (tabla 4, tabla 5 y tabla 6) mostramos algunas probabilidades de cada nodo obtenidas por el clasificador BayesNet.

Tabla 4. Probabilidad del nodo fiebre

Tabla 5. Probabilidad del nodo enfermedad

Tabla 6. Probabilidad del nodo zona de infeccin

La matriz de confusin obtenida por el clasificador BayesNet se muestra en la tabla 7.

10

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

a b c d e f 63 0 4 0 0 0 | 0 12 0 0 0 0 | 0 0 77 0 0 0 | 0 0 0 19 0 0 | 0 0 0 0 14 0 | 0 0 0 0 0 10 |

<-- classified as a = Varicela b = Herpes Zoster c = Sarampion d = Herpes Simple e = Aftas f = Pitiriasis rosada

Tabla 7. Matriz de confusin

La clasificacin correcta de datos se visualiza en sta matriz y se calcula utilizando la ecuacin (8) y es mostrada en la tabla 3. Como se haba explicado anteriormente, la clasificacin correcta corresponde a la suma de los datos de la diagonal principal de la matriz de confusin. Es decir, el 98% de datos clasificados correctamente. Visualizamos que 4 datos que corresponde a la enfermedad de varicela se clasific como sarampin.

(a)

(b)

(c)
Figura 9. (a) y (b) Algunos formularios del sistema inteligente. (c) Diagnstico de la enfermedad cutnea y su respectivo tratamiento

Finalmente, algunas interfaces del aplicativo en Java se muestran en la figura 9.

5.

Discusin de los Experimentos

En los trabajos previos, el proceso de diagnstico se realiz considerando una base de reglas, a diferencia del presente trabajo donde se consider una base de datos para la clasificacin de datos. El clasificador Nave Bayes considera todos los atributos independientes, en este caso se trabajo con 14 atributos que diagnostican las 6 enfermedades propuestas, de los cuales se eliminaron los atributos de edad y gnero, en vista de que estaban aislados en todos las redes bayesianas experimentadas, con el cual solo se alcanza un 84% de clasificacin correcta.
11

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

Como se puede apreciar en la tabla 3, el algoritmo que presenta una mejor clasificacin de datos es el BayesNet considerando que cada nodo admite como mximo 6 padres. La evolucin del porcentaje de clasificacin con respecto al nmero de padres es tal como se muestra en la figura 5. En esta figura, notamos que si consideramos el algoritmo bayesNet y Naive bayes el resultado es el mismo, ya que en ambos casos se considera que un nodo depende exclusivamente de un padre y la estructura la vemos en la figura 6. Puesto que en ambos casos el porcentaje de clasificacin correcta es bajo, se mejor este porcentaje agregando un padre ms (ver Figura 7), hasta que obtenemos el mximo porcentaje de clasificacin correcta. (Ver Figura 5)

6.

Conclusiones

En el presente trabajo se han utilizado clasificadores bayesianos para el diagnstico de enfermedades, esto a partir de los datos proporcionados por la Clnica de la Piel durante el mes de junio. Para este tipo de datos el clasificador BayesNet usando el algoritmo de bsqueda K2 con 6 padres y como estimador de parmetros el denominado SimpleEstimator fue el que logr una clasificacin correcta del 98%. Podemos, por lo tanto, decir que los clasificadores bayesianos no solamente obtienen buenos resultados en la clasificacin de este tipo de problemas, sino que adems, en los casos en los que no hallan la hiptesis correcta proporcionan buenas alternativas, tomando como stas las siguientes con mayor probabilidad a posteriori. Una mejora al presente trabajo es recolectar mayor cantidad de informacin y mayor cantidad de enfermedades. Lo que se quiso comprobar con este trabajo es que los clasificadores bayesianos se pueden utilizar para el proceso de diagnstico de enfermedades. Es necesario evaluar con otros algoritmos de bsqueda dentro del clasificador BayesNet que proporciona WEKA, para visualizar las diferencias en el clculo de las clasificaciones correctas, as mismo, el uso de otros estimadores.

Referencias
[Bouckaert, 2004] Bouckaert Remco R. (2004) Bayesian Network Classiers in Weka. [Cooper, 1992] G. Cooper, E. Herskovits. (1992) A Bayesian method for the induction of probabilistic networks from data. Machine Learning. [Cox, 2009] Cox N.H. (2009). Diagnosis of Skin Disease. Department of Dermatology. Cumberland Infi rmary, Carlisle, UK. [Hergueta, 2006] Hergueta G. Celia (2006). Sistema de Deteccin y Tratamiento de Enfermedades Cutneas. Escuela Tcnica Superior de Ingeniera. Universidad Pontificia Comillas. [Issa, 2006] Issa O. (2006). Desarrollo de sistemas inteligentes para clasificacin y diagnstico en medicina. Departamento de arquitectura y tecnologa de computadoras. Universidad de Granada. [Jouffe, 2011] Jouffe L. (2011). Introduction to Bayesian Networks Practical and Technical Perspectives. http://www.bayesia.com/en/applications/health.php [Korb, 2004] Korb K.B. y Nicholson A.E. (2004). Bayesian Artificial Intelligence. Chapman & Hall/CRC computer science and data analysis.

12

III CONGRESO INTERNACIONAL

DE

COMPUTACIN

TELECOMUNICACIONES

[Orozco, 2010] Orozco E. (2010). Mtodos de clasificacin para identificar lesiones en piel partir de espectros de reflexin difusa. Escuela de Ingeniera de Antioquia-Universidad CES, Medelln, Colombia. [Pessete, 2002] Pessete R.(2002). Redes Bayesianas no Diagnstico Mdico. Universidade Federal de Santa Catarina. [Weka, 2011] Weka (2011). http://www.cs.waikato.ac.nz/ml/weka/ Data Mining Software in Java.

[Zhang, 2002] Zhang H. (2002). The Optimality of Naive Bayes. Faculty of Computer Science. University of New Brunswick.

13