Ejemplos de Mtricas

Tablas de Mtricas
Organizadas por caracterstica y subcaracterstica, cada mtrica contiene:

1. Nombre 6. Tipo de escala

2. Propsito 7. Tipo de medida
3. Mtodo de aplicacin 8. Fuente de medicin
4. Medidad, frmula y cmputo de 9. Referencia a ISO/IEC 12207
datos SLCP
5. Interpretacin del valor medido 10. Audiencia

1. Mtricas de Funcionalidad
1. Adecuidad
2. Exactidud
3. Interoperabilidad
4. Seguridad
5. Conformidad de la funcionalidad

1.1. Ejemplo de Mtrica de Adecuidad

Nombre: Completitud de implementacin funcional
Propsito: Qu tan completa est la implementacin funcional.
Mtodo de Contar las funciones faltantes detectadas en la evaluacin y comparar con el nmero de
aplicacin: funciones descritas en la especificacin de requisitos.
Medicin, frmula: X = 1 - A/B
A = nmero de funciones faltantes
B = nmero de funciones descritas en la especificacin de requisitos
Interpretacin: 0 <= X <= 1
Entre ms cercano a 1, ms completa.
Tipo de escala: absoluta
Tipo de medida: X = count/count
A = count
B = count
Fuente de Especificacin de requisitos
medicin: Diseo
Cdigo fuente
Informe de revisin
ISO/IEC 12207 6.6 Validacin
SLCP: 6.6 Revisin conjunta
 Audiencia: Requeridores
Desarrolladores

2. Mtricas de Fiabilidad
1. Madurez
2. Tolerancia a fallos
3. Recuperabilidad
4. Conformidad de la fiabilidad

2.1. Ejemplo de Mtrica de Madurez

Nombre: Suficiencia de las pruebas
Propsito: Cuntas de los casos de prueba necesarios estn cubiertos por el plan de pruebas.
Mtodo de Contar las pruebas planeadas y comparar con el nmero de pruebas requeridas para obtener una
aplicacin: cobertura adecuada.
Medicin, frmula: X = A/B
A = nmero de casos de prueba en el plan
B = nmero de casos de prueba requeridos
Interpretacin: 0 <= X
Entre X se mayor, mejor la suficiencia.
Tipo de escala: absoluta
Tipo de medida: X = count/count
A = count
B = count
Fuente de medicin: A proviene del plan de pruebas
B proviene de la especificacin de requisitos
ISO/IEC 12207 Aseguramiento de Calidad
SLCP: Resolucin de problemas
Verificacin
Audiencia: Desarrolladores
Mantenedores

3. Mtricas de Usabilidad
1. Entendibilidad
2. Aprendibilidad
3. Operatibilidad
4. Atractivo
5. Conformidad de la usabilidad

3.1. Ejemplo de Mtrica de

Entendibilidad
Nombre: Funciones evidentes
Propsito: Qu proporcin de las funciones del sistemas son evidentes al usuario.
Mtodo de aplicacin: Contar las funciones evidentes al usuario y comparar con el nmero total de funciones.
Medicin, frmula: X = A/B
A = nmero de funciones (o tipos de funciones) evidentes al usuario
B = total de funciones (o tipos de funciones)
Interpretacin: 0 <= X <= 1
Entre ms cercano a 1, mejor.
Tipo de escala: absoluta
Tipo de medida: X = count/count
A = count
B = count
Fuente de medicin: Especificacin de requisitos
Diseo
Informe de revisin
ISO/IEC 12207 SLCP: Verificacin
Revisin conjunta
Audiencia: Requeridores
Desarrolladores

4. Mtricas de Eficiencia
1. Comportamiento en el tiempo
2. Utilizacin de recursos
3. Conformidad de la eficiencia

4.1. Ejemplo de Mtrica de

Comportamiento en el Tiempo
Nombre: Tiempo de respuesta
Propsito: Cul es el tiempo estimado para completar una tarea.
Mtodo de aplicacin: Evaluar la eficiencia de las llamadas al SO y a la aplicacin.
Estimar el tiempo de respuesta basado en ello. Puede medirse:

Todo o partes de las especificaciones de diseo.

Probar la ruta completa de una transaccin.
Probar mdulos o partes completas del producto.
Producto completo durante la fase de pruebas.

Medicin, frmula: X = tiempo (calculado o simulado)

Interpretacin: Entre ms corto, mejor.
Tipo de escala: proporcin
Tipo de medida: X = time
Fuente de medicin: Sistema operativo conocido
Tiempo estimado en llamadas al sistema
ISO/IEC 12207 SLCP: Verificacin
Revisin conjunta
Audiencia: Desarrolladores
Requeridores
5. Mtricas de Mantenibilidad
1. Analizabilidad
2. Cambiabilidad
3. Estabilidad
4. Examinabilidad
5. Conformidad de la mantenibilidad

5.2. Ejemplo de Mtrica de

Cambiabilidad
Nombre: Registrabilidad de cambios
Propsito: Se registran adecuadamente los cambios a la especificacin y a los mdulos con comentarios
en el cdigo?
Mtodo de
Registrar la proporcin de informacin sobre cambios a los mdulos
aplicacin:
Medicin, frmula: X = A/B
A = nmero de cambios a funciones o mdulos que tienen comentarios confirmados
B = total de funciones o mdulos modificados
Interpretacin: 0 <= X <= 1
Entre ms cercano a 1, ms registrable.
0 indica un control de cambios deficiente o pocos cambios y alta estabilidad.
Tipo de escala: absoluta
Tipo de medida: X = count/count
A = count
B = count
Fuente de medicin: Sistema de control de configuraciones
Bitcora de versiones
Especificaciones
ISO/IEC 12207 Verificacin
SLCP: Revisin conjunta
Audiencia: Desarrolladores
Mantenedores
Requeridores

6. Mtricas de Transportabilidad
1. Adaptabilidad
2. Instalabilidad
3. Coexistencia
4. Remplazabilidad
5. Conformidad de la transportabilidad
6.5. Ejemplo de Conformidad de la
Transportabilidad
Nombre: Conformidad de transportabilidad
Propsito: Qu tan conforme es la transportabilidad del producto con regulaciones, estndares y
convenciones aplicables.
Mtodo de Contar los artculos encontrados que requieren conformidad y comparar con el nmero de
aplicacin: artculos en la especificacin que requieren conformidad.
Medicin, frmula: X = A/B
A = nmero de artculos implementados de conformidad
B = total de artculos que requieren conformidad
Interpretacin: 0 <= X <= 1
Entre ms cercano a 1, ms completa.
Tipo de escala: absoluta
Tipo de medida: X = count/count
A = count
B = count
Fuente de Especificacin de conformidad y estndares, convenciones y regulaciones relacionados.
medicin: Diseo
Cdigo fuente
Informe de revisin
ISO/IEC 12207 Verificacin
SLCP: Revisin conjunta
Audiencia: Requeridores
Desarrolladores

Consideraciones al Utilizar las Mtricas

1. Interpretacin de las mediciones
o Diferencia entre conextos de pruebas y de uso.
o Validez de resultados: procedimientos, fuentes de evaluacin, validacin de datos.
o Equilibrio de recursos de medicin.
o Especificacin correcta.

2. Validacin de las mtricas

o Propiedades deseables: confiable, repetible, reproducible, disponible, indicable, correcta, con significado.
o Demostracin de validez: correlacin, rastreo, consistencia, predictibilidad, discriminacin.
o 7 propiedades deseables en las mtricas
o 7 propiedades deseables en las mtricas

3. Uso de mtricas para estimacin y prediccin

4. Deteccin de desviaciones y anomalas
5. Presentacin de resultados de medicin
o Grficas de barras, matriz de desempeo, grficas de Pareto, grficas de correlacin, etc.

Modelo de Medicin de la Calidad

Actividad 1 Actividad 2 Actividad Actividad 4 Actividad 5 Actividad 6 Actividad Actividad 8
3 7
 Fase Anlisis de Diseo de Diseo Codificacin y Integracin y Integracin y Instalacin Aceptacin y
requisitos arquitectura detallado de pruebas de pruebas de pruebas de apoyo
software software software sistema

Referencia Calidad requerida Calidad en Calidad en Calidad en uso Calidad en Calidad en Calidad en Calidad en
modelo 9126 por el usuario uso predicha uso predicha uso predicha uso predicha uso uso medida
Calidad interna Calidad predicha Calidad Calidad Calidad predicha Calidad
requerida externa Calidad externa externa externa Calidad externa
Calidad externa predicha externa medida medida medida externa medida
requerida Calidad predicha Calidad Calidad Calidad medida Calidad
interna Calidad externa externa interna Calidad interna
medida interna predicha predicha medida interna medida
medida Calidad Calidad medida
interna medida interna
medida

Entregables Requisitos de Diseo de Diseo Cdigo y Producto y Sistema Sistema Producto

clave calidad del usuario arquitectura detallado de resultados de resultados de intgrado y instalado entregado
Requisitos de software pruebas pruebas resultados de
calidad externa pruebas
Requisitos de
calidad interna

Mtricas Internas (externas Internas Internas Internas y Internas y Internas y Internas y Calidad en el
utilizadas pueden validar externas externas externas externas uso, internas
especificaciones) y externas

Pasos Sugeridos
1. Identificacin de requisitos de calidad
2. Especificacin de la evaluacin
3. Diseo de la evaluacin
4. Ejecucin de la evaluacin
5. Retroalimentacin a la organizacin

Identificacin de requisitos de calidad

Caracterstica Subcaracterstica Peso
Funcionalidad Adecuidad A
Exactidud A
Interoperabilidad B
Seguridad B
Conformidad M
Fiabilidad Madurez B
Tolerancia a fallos M
Recuperabilidad A
Tolerancia a fallos M
... ... ...

Especificacin de la evaluacin
Caracterstica Subcaracterstica Mtrica Nivel Requerido Nivel Obtenido
Funcionalidad Adecuidad
Exactidud
Interoperabilidad
Seguridad
Conformidad
Fiabilidad Madurez
Tolerancia a fallos
Recuperabilidad
Tolerancia a fallos
... ...

Diseo de la evaluacin
Caracterstica Subcaracterstica Entregables Mtricas Mtricas Mtricas
a Evaluar Internas Externas de
a Aplicar a Aplicar Calidad
en el Uso
Funcionalidad Adecuidad 1. 1. 1. (no aplica)
2. 2. 2.
3. 3. 3.

Exactidud 1. 1. (no aplica) (no aplica)

2. 2.
3. 3.

Interoperabilidad ... ... ... ...

Mtricas Internas Puras

Trazabilidad Referencia unificada de datos
Nmero ciclomtico Adecuidad de nombre de variables
Complejidad del flujo de Proporcin de acomplamiento entre
informacin mdulos por datos
Modularidad Enunciados del programa
Tamao del programa Tamao promedio de mdulo
 Enunciados condicionales Proporcin de acomplamiento entre
mdulos por funciones

Midiendo la Calidad del Software

Ante la necesidad de un consenso acerca de los elementos que definen la calidad del
software, ISO desde hace tiempo creo estndares en este sentido. El primero es el ISO
9126, originalmente publicado en 1991 y posteriormente revisado en 2001.
Posteriormente desarroll el estndar ISO/IEC 25010: SQuaRE (Software Product
Quality Requirements and Evaluation), que fue publicado en 2011 y viene a ser el
reemplazo de ISO 9126.

Como ya se explic en el artculo de la Dra. Hanna Oktaba SQuaRE: Modelo

actualizado de las caractersticas de calidad publicado en SG #29, este modelo evala
la calidad desde dos perspectivas: la calidad del producto como tal (calidad interna), y la
calidad de el uso del software (externa). Cada perspectiva considera diversas
caractersticas, y a su vez cada caracterstica puede tener una o ms subcaractersticas.

Caractersticas y subcaractersticas de calidad interna:

Adecuacin funcional: funcionalidad adecuada, funcionalidad correcta, funcionalidad

completa.
Confiabilidad: madurez, disponibilidad, tolerancia a fallos, recuperabilidad.
Eficiencia de rendimiento: tiempo de respuesta, utilizacin de recursos, capacidad.
Operabilidad: reconocimiento de funcionalidad adecuada, facilidad de uso, facilidad
de aprendizaje, proteccin contra errores de usuario, accesibilidad, esttica de la
interfaz de usuario.
Seguridad: confidencialidad, integridad, no rechazo, responsabilidad, autenticidad.
Compatibilidad: interoperabilidad, capacidad de coexistencia.
Mantenibilidad: modularidad, reusabilidad, capacidad de ser analizado, capacidad de
ser modificado, capacidad de ser verificado/probado.
Transmisibilidad/Portabilidad: instalabilidad, adaptabilidad, reemplazabilidad.

Caractersticas y subcaractersticas de calidad externa:

Satisfaccin de uso: utilidad, confianza, placer, comodidad.

Seguridad de uso: mitigacin de riesgos econmicos, mitigacin de riesgos para el
usuario, mitigacin de riesgos ambientales.
Flexibilidad de uso: cobertura del contexto, flexibilidad.
Efectividad de uso.
Eficiencia de uso.
 Aunque algunas de estas caractersticas se pueden medir de manera objetiva, la
mayor parte requieren una evaluacin subjetiva. Esto hace que la manera ms utilizada,
ms rpida, menos costosa y quiz la que ms refleja la realidad, sea la utilizacin de la
experiencia de los empleados de una organizacin. Sin embargo, esto no permite
realizar comparaciones objetivas y presenta algunos otros problemas como que le
pertenece al experto y no a la organizacin, no se puede replicar sistemticamente y no
contribuye a la madurez de la ingeniera de software.

Existe un modelo que puede ser utilizado para la evaluacin de este tipo de variables,
el modelo EPEI (EPCU por sus siglas en ingls) el cual permite en un entorno de
informacin imperfecta (informacin vaga o ambigua), pasar de entornos cualitativos a
entornos cuantitativos. En otras palabras, es un modelo que nos permite a partir de
opiniones (juicio de experto) de una serie de variables subjetivas, determinar un valor
cuantitativo suficientemente razonable, generado por la evaluacin de reglas de
inferencia definidas por expertos. (Valds, 2012).

Caso de estudio para medir la calidad de productos de software

Se realiz un estudio para evaluar la calidad de 44 proyectos. Los proyectos
considerados fueron realizados en 4 reas distintas de una organizacin que trabaja en
un esquema de outsourcing (cada una con un proveedor distinto) controlados por lderes
de proyecto internos, estos fueron los encargados de evaluar la calidad interna de los
proyectos realizados.

De los 44 proyectos solamente 24 se pusieron en produccin, por esta razn slo a

estos ltimos se les evalu la calidad de uso (externa), los usuarios fueron los
encargados de evaluar la calidad de uso de las aplicaciones.

El procedimiento que se sigui para evaluar la calidad interna/externa de los

productos de software fue solicitar a cada lder de proyecto la asignacin de valores para
las caractersticas definidas en el estndar para la calidad externa/interna en relacin a
su proyecto, las caractersticas fueron consideradas como variables de entrada en el
modelo EPEI.

La asignacin de los valores de las variables de entrada se realiz considerando el

juicio de experto de los lderes de cada proyecto, determinndose un valor en un rango
definido de 0 a 5 sobre el dominio de los nmero reales.

Por cada rea de la organizacin se obtuvo el promedio de los valores asignados a

cada una de las caractersticas de calidad considerando todos los proyectos evaluados.

Con los datos promedio de las categoras por rea se calcul el ndice de calidad por
proyecto utilizando el modelo EPCU, de tal manera que se obtuvo un ndice de calidad
promedio que representa la calidad de los proyectos desarrollados en cada rea de la
organizacin.

Esto se realiz para la evaluacin de la calidad externa/interna. Los resultados se

muestran en las figuras 1 y 2.
Figura 1. Asignacin de valores promedio para calidad interna.
Figura 2. Asignacin de valores promedio para calidad externa.

Como se puede observar en este caso de estudio, es posible tener un valor

cuantitativo formal y calculado de una misma forma para los distintos proyectos con
base en las categoras del estndar para evaluacin de la calidad de software SQuaRE,
las cuales se manejan como variables de entrada al modelo EPCU.

Al tener un valor cuantitativo, formal y consistente con los ndices de calidad

calculados, es posible hacer comparaciones, sin embargo, es importante considerar que
adems del ndice como valor de la calidad (externa/interna) se presentan los valores
que alcanza cada una de las variables o categoras de la calidad, lo que puede ser
determinante para definir las estrategias a seguir para mejorarla.

Conclusiones

A travs del modelo EPCU es posible determinar un valor cuantitativo consistente, de

manera formal y que nos permita hacer comparaciones acerca de la calidad de los
productos de software de una manera prctica.

Este modelo permite evaluar a partir del juicio de experto, mediante mecanismos
formales de manejo de informacin imperfecta y con base en el estndar de calidad
ISO/IEC 25000, la calidad de los productos de software tanto desde el punto de vista de
su construccin (calidad interna) como desde el punto de vista del usuario (calidad
externa).
 Debido a que el ndice de calidad es consecuencia de los distintos valores de las
categoras definidas por el estndar, es posible determinar estrategias relevantes y
factibles para incrementar el ndice de calidad a travs de mejorar las categoras de
calidad.

El poder tener un valor cuantitativo de calidad, sin duda, dar certeza al usuario,
sobre todo si el tambin participa en la evaluacin de la calidad externa del producto de
software.

Referencias
[1] H. Oktaba. SQuaRE Modelo Actualizado de las Caractersticas de Calidad. SG
Software Guru, Agosto-Octubre 2010. http://swgu.ru/sg40r13
[2] F. Valds Souto. Design of A Fuzzy Logic Estimation Process for Software Projects.
http://swgu.ru/sg40r14