ano Valdez Estimaciones Validez de las Predicciones en la Estimacion de Costes Javier Dolado © dolado@si.chu.es (5-Enero-1999) Trabajo realizado con apoyo de los proyectos CICYT TIC98 1179-E y UPV-EHU 141.226 EA083/98 Introduccion De todos es sabido que una buena estimacién inicial del coste de un proyecto es una de las mayores necesidades en la gestién de! proyecto. fen diversos métodos para realizar estimaciones iniciales del esfuerzo de desarrollo, y casi todos ellos utilizan datos de proyectos anteriores para calcular las nuevas predicciones. Nos podemos imaginar que, dependiendo del método utilizado, obtendremos mejores o peores resultados. Se han utilizado diversos métodos en la estimacién, comenzando por la regresién clasica, razonamiento basado en casos, redes neuronales, programacién genética y otros. Aunque existen diferencias entre los mismos, y unos métodos funcionan mejor que otros, todavia no se puede decir que exista un procedimiento notablemente superior al resto. La eleccién de uno u otro método de estimacién se realiza segun las caracteristicas del entorno de estimacién (experiencia con los métodos, etc.) y segiin los valores que proporcionan determinadas variables estadisticas. En los parrafos siguientes se definen las variables mas habituales para evaluar los resultados. Algunas medidas muy comunes, tales como el coeficiente de correlacién y el coeficiente de determinacién R?, pueden dar una idea equivocada sobre las capacidades predictivas del modelo de estimacién en cuestién. Por lo tanto, se debieran examinar también medidas, claramente predictivas, como son el Nivel de Prediccién y la Magnitud Media del Error Relativo. Aunque no se estudiar’ en estas paginas, también es una cuestion importante para la definicién de modelos de estimacién la de si se utiliza una parte de la muestra para construccién y otra para evaluacién del modelo, o si se utiliza cl mismo conjunto de datos para la construccién del modelo de estimacién y para la evaluacién, Algunas medidas de la bondad de la estimacién y de la capacidad de prediccién En [a literatura se suele encontrar que los criterios para determinar la bondad de las predicciones se basa en el examen de los valores del coeficiente de correlacién y, principalmente, del coeficiente de determinacién R? (tambign denominado coeficiente de correlacién miltiple al cuadrado 0 coeficiente de determinacién miltiple). * Coeficiente de determinacién multiple, R2, y R? ajustado, son algunas medidas habituales en el anilisis de regresién, denotando el porcentaje de varianza justificado por las variables independientes, EL R? ajustado tiene en cuenta el tamafio del conjunto de datos, y su valor es ligeramente inferior al de su correspondiente R? [Norusis, 1993]. ELR? es un criterio de valoracién de la capacidad de explicacién de los modelos de regresién, y representa el porcentaje de la varianza justificado por la variable independiente. Se puede interpretar como el cuadrado del coeficiente de correlacién de Pearson entre las variables dependiente e independiente, o también como el cuadrado del coeficiente de correlacién entre los valores reales de una variable y sus estimaciones. Si todas las observaciones estan en la linea de regresién, el valor de R? es 1, y si no hay relacién lineal entre las variables dependiente ¢ independiente, el valor de R? es 0. El coeficiente R? es una medida de la relacién lineal entre dos variables. A medida que su valor es mayor, el ajuste de la recta a los datos es mejor, puesto que la variacién explicada es mayor; asi, el desajuste provocado por la sustitucién de los valores observados por los predichos es menor. Los valores que se han obtenido para el cocficiente R? en los diferentes estudios publicados, por ejemplo, sobre los puntos de funcién varian desde 0,44 hasta 0,87. Apoydndose en estos valores, algunos autores afirman la validez de la técnica de los puntos de funcién, Sin embargo, es una conclusién que no se desprende directamente de esos datos. Fijémonos que son valores explicativos, no predictivos. Tanto el R? como el coeficiente de correlacién no son las medidas més adecuadas para evaluar la predieeién de un modelo; en el mejor de los casos se trata de medidas del ajuste de la ecuacién a los datos, no de la capacidad hiipuiwwn se shuesfwdocoiramisicocsIvalidezvaidez tm 16ano Valdez Estimaciones predictiva del modelo. En algunos casos la idea que nos transmite el R? puede coincidir con la de las variables que a continuacién se muestran, pero en otros no. Desde este punto de vista, las variables mas convenientes para la evaluacién son PRED(0,25), nivel de prediccién al 25%, y MMRE, magnitud media del error relativo, definidas en [Conte et al., 1986], y descritas a continuacién. MMRE e-8 a2fe * Magnitud Media del Error Relativo, MMRE, se define como at ', donde ¢ es el valor real de la variable, é es su valor estimado y n es el ntimero de proyectos. Asi si el MMRE es pequefio, entonces tenemos un buen conjunto de predicciones. Un criterio habitual para considerar un modelo como bueno es el de MMRE < 0,25. La Figura 1 muestra las distancias que se utilizan para el céleulo de esta medida. 1200 1000 200 Effort 600. 400 200 0 2000 4000) 6000 #000 yoo0a LOC 46L Figura |. Distancias utilizadas en el MMRE. Las lineas continuas representan la diferencia entre el valor real yelestimado. * Prediccion de Nivel |-PRED(I)-, donde / es un porcentaje, se define como el cociente del numero de casos en los que las estimaciones estén dentro del limite absoluto / de los valores reales entre el niimero total de casos. Por ejemplo PRED(0.1) = 0,9 quiere decir que 90% de los casos tienen estimaciones dentro del 10% de sus valores reales; PRED(0,25) = 0,9 quiere decir que el 90% de los casos tiene estimaciones dentro del 25% de sus valores reales. Un criterio habitual para aceptar un modelo suele ser el de PRED(0,25) 2 0,75, aunque algunos autores rebajan este requisito, La Figura 2 representa gréficamente el nivel de prediccién. hiipuiwwn se shuesfwdocoiramisicocsIvalidezvaidez tm 26ae 0 2000 4000) 6000 #000 yoona LOC 46L 1200 1000 200 Effort 600 400 200 Figura 2. El nivel de prediccién se calcula sumando el ntimero de veces que la linea continua se corta con los trazos verticales (rango del 25% de los valores reales), y después dividiendo esa suma entre el niimero total de puntos. Volviendo a lo comentado anteriormente sobre los puntos de funcién y utilizando estos dos criterios, la supuesta capacidad de prediccién de esas variables disminuye notablemente. Este es un caso donde los valores de explicacién pueden desfigurar la verdadera capacidad predictiva [Dolado y Ferndndez, 1998], Igual ocurre en algunos modelos de estimacién de costes mediante las lineas de c6digo. Analisis de varios conjuntos de datos La Tabla I muestra los resultados finales obtenidos para diversos conjuntos de datos. En la columna "Valores de Explicacién" aparecen descritos el coeficiente de correlacién miltiple R (Multiple R), el R? (R Square) - en negrita-, y el R? ajustado (Adjusted R Square). En la dltima columna se muestra la ecuacién que mejores valores consigue en el PRED(0,25) y en el MMRE. De esta manera podemos comparar los valores explicativos con los valores predictivos. En todos los casos observamos el "optimismo" del R? en comparacién con las variables explicativas. Excepto en el ultimo caso (datos de 1997, en el J. of Systems and Software), donde el R? presenta un valor bajo (0,4) y unos valores no muy buenos de las variables explicativas, en el resto de datos el R? nos invita a pensar en buenas capacidades predictivas, cuando lo tinico ‘que tenemos es una cierta explicacién, Por ejemplo, en el primer conjunto de datos el valor del R? de 0,84 es excesivamente bueno para después obtener un PRED(0,25)=53,4, que no se puede considerar muy aceptable. No obstante el MMRE entra dentro del limite de lo aceptable. Los R? expuestos son los que corresponden a los mejores valores predictivos segiin lo denotado por las variables PRED(0,25) y MMRE, lo que todavia nos indica que pueden existir diferencias mayores a la: presentadas en la tabla; de hecho esto ocurre, puesto que han aparecido algunas ecuaciones de regresién con mejores valores en el R? que los mostrados en la tabla 1. Es curioso el caso de los conocidos datos de B, Boehm en los que una simple regresién sobre los datos consigue unos valores predictivos muy pobres. Sin embargo COCOMO mejora considerablemente los resultados predicitvos, indicando que las ecuaciones de COCOMO incorporan "conocimiento" a los datos, hiipuiwwn se shuesfwdocoiramisicocsIvalidezvaidez tm 36ano Valdez Estimaciones sobre todo a través de los multiplicadores. Tabla 1. Valores de R, PRED(0,25) y MMRE para diversos conjuntos de datos Origen de los Datos VALORES DE EXPLICACION ESTIMACION DE LA CURVA Y VALORES DE LAS VARIABLES DE PREDICCION Abran Robillard, IEEE Multiple R 91844 Ecuacion = 66.889138-+4,487206: xf hiipuiwww se shu.esdocoiramisicocsivalidezvalidez tm TSE, 1996 ~ 0.008534 su? Pred (0.25) 57.14 MMRE 0.2339 Multiple R 88005, ; R Square Miyazaki etal, . 77450 Ecuacién 0.946861 - blac? Pred (0.25) 42.55 MMRE 0.3999 Multiple R 72057 Aproximaciona || square los datos de i6 e297 Matson et al, .51922 || Ecuacin 10051811 fp JEEE TSE, 1994 Adju: R Square 51450 Pred (0.25) 27.88 MMRE 0.8485 Beladyy || Multiple R |Ecuacion 0.003067. foc #2 Lehman, 1979 . 88388 R Square 78124 462aono17 Valdez Estimaciones Adjusted R Square .77418 Pred (0.25) 33.33 MMRE 0.6258 Multiple R 85862 R Square Boehm, 1981 -73723 Ecuacién 0.001852. foc? Adjusted R Square . 73293 Pred (0.25) 17.46 MMRE 1.1336 Conjunto de Multiple R datos 712805 combinacién de los de Albrecht || R Square y 53006 || Ecuacién 0.001267: fp'70% Gaffney, (IEEE TSE 1983) y los || Adjusted R de Kemerer, Square CACM, 1987 735 Pred (0.25) 7.69 MMRE 118 Multiple R - 63998 R Square Potad SS: 40957 || Ecuacién 1,995953- foe 068 Adjusted R Square 39674 Pred (0.25) 37.99 MMRE 0.4375 Conclusién En bastantes articulos sobre modelos de estimacién nos podemos encontrar con validaciones de modelos (o de métodos) en los que las dnicas variables documentadas son el coeficiente de correlacién y el coeficiente de determinacién, que son variables estadisticas relacionadas con el ajuste a los datos del modelo especificado. Y téngase en cuenta también que el R? se construye desde el punto de vista de la regresién lineal. Bien es cierto que las transformaciones de las variables dependiente e independiente nos permiten hiipuiwwn se shuesfwdocoiramisicocsIvalidezvaidez tm 56ano Valdez Estimaciones construir otros tipos de relaciones y seguir utilizando el R?, correctamente, para la explicacién, Pero resulta inaplicable a otros modos de estimar como, por ejemplo, el juicio de expertos, razonamiento basado en casos, ete. En definitiva, lo que queremos es realizar predicciones lo més acertadas posibles, sin importamnos el método; aceptariamos hasta la bola magica, si ésta funcionara. Y para medir esa capacidad de prediccién se deben utilizar variables predictivas principalmente, no solo explicativas. Ademas, siempre deben tenerse en cuenta la aparicién de casos anémalos, la normalidad de los datos (dificilmente conseguible, por otra parte), la colinealidad entre variables independientes y muchas otras. Se pueden cuestionar todavia més aspectos problematicos a la hora de dar validez a un modelo predictivo, y ‘que muchas veces son descuidados cuando se construyen, validan e, incluso, se enseiian, Sélo una vision global de todas las variables, las de ajuste y las puramente expresivas de capacidad de prediccién nos pueden mostrar verdaderamente las posibilidades de nuestro método y de nuestros datos. Referencias + [Conte et al., 1986] .D. Conte, H.E, Dunsmore y V.Y. Shen, Software Engineering Metrics and Models, Benjamin/Cummings, 1986 Es el primer libro de texto dedicado a la medicién. Aunque gran parte del texto esti ya obsoleto, todavia se puede aprender mucho en algunas de sus paginas. El capitulo dedicado al andlisis estadistico es una buena introduccién a los problemas de anilisis de las estimaciones. * [Dolado y Fernandez, 1998] J.J. Dolado y L. Fernindez, “Genetic programming, neural networks and linear regression in software project estimation”, INSPIRE III, pp 157-171, 1998, Se comparan diversos métodos de estimacién ulilizando, ademas, diferentes muestras en cada conjunto de datos. + [Norusis, 1993] M. J. Norusis, Documentation SPSS for Windows, SPSS, Inc., Chicago, 1993. Sorprendentemente, este manual de un producto comercial es uno de los textos mas didacticos sobre estadistica aplicada, y sus capitulos sobre regresién son muy claros. Origen de los datos Los datos utilizados en la tabla 1 se pueden conseguir en las siguientes referen: A. Abran y P.N, Robillard, “Function Point Analysis: An Empirical Study of Its Measurement Processes”, IEEE Trans on Software Engineering, Vol. 12, No. 12, December 1996, pp. 895-910 A.J. Albrecht, y JE. Gaffney, "Software Functions, Source Lines of Code, and Development Effort Prediction: A Software Science Validation", IEEE Trans. Software Eng., vol. 9, no. 6, Nov. 1983, B. Boehm, Software Engineering Economics, Prent ‘Hall, 1981 J.J. Dolado, A Study of the Relationships among Albrecht and Mark II Function Points, Lines of Code 4GL. and Effort, Journal of Systems and Software, Vol. 37, pp 161-173, May 1997 Y. Miyazaki, M. Terakado, K. Ozaki y H. Nozaki, Robust Regression for Developing Software Estimation Models, Journal of Systems and Software, Vol. 27, pp. 3-16, 1994 hiipuiwwn se shuesfwdocoiramisicocsIvalidezvaidez tm 66