domingo, diciembre 04, 2005

Sobre los benchmark

Hace unos días escribi en el foro que mantienen en sourceforge los responsable de Eaccelerator, el resultado de los mini-benchmark que hice comparando PHP, PHP+Eaccelerator y PHP+APC.

Uno de los desarrolladores del Eaccelerator me contesto que no debia hacer en los script con los que hago las mediciones ninguna consulta a la base de datos. En mis pruebas utilice un script real de nuestro trabajo diario y que esta en producción. Su opinión se basa en que eso puede degradar el resultado introduciendo algún tipo de error en la medición que se hace. No le falta razón. Los aceleradores de cache de PHP se basan en que ahorran el tiempo de preprocesado de los scripts evitando tener que repetir ese calculo cada vez que se solicita una página, por lo tanto, la medición de aspectos no realacionados con eso (consulta a la BD que hacen que el resultado dependa del tiempo de respuesta del servidor de base de datos) quedaría fuera de lugar.

Pero otra respuesta que han dado es que los benchmark basados en testear funciones exclusivas de PHP (scripts no-reales) dan resultados que estan alejados de la realidad y que cuando se prueba con 'la versión real' del site, entonces distan mucho del resultado obtenido en las pruebas con los scripts 'no-reales'.

Las dos opiniones las considero válidas. Lo que queda claro es que no se debe tomar a pie juntillas unas pocas mediciones basadas en un único aspecto, se deben hacer más, en diferentes escenarios y condiciones para poder comparar los resultados en mejores condiciones.

No hay comentarios:

Publicar un comentario

Cómo utilizar el servicio Secrets Manager para guardar las claves privadas de SSH

Para guardar la clave privada en el servicio Secrets Manager como un secreto en modo texto sin formato, sigue estos pasos Supongamos que la ...