Se edifica y posteriormente se inaugura por el regidor Juan Fernández (dueño de una huerta de su nombre) el 16 de julio de 1611.[2] Una de las funciones que tuvo fue la de ser una alojería (quiosco para el suministro de refrescos).[3] Debido a su mal estado de conservación en los años inmediatamente posteriores a su finalización, se acusó de corrupción a Juan Fernández, llegando incluso a expresarse esta sospecha en forma de versos por el Conde de Villamediana:
¡Buena está la torrecilla!
¡Tres mil ducados costó !
Si Juan Fernández lo hurtó,
¿qué culpa tiene la Villa?
Carlos Cambronero demostró lo infundado de las acusaciones contra Juan Fernández, ya que la obra llegó a ser tasada el 16 de marzo de 1621 por Juan Díaz, alarife de la villa, y Juan de Herrera, maestro de obras y aparejador de las de la Real Casa.
Con objeto de la urbanización de los jardines del Retiro de Madrid se procede a su derrumbe a finales del siglo XVIII. Las reformas fueron planificadas y ejecutadas por José de Hermosilla y Ventura Rodríguez y la causa de su derrumbe fue que su emplazamiento al final de la Carrera de San Jerónimo impedía la materialización del proyecto en ese tramo del paseo.
↑Lopezosa Aparicio, C.: “Un singular edificio del Prado Viejo de San Jerónimo: La torrecilla de música” en Anales de Historia del Arte, R.U.C.M., nº 5, Madrid, 1995, pp:. 93-100.