La dimora venne fondata sul luogo ove sorgeva una fortificazione[1]altomedievale[2][3] del XII secolo,[4] oggi non più esistente, alcuni resti della quale vennero inglobati nella cinta muraria del giardino[4].
La posa della prima pietra è datata tra il 1586[8][3][1] e il 1587[6], e la sua costruzione viene attribuita dallo storico Giuseppe Maria Stampa nelle sue "Notizie storiche" al magistro Giacomo Curti di Gravedona. L'edificio venne però ultimato dopo il 1607, anno della morte del cardinale,[5] che non poté quindi mai abitarvi.
Palazzo Gallio passò ai nipoti del Cardinale, i duchi d'Alvito, ma non fu mai utilizzato come residenza vera e propria.[5]
Dopo essere stata completata nel 1620,[5] la struttura visse un periodo di abbandono.[4]
Durante l'occupazione da parte dei francesi e degli spagnoli[5] fu utilizzato come ospedale, e durante la guerra che nel 1636 vide contrapposti proprio gli schieramenti di queste due potenze europee venne incendiato da Enrico II di Rohan.[2]
La villa è una solida mole quadrata[4] che nelle quattro torri angolari ricorda l'antica vocazione castellana del luogo, mentre nelle due logge aperte sulle facciate verso il lago e verso monte si inserisce nella tradizione delle ville rinascimentali. I vani interni si articolano attorno ad un grande salone centrale, che partendo dalle logge attraversa l'edificio per tutta la sua lunghezza.[1][3][5] Al primo piano si trova una cappella affrescata[9].
Il palazzo era circondato da un giardino citato fin dal 1500 per le rare essenze, che attualmente si distende verso monte, ed e caratterizzato dalla presenza di numerosi alberi di camelia. A questo proposito, ogni anno, la settimana precedente la Pasqua, nel Palazzo e nel giardino si tiene la "Mostra delle Camelie"[1].
Gilda Grigioni della Torre, Ville storiche sul lago di Como, Prilla & Verlucchi.
Luigi Mario Belloni, Renato Besana e Oleg Zastrow, Castelli basiliche e ville - Tesori architettonici lariani nel tempo, a cura di Alberto Longatti, Como - Lecco, La Provincia S.p.A. Editoriale, 1991.
Touring Club Italiano (a cura di), Guida d'Italia - Lombardia (esclusa Milano), Milano, Touring Editore, 1999, ISBN88-365-1325-5.