Nel 1536 abbandonò la Serenissima, lasciando Verona, per passare sotto la Francia: venne degradato, confiscati tutti i suoi beni e dichiarato disertore.[1] Partecipò a diverse imprese con il cognato-condottiere Guido Rangoni. Nell'agosto dello stesso anno con il fratello Ercole (i Fregoso erano stati esclusi dagli “Alberghi Nobiliari” nella riforma del Doria), con Guido Rangoni, Cagnino Gonzaga e Barnaba Visconti, con un esercito italo-francese di 12.000 fanti e 800 cavalli, minacciarono Genova, ma all'interno della città nessuno aveva preso parte al loro tentativo di rovesciamento.
Venne assassinato, assieme al diplomatico Antonio Rincon, nei pressi di Rivoli[1] da agenti spagnoli (tra questi, probabilmente, anche Alfonso III d'Avalos[7], governatore di Milano) di Carlo V il 3 luglio 1541. Il suo corpo venne ritrovato vicino a Pavia[1] e fu sepolto a Castel Goffredo[1]. I suoi beni vennero confiscati, dopo che i Veneziani si accorsero che Agostino Abbondio, decapitato a Venezia il 22 settembre 1542, passò al Fregoso alcuni documenti segreti riguardanti la Serenissima[8].
Dalla morte dei due agenti era nato uno scandalo: fu divulgata la notizia che gli assassinati erano latori di lettere al Sultano ottomano nelle quali si richiedeva un intervento dei turchi contro le terre di cristiani. Il re di Francia Francesco I in una lettera del 9 gennaio 1543 rivolta alla Dieta imperiale di Norimberga per spiegare il suo rifiuto ad intraprendere una guerra contro l'Impero Ottomano sostenuta dal suo avversario Carlo V, denunciava un complotto ordito per giustificare l'assassinio dei suoi due inviati avvenuto nel Ducato di Milano.