Nel 1160 durante la lotta tra Milano e il Barbarossa, l'arcivescovo Uberto I occupò il castello di Frascarolo per assicurarsi il controllo della Valganna e della Valceresio, nei confronti della filoimperiale Como. Da allora il castello venne affidato alla abbazia benedettina di Ganna. Giunse alla famiglia Medici di Marignano, che lo possiede tuttora, tramite Giovanni Angelo de' Medici, futuro papa Pio IV, ultimo abate commendatario di Ganna nel 1543. QUando il fratello Gian Giacomo, detto il Medeghino, sposò nel 1545 Maria Orsini, il castello venne trasformato in vila residenziale, anche se solo nel 1545 la famoglia Medici ne entrò in pieno possesso.
La costruzione, immersa in un grande parco con giardino all'italiana, è caratterizzata da portici e loggiati affrescati.
La tradizione orale riporta che Margherita Medici, consorte del conte Gilberto II Borromeo di Arona, in quei giorni ospite a Frascarolo, desse alla luce, il 18 ottobre 1538, il figlio Carlo, proprio nella dimora indunese dei Medici. Poiché, per leggi di successione feudale, era necessario che l’erede nascesse nei territori del feudo, Carlo e sua madre vennero immediatamente (e in gran segreto) riportati ad Arona, dove i Borromeo risiedevano nella famosa Rocca, poi andata distrutta.
E così anche se Arona ricostruì in una chiesa la "Camera natale di San Carlo", a Frascarolo vi è tuttora una stanza, chiamata la "Camera di San Carlo" e un orto "l'orto di San Carlo" che, quanto meno, testimoniano i soggiorni di Carlo giovinetto presso gli zii marchesi Medici.
Alcuni storici definiscono tale avvenimento una fantasia popolare in quanto gli atti ufficiali attestano che i Medici divennero proprietari del castello solo cinque anni dopo la nascita di Carlo.