Le prime informazioni reperite su questa magnifica villa abbandonata risalgono agli inizi del XVII secolo. Il tribunale notarile di Pavie, proprietario delle terre dei Castellaro, le aliena ad Alessandro Meda, nobile di Pavie, i cui discendenti, Lodovico e Bartolomeo del fu Pietro Meda, hanno rivenduto il complesso nel 1719 a Paolo Cornaro di Voghera, discendente di Caterina Cornaro, regina di Chypre.
La famiglia Cornaro è all'origine del progetto di ristrutturazione organizzativa del complesso del 1788 che, con la costruzione dell'edificio residenziale centrale, omogeneizza le strutture originali dei domini Castellaro e Meda in un unico grande edificio a forma di "U" rovesciata.
Costretto ad alienare una parte del patrimonio familiare per far fronte all'obbligo di pagamento alle numerose figlie, l'ingegnere Giuseppe di Paolo Cornaro vendette la proprietà dei Castellaro a Luigi Sperati di Voghera nel 1829.
Più proprietari si succedono prima che nel 1927 diventi la residenza della contessa Carolina Branca di Romanico, un nome che rimane nell'immaginario collettivo come colui che ha fatto la fortuna della residenza e che gli ha dato il nome.
