Del vecchio castello restano ancora i ruderi di una torre e di un corpo centrale piuttosto massiccio, situati sopra un promontorio che ha l’aspettto di uno scoglio staccato dalla terraferma. In origine doveva essere una fortezza assolutamente inespugnabile dalla quale si poteva agevolmente controllare importante via di traffico maritimo costituita dal fiume Timavo.
Quando nel 1395 la famiglia dei conti di Duino si estinse l’Austria investì al loro posto i signori di Walsee, i quali, ritenuto inadeguato e ormai superato il castello preesistente decisero di costruirne un altro sulla scogliera di Duino dove una volta sorgeva l’antica torre romana.
Il Castello nuovo, come ancor oggi viene chiamato, non sorse più solo come roccaforte per la difesa ma anche come dimora principesca, dotata di tutti gli agi e gli splendori dell’epoca. Dopo i Walsee varie casate si avvicendarono al castello che per un breve periodo cadde anche in mano ai Veneziani, finchè nel 1587 la signoria passò ai Torriani, nobili milanesi signori della Valvassina.
Oggi i principi di Torre-Tasso sono proprietari di entrambi i castelli. Essi avevano completamente ristrutturato ed arredato il castello nuovo quando , con lo scoppio della prima guerra mondiale venne completamente distrutto. La ricostruzione avvenne nel 1920 ed il castello ritornò all’antico slendore. Da allora esso è stato la residenza della famiglia di Torre e Tasso, tranne che per un breve periodo dopo la seconda guerra mondiale, quando vi si insediò il Comando inglese durante l’occupazione degli Alleati.