Au début du XVIIème siècle Francesco Contarini, de la branche dite : "degli Scrigni", acquière avec l'ancien palais gothique, le terrain à sa gauche. Il pose alors à son architecte, Vincenzo Scamozzi, le problème délicat de construire un nouveau palais ne formant à l'intérieur qu'une seule habitation, alors que la façade de cette extension devait apparaitre comme un "autre" palais de style plus conforme à l'époque. Débutés en 1608 les travaux se terminent en 1630, et de l'avis général, Scamozzi à signé là son œuvre  la plus remarquable d'un point de vue technique et esthétique.