En 1481 Andrea Loredan avait acquit quelques bâtiments d'époque gothique à la famille Memmo, avec le projet de les faire abattre afin de construire son propre palais sur le Grand Canal.
C'est seulement en mars 1502 que l'autorisation de construire fût accordée. Le chantier confié à Mauro Codussi fût terminé par son fils Domenico en 1509.
Ce palais est remarquable par son impression de légèreté donnée par la succession quasi ininterrompue de fenêtres en "biflore" qui se répètent le long de la façade.
Le rez-de-chaussée était décoré de fresques de Giorgione, malheureusement ces fresques dégradées furent recouvertes d'enduit.
Après être passé entre différentes mains, le palais fût finalement acquit par un marchand de Candie : Vettor Calergi. Selon la tradition, l'aile droite du palais aurait été abattue sur ordre du Sénat, en punition pour le meurtre de Francesco Querini Stampalia, perpétué en ces lieux par les frères Vettor, Zuane et Pietro Grimani-Calergi.
En 1844 le palais fût cédé à Marie Caroline duchesse du Berry. Son fils le duc de Chambord le divisa en appartements de location.
C'est dans un de ces appartement, situé en mezzanino, que Richard Wagner s'éteignit en 1883.

Actuellement le palais est le Casino d'hiver de Venise