El Sr.Josep Xifré i Casas nace en Arenys de Mar 1777 y en 1789  tuvo que huir a Cuba perseguido por los acreedores que a la muerte de su padre querían cobrar las deudas por este generadas.

En Cuba y en poco tiempo paso a ser multimillonario, como contrabandista, fabricante de curtidos, propietario de plantaciones e incluso banquero y las leyendas lo señalan como traficante de esclavos, en definitiva un indiano, si bien la versión oficial era de que sus negocios eran el comercio de pieles curtidas, café y azúcar.

En 1818 se casa con una joven heredera de un rico Americano de origen Irlandés.

A pesar de que siempre tiene el deseo de volver a Barcelona, su mujer se niega en redondo por lo que en 1831 vuelve solo a la Catalunya y su mujer se queda a vivir en París hasta 1854 que por fin viaja a Barcelona para vivir con su marido.

Pero antes de su vuelta y en el año 1836 encarga la construcción a los arquitectos Francesc Vila y Josep Boixareude un gran edificio en el Paseo de Isabel II, frente a la Bolsa de Barcelona y lindante al lugar que ocupaba la antigua muralla de salida al mar.

En el edificio se pueden ver una serie de medallones con personajes notables y motivos de tipo mitológico, también se pueden ver símbolos masónicos y en un principio se pretendía que la parte superior del edificio fuese un observatorio astronómico pero finalmente se descartó el proyecto.

Ferdinand Lesseps ingeniero y cónsul Francés en la ciudad y constructor del Canal de Suez y el de Panamá fue un gran amigo de Xifré y compartieron una gran afición por la alquimia y una fuerte vinculación con la masonería.

Los bajos fueron rematados con unos arcos y unas grandiosas porchadas donde desde un inicio se instaló un restaurante que sigue abierto.

Es el primer edificio del que se tenga constancia que es fotografiado en España por Ramin Alabern, en 1839 y es el edificio donde se instala la familia Picasso a su llegada a Barcelona.

El Sr.Xifré no vivo nunca allí ya que prefirió su torre de Horta donde murió en 1856.