En 1309 Jaume Basset cedió a la orden de los Agustinos los terrenos donde en 1349 se inició la construcción de un gran convento en el que las obras duraron muchos años dadas las escasas posibilidades económicas de la orden-
En 1529 se utilizó como Hospital dados los grandes efectos de la epidemia de peste, algunos miembros de orden murieron como consecuencia de la enfermedad.
Durante la guerra de 1714 el edificio sufrió graves daños.
En 1716 Felipe V hizo derribar gran parte del edificio por la construcción de la nueva Ciutadella y traslado la orden a la calle Hospital.
En 1767 se convierte en “Pastim” es decir en el gran horno de pan de la ciudad y es que en esta fecha se liberaliza la fabricación de pan en la ciudad. Efectivamente desde 1537 el conceller de la ciudad decidieron de que la fabricación del pan debía realizarse en un solo punto de la ciudad y desde allí ser distribuido para su venta. El punto elegido fue en la Carrer Tallers. Este Pastim siempre fue víctima de manifestaciones y agresiones por parte de los ciudadanos siempre que el precio de este producto sufría alguna subida. Felipe V decide liberalizar la fabricación del pan y autoriza a las pastelerías a la fabricación del producto, no obstante sigue manteniendo un Horno central en una nueva ubicación, en el convento de Sant Agustí.
Durante la ocupación francesa fue ya utilizado como cuartel y en 1835 fue incendiado al igual que otros conventos de la ciudad.
Posteriormente volvió a ocuparse como cuartel militar y a partir de 1900 se inició la recuperación del edificio para la ciudad.
Museo de chocolate, bares, cafeterías, restaurantes o archivo fotográfico de la ciudad ocupan hoy lo que queda del convento del los Agustins.