La biblioteca Carles Morató se situa entre els números 15 i 19 del carrer Castell. Durant l'edat mitjana l'emplaçament formava part del centre comercial de la ciutat, la plaça de l'Escudellaria, on possiblement hi havia un obrador de llana, segons Pere Cascante, l'arqueòleg municipal.
Actualment, es conserven 3 arcs ogivals de l'època, que decoren l'entrada de l'edifici.
L'Ajuntament va comprar l'edifici l'any 2004, en aquell moment conegut com Cal Molins. Les obres de restauració es van portar a terme de l'any 2011 al 2014 a càr-rec de l'arquitecta Anna Feu Jordana, que va convertir l'habitatge en una biblioteca de quatre plantes amb més de 1.200 metres quadrats. La reforma dels caps de biga del segle XVIII és el principal tret distintiu dels treballs de rehabilitació.
