Palazzo delle Muse, costruito per volontà del Comitato degli Ospizi Marini, nel 1861 su progetto di Giuseppe Poggi, deve il suo nome al fatto che è stato finanziato col denaro ricavato dalla vendita di opere d'arte, e oggetti di pregio realizzati da vari artisti. Stilisticamente abbraccia la tradizione dell'architettura ottocentesca toscana, abbinata a uno scenografico giardino. Nel 1867 il palazzo iniziò a ospitare i primi bambini affetti da scrofolosi, e di lì a poco ottenne il riconoscimento di Opera Pia. A seguito di alcuni screzi con i cittadini viareggini che mal tolleravano la presenza degli ammalati sulle loro spiagge, l'Ospizio Marino venne trasferito nella moderna struttura ospedaliera del Cinquale dedicata a Giuseppe Barellai, fondatore del comitato degli Ospizi.