Le Conservatoire, en plein centre historique