Fu donato dal Comune di Assisi ai benedettini; questi ultimi lo cedettero poi a san Francesco, affinché si potesse "carcerare" nella meditazione.
Ampliato nel 1400 da san Bernardino da Siena con la costruzione della chiesa di Santa Maria delle Carceri, che ha inglobato una primitiva cappella, preesistente a san Francesco, e di un piccolo convento, l'eremo è posto in un bosco di lecci secolari circondato da grotte e da piccole cappelle dove i pellegrini si ritirano ancora oggi in contemplazione.
Provenendo dalla strada che risale il monte Subasio, si prosegue per un acciottolato fino ad una volta in muratura, oltrepassata la quale si trova il Chiostrino dei frati, una terrazza triangolare che si affaccia a strapiombo sul fosso delle Carceri.
Alle estremità del chiostro vi sono le porte che conducono al refettorio dei frati e alla chiesa di Santa Maria delle Carceri. Al piano superiore del refettorio sono situate le celle dei frati.
Leccio secolare presso la grotta di San Francesco.
Nel bosco, appena fuori dal santuario, nei pressi del sentiero che conduce alla grotta di frate Leone, è sita la Cappella di san Barnaba, normalmente chiusa al pubblico, con al proprio interno un altare a Tau ed una pala cinquecentesca raffigurante Gesù deposto dalla Croce.
La tradizione francescana
L'eremo delle Carceri è un luogo immerso in un bosco di lecci. Sono molti i racconti di miracoli che si associano a questo sito:
Nei pressi della grotta di San Francesco si trova un leccio secolare dove erroneamente molti credono ebbe luogo la predica agli uccelli di San Francesco, che in realtà le fonti storiche attestano essere avvenuta fuori del comune di Assisi e in particolare a Piandarca nel comune di Cannara, a pochi chilometri dalla città serafica, nella vallata sottostante.
Tradizione vuole che il burrone che si trova nei pressi del monastero sia in realtà il letto di un fiume, oggi in secca, le cui acque furono prosciugate da san Francesco poiché disturbavano la sua meditazione e quella dei suoi discepoli.
Nella grotta di san Francesco è presente un buco nel terreno dal quale si può intravedere il fondo del burrone. Si racconta che questo buco sia stato provocato dal demonio, sprofondato nell'abisso quando fu scacciato da Rufino (uno dei primi compagni di Francesco).
Nel mezzo del chiostro è presente un pozzo nel punto in cui, secondo una leggenda, san Francesco, tramite un miracolo, fece sgorgare dell'acqua.