La sua origine medievale è documentata dalle distruzioni subite nel 1170 e 1227.
Sotto controllo dei figli di Castruccio Castracani divenne il più importante presidio lucchese nella valle del Serchio.
Nel 1390 fu ampliato e dotato di torri ed alla seconda metà del '400 risale probabilmente l'intervento di potenziamento del sistema difensivo del borgo con l'ampliamento delle mura e la realizzazione delle torri cilindriche.
Il mancato atto di dedizione agli Estensi della comunità di Castiglione, una delle poche comunità garfagnine rimaste fedeli a Lucca, ed il suo conseguente isolamento, rese necessari tali interventi.
Nella parte più elevata del borgo si erge la rocca, nucleo centrale del sistema difensivo.