Intorno al 1100, un’abbazia benedettina, venne costruita proprio sulla sommità del Sasso, probabilmente sorgendo sulle ceneri di un precedente edificio religioso di epoca longobarda. L’abbazia, conobbe fiorenti periodi sino al XIV secolo. Per la sua funzione strategica, l’inaccessibile pianoro del Sasso interessò Malatesta Novello, che decise di realizzarvi un’imponente fortezza. Quando per avverse fortune i Malatesta nel 1520 cominciarono a decadere, il Sasso, passò prima alla Repubblica Fiorentina e poi ai Medici.

Cosimo dei Medici rimase talmente impressionato dai luoghi e decise di costruirvi una vera e propria città fortificata, non solo a scopo difensivo ma anche per consolidare il suo dominio in questa area così periferica. La costruzione ebbe inizio nel 1566 ed in una decina di anni furono costruite mura ed abitazioni, una cappella e la sede del Capitanato di Sestino, istituito nel 1575. Varie vicissitudini, come gli inverni molto rigidi, le distanze ed i difficili collegamenti con i centri principali, fin dall’inizio impedirono uno funzionale sviluppo dell’insediamento.

Nel 1663 la città-fortezza, già in piena decadenza, perse anche il presidio militare. Dell’utopia medicea rimangono oggi quei ruderi che affiorano tra la vegetazione che ricopre il Sasso. Una curiosità: alcuni resti dell’antica abbazia di S. Michele Arcangelo, sorta sulla sommità del Sasso, sono andati ad impreziosire una bella loggia di un edificio cinquecentesco proprio nel borgo di Case Barboni.