Percorrendo via Roma che ripida e tortuosa sale al Monte, si incontra, nei pressi della sommità, il grande palazzo degli Olivi. La famiglia degli Olivi fu fin dagli inizi del XIII secolo antagonista dei Fortebracci. Gli uni legati a Città di Castello e di fazione ghibellina, lai secondi legati a Perugia e di fazione guelfa. Nel 1280 Faziolo degli Ulivi, con la complicità di Tano degli Ubaldini ordì una congiura nei confronti dei Fortebracci. In questa occasione una parte dei Fortebracci furono assassinati, alcuni ancora in fasce. Vincenzo Giobbi Fortebracci, che nel secolo XVII si pubblicò una storia della propria famiglia, ci informa che nei pressi della rocca erano situati i palazzi delle famiglie più potenti e quello dei Fortebracci era posto a poca distanza da quello degli Olivi separati soltanto dalla chiesa di Santa Maria. La rivalità tra le due famiglie ebbe fine nel 1350 quando una Fortebracci andò in sposa ad un Olivi.