Pomonte è un antico borgo (le prime documentazioni certe risalgono al sec. XI), ancor oggi dominato dai ruderi del castello ove risiedevano i suoi signori.
Entrato poi a far parte del dominio di Assisi, nei primi decenni del Quattrocento divenne una signoria feudale autonoma, anche se i suoi signori (Crispolti, per un periodo insieme ai Baglioni) furono tutti appartenenti alla nobiltà perugina. I nuovi signori abbandonarono l’antico castello, che cominciò ad andare in rovina e che fu, dalle popolazioni locali, definito «Il Castellaccio», e realizzarono un nuovo centro direttivo della comunità, il c.d. «palazzo baronale», ristrutturando, sul finire del sec. XVI, un antico fortilizio, denominato «Torre di Ugolino», posto in una località pianeggiante e, soprattutto, più vicino al borgo ed alle sue case.
Il palazzo baronale, tuttora esistente, e più volte ristrutturato, ha mantenuto l’antica struttura, fra cui molti saloni decorati da pitture e l’artistica cappella.
Esso è di proprietà privata, ma gli attuali proprietari, che molte cure vi hanno dedicato, ne consentono talvolta la visita.