Il castello domina la collina di Pavarolo ed è una costruzione imponente risalente al XIV secolo, modificata nel corso dei secoli da fortificazione ad abitazione residenziale. Vennero tolte le merlature e le antiche aperture ad arco acuto, di cui è ancora rilevabile qualche traccia, furono sostituite da una serie di finestre rettangolari. Il castello mostra nella bertesca la torretta pensile a forma di cilindro munita di feritoie che domina uno spigolo del castello.   Ai piedi del castello si innalza, isolata dagli edifici adiacenti, la torre, simbolo del paese, rappresentata anche nello stemma del comune. L'edificio, che presenta alla base un'apertura dalla quale svetta una scalinata, ha dato adito a diverse ipotesi circa la sua origine e la sua funzione: torre di difesa, porta d'accesso al recinto che circondava il borgo. Sicuramente, nel XVIII secolo, fu trasformato in campanile e dotato di un orologio.   A poca distanza dalla torre si trova la parrocchiale di Santa Maria dell'Olmo. La costruzione barocca a tre navate sorge molto probabilmente nel sito della primitiva parrocchiale di San Secondo. Il santo è rappresentato in un affresco dipinto sulla volta della navata centrale, che presenta sullo sfondo lo stesso comune, riconoscibile per i suoi monumenti caratteristici (castello, chiesa, torre). La Vergine dell'Olmo invece è raffigurata in un quadro posto dietro l'altare maggiore.   Nel territorio sono anche presenti, oltre a un cospicuo numero di piloni votivi, la cappella di San Defendente, costruita verso la metà del Seicento, con il campanile eretto nel secolo successivo, la cappella di San Grato, meta un tempo di grande devozione, ed infine la cappella di San Sebastiano. che conserva all'interno un Cristo crocefisso in ferro, opera dello scultore Romano Campagnoli.