Notizie che testimoniano la presenza di un castello a Pojana risalgono al 917 d.C., poi il buio tipico dei primi secoli del nuovo millennio fino alle cronache sulla sua distruzione avvenuta nel 1240 ad opera di Ezzelino da Romano, ghibellino alleato dell'imperatore Federico II. Ricostruito nei primi anni del '300 venne nuovamente abbattuto nel 1312 nel corso della guerra fra Padovani e Veronesi.

Fino all'annessione del territorio al dominio della Serenissima, il Castello di Pojana occupava una posizione chiave nella vasta area del basso vicentino, riuscendo a controllare i territori padovani a sud est ed i territori veronesi ad ovest. Il Castello era infatti naturalmente protetto da tre corsi d'acqua in direzione di Montagnana e da torri di vedetta verso Orgiano, Sossano e Noventa che difendevano anche il borgo sviluppatosi intorno.

Sulle rovine del castello il conte Pagano Paltinieri costruì la sua casa dominicale "in laterizio e pietra". Nel 1400 Odorico Pojana abbellisce il palazzo e rialza la torre, parzialmente distrutta nel 1312, adattandola a residenza secondo i nuovi costumi del tempo stabiliti dalla Serenissima.