Il paesino di Cassano Irpino si trova alle pendici occidentali del Monte Serapullo a dominio della valle del Calore. Secondo alcune fonti, il maniero era già esistente durante la dominazione normanna.
Nel corso dei secoli, il maniero ha subito sostanziali modifiche assumendo definitivamente l'aspetto di una sontuosa dimora residenziale con caratteristiche architettoniche tipiche dello stile tardo-rinascimentale.
Ad acquistare le terre e il Castello nel 1445 fu il capitano spagnolo Garcia Cavaniglia, ultimi signori furono i Guarnieri, i quali governarono il paese dal 1596 al 1806.
Danneggiato dai recenti eventi sismici e soprattutto dal terremoto del 1980 del palazzo-castello restano consistenti tratti delle cortine perimetrali e ruderi di una torre quadrangolare.