Costruito nel Seicento ad opera della famiglia dei Barzi, il palazzo si staglia ancora oggi imperioso nel centro cittadino. Passato successivamente alla famiglia Arconati, nel 1736 lo stabile venne venduto al Collegio Longoni di Milano che ne mantenne la proprietà perlomeno sino agli inizi dell’Ottocento. Il palazzo era utilizzato come un distaccamento utilizzato dagli alunni dell’istituto come sede perlopiù estiva, e proprio tra queste sue mura (come ricorda una lapide infissa sul portale) soggiornò anche Alessandro Manzoni.

L’edificio è costituito da una struttura quadrangolare, con l’impianto tipico di villa residenziale, ma a corte chiusa (in ricordo dell’antica struttura del castello ivi presente). La facciata, che si trova su un piccolo spiazzo che costituisce la piazza principale del piccolo borgo, è abbellita unicamente da un portale arcato e lavorato in forme semplici con delicate decorazioni lineari in cemento sporgenti. La corte interna, si apre su un unico cortile d’onore, che viene distinto sul fondo col tipico ingresso a tre arcate, distinte da colonne doriche in granito. L’interno non presenta tracce di pitture o opere scultoree di rilievo e oggi in esso sono state ricavate unità abitative. Fanno eccezione alcune meridiane a muro settecentesche di pregevole gusto barocco.