Il complesso architettonico trae origine da un preesistente impianto medievale, concepito in funzione di castello della città, eretto a difesa delle libertà comunali e poi via via utilizzato nel tempo e trasformato in funzione delle vicende politiche che si sono susseguite dal XIII al XVIII secolo. Dell’originale impianto oggi rimane – visibile dall’esterno – il possente torrione eretto sul lato sinistro della costruzione, mentre restando nel cortile si può osservare parte della corte che è stata realizzata con il susseguirsi di portici tra loro confinanti, e gli interessanti sotterranei (murati negli anni ’60) attraverso i quali un complesso sistema di corridoi collegava ai principali punti strategici posti a difesa della città.Palazzo Trivulzio evidenzia una forma alquanto irregolare, ad “L”, corrente lungo la cortina delle mura che un tempo circondavano l’intera città. I resti delle suddette mura, già ricordate dai Capitani Ferdinando e Don Alfonso d’Avalos nella battaglia per la presa del Castello di Melzo dell’anno 1512, sono riaffiorate quali possenti resti, nel 1963, durante i lavori eseguiti a poca distanza dal complesso.Nella seconda metà del 1500 si possono ritrovare gli inizi degli imponenti lavori di abbellimento del suddetto Palazzo, dove vengono ricostruiti tutti gli interni con grandiose decorazioni a stucco e affreschi di vicende militari e politiche celebranti le glorie della famiglia.