Le prime nozioni sulla presenza di una fortificazione risalgono al 1186. Si pensa che l’elemento difensivo più antico del paese, probabilmente una torre, fosse collocato vicino all’attuale campanile della parrocchia. La presente costruzione del castello, invece, sembra al più uno dei frequenti casi tre-quattrocenteschi di fortificazioni al di fuori del centro abitato. Questo modo di costruzione era tipico dei Visconti. Le prime notizie risalgono al XIV secolo quando Pagazzano fece parte della Signoria Milanese guidata da Bernabò Visconti. Recenti studi dimostrano anche la presenza di Francesco Petrarca, il quale vi soggiornò in più di un’occasione dal 1358 ospite di Bernabò. L’importanza di questa struttura difensiva è dovuta alla sua posizione geografica: è collocata a meno di 2 km dal confine del Fosso Bergamasco che un tempo divideva il Ducato di Milano dai territori della Repubblica di Venezia. Il Castello fu sempre abitato e, dopo alcuni passaggi di proprietà, dal 1465 rientrò in possesso dei Visconti con i fratelli Sacramoro II e Pierfrancesco. Condotto nei secoli dai vari rami di questa nobile famiglia, passò infine a Francesca Visconti, andata in sposa al nobile Gaspare Biglia (secolo XVIII) e in seguito alla loro figlia Fulvia sposata con il marchese Tiberio Crivelli. Il Castello nel tempo aveva perso la sua funzione prettamente difensiva e diventò residenza signorile. Con i Crivelli fu utilizzato come azienda agricola. All’interno del Castello è possibile ammirare la struttura militare tre-quattrocentesca, con il canale pieno d’acqua che circonda completamente la struttura, le stanze nobili del palatium castri d’impronta trecentesca, la villa nobile della seconda metà del XV secolo (bellissimi gli affreschi!), i giardini e le stanze dei sotterranei allestite con la raccolta Museale della Civiltà Contadina (impressionante il maestoso torchio per la spremitura dell’uva datato 1736) e il Museo Archeologico delle Grandi Opere che ospita, nelle vecchie stalle, molti reperti databili dall’età del bronzo a quella longobarda.

Tra storia e leggenda si celano i misteri del Lago Gerundo. Da dove viene il biscione visconteo, antico emblema milanese, che troviamo nello stemma dell'Inter e anche nel logo della Fininvest e dell'Alfa Romeo? E perché tiene in bocca un bambino? La tradizione gli ha dato un'identità precisa: si tratta del serpente o drago Tarantasio che infestava il basso fondale del lago e inghiottiva i bambini che si avventuravano sulle rive. E fu proprio il capostipite dei Visconti, Uberto, a uccidere il serpente-drago, effigiandolo poi nel proprio stemma. Il Lago Gerundo era alimentato dall'Adda, dal Brembo, dal Serio e dal Molgora, e si estendeva da Brembate, Boltiere, Pontirolo Nuovo, giù fino alla provincia di Cremona, avendo come emissario l'Adda, pochi chilometri prima di sfociare nel Po. In mezzo affiorava l'isola Fulcheria, sulla quale fu costruita la città di Crema. Più che un vero e proprio lago doveva essere un acquitrino paludoso, abbastanza poco profondo. Era un territorio insalubre, la cui bonifica fu iniziata già in epoca romana, e portata avanti dai monaci del Medioevo. Quanto al Tarantasio, al cui fiato pestilenziale erano attribuiti i miasmi provenienti dai gas delle paludi che provocavano la febbre gialla, in parecchi luoghi sono conservate costole o vertebre attribuite al serpente-drago, che plausibilmente appartengono invece a cetacei marini preistorici, di quando tutta la Padania era un golfo dell'Adriatico.