A ridosso del mare a a pochi passi dalla Cattedrale San Nicola Pellegrino, il castello svevo è uno dei più begli esempi di fortificazioni fatti erigere da Federico II. Situato al margine del centro storico, era un baluardo di difesa eccezionale, potendo sorvegliare l’ingresso del porto e le vie di accesso all’abitato. Costruito a partire dal 1230 al di sopra di una torre da vedetta già esistente, fu completato nel 1249.
La struttura è divenuta famosa perchè venne festeggiato il secondo matrimonio del figlio di Federico II, Manfredi, con Elena d’Epiro.
L’insediamento degli Angioini prima, e poi con quello di Carlo V ha portato a vistose modifiche dell’edificio originario modificando completamente la struttura medievale. Il castello risulta, dunque, il prodotto di tre fasi costruttive differenti, quella medievale, quella cinquecentesca e la fondamentale ristrutturazione ottocentesca.
I cambiamenti tanto nella struttura quanto nella funzione del castello si susseguono in maniera costante: infatti, dal 1586 al 1677 è sede della Sacra Regia Udienza della Provincia di Bari, quindi nel 1832 prendono avvio i lavori che l’avrebbero trasformato nel Carcere Centrale Provinciale, conclusi nel 1844. Dal 1976, quando ormai il castello non deteneva più già da tre anni la funzione di carcere, è nelle mani della Soprintendenza per i Beni Architettnonici della Puglia, i cui restauri, cominciati nel 1979, si sono conclusi solo recentemente.