La costruzione della Caserma Cosenz, integrata nel fronte della via Annunziata, risale agli anni immediatamente successivi all'ultimo assedio di Gaeta (1860-61), difatti essa non appare sulle mappe militari di quell'epoca.
Intitolata al primo capo di Stato Maggiore dell'Esercito Italiano post-unitario, Enrico Cosenz, nativo di Gaeta, servì come alloggiamento dalle origini fino all'ultimo conflitto mondiale, per raggruppamenti di cavalleria: Savoia Cavalleria e Milano Cavalleria. Durante l'ultima guerra ospitò anche la Scuola Allievi Avieri e successivamente reparti del Servizio Costiero.
Alla fine della guerra la Caserma accolse i profughi giuliano-dalmati e gli sfollati senza tetto del centro storico pesantemente colpito da gravi distruzioni. Per questo scopo vennero eretti numerosi tramezzi divisori che ridistribuivano in ambienti più piccoli le grandi camerate poste al secondo e terzo piano.
Negli ultimi anna è stata sottoposta ad un radicale restauro ed oggi è denominata Palazzo della Cultura dove sono ospitate le principali attività culturali civiche.
In corso di allestimento è il Museo Demoantropologico del Mare.