V minulosti patřila Pražská brána k městskému opevnění. S budováním hradeb se začalo pravděpodobně ve 13.století(městské opevnění bylo zmiňováno již v listině Přemysla Otakara II. Z roku 1274). Opevnění města bylo přebudováno za husitských válek a právě z té doby pocházejí pozůstatky dochované do dnešní doby. Město bylo přístupné dvěma branami-Pražskou a Labskou.

Interiérová rekonstrukce vrchních dvou pater probíhala v roce 1997 kdy nad věžními hodinami vznikl prostor vhodný ke galerijní činnosti. V pátém patře je prosklená místnost s výhledem do okolí. Labská brána i převážná část hradeb byli zbořeny v 19.stol. Pražská brána je pozdně gotická stavba z doby kolem roku 1500. Na západní straně u věžních hodin se zachoval portálek s letopočtem 1536. Dnešní rozvrh pater neodpovídá stavu z roku 1536,byl vytvořen po požáru roce 1652 (od třetího poschodí výše),další oprava následovala po požáru v roce 1799. V letech 1916-1920 byla brána restaurována pod vedením architekta Kamila Hilberta.