Na místě bývalé johanitské komendy byl v 16. st. vybudován trojkřídlý renesanční zámek s mohutnou osmibokou věží, obklopený věncem správních a užitkových budov. Jako sídlo zdejší vrchnosti zámek sloužil do 17. st., později byl již jen zázemím správních úředníků. Od 17. st. zanedbávaný zámek definitivně zanikl po požáru v r. 1858. Následně byl zámecký areál postupně přebudováván a zaplňován objekty převážně obytného charakteru (přestavba východního křídla zámku na městský dům a dále úpravy věnce budov nad ostrožnou, včetně novostavby č. p. 4/IV, dnešní Mateřské školy).