Arcibiskup Arnošt Vojtěch hrabě z Harrachu žádal krále Ferdinanda II., aby statky dříve arcibiskupské mu byly opět dány. Stalo se tak 8. července 1623 a od té doby mu nepřetržitě patřily až do roku 1948.

Nejoblíbenějším arcibiskupem, jemuž byla v Rožmitále prokazována veliká úcta, byl Vilém Florentin Josef kníže Salm - Salm (†14. 9. 1810), jenž si velmi zamiloval rožmitálskou krajinu. Často přicházel do Rožmitála a stýkal se s lidem. Velmi si oblíbil Třemšín, jehož vrchol dal upravit a často tam chodíval. Často snad mluvíval o tom, že by chtěl být v Rožmitále pohřben.

Zemřel při návratu z lázní ve Weisbadenu 14. září 1810 v Hombachu. Pohřební průvod se zastavil i v Rožmitále, kde byly za zemřelého vykonány zádušní modlitby, a bylo také prohlášeno, že zde bude arcibiskup pohřben. Dopis, který však přišel z Prahy, to nedovolil a stanovil, že slavný pohřeb se bude konat v Praze. Tato skutečnost zarmoutila prosté rožmitálské občany, kteří si přáli, aby jejich věrný pastýř odpočíval mezi svými, a to tak, že druhý den chtěli zabránit odvozu arcibiskupova těla do Prahy. Muselo být posláno do Březnice pro vojsko, a až po jeho příchodu se rožmitálští vzdali. Viníci byli potrestáni tělesnými tresty - pětadvaceti a deseti ranami holí, někteří dokonce vězením až na několik měsíců. Takto neslavně tedy dopadla slavná “rožmitálská rebelie”. Je známo, že tuto situaci velmi těžce nesl Jakub Jan Ryba, který jako rozumný člověk a humanista přemlouval místní rebelanty, aby neodporovali v záležitosti tak jasné. Jejich zlý osud si Ryba celý život vyčítal.

Hrad byl majetkem Pražského arcibiskupství až do roku 1948. Poté zde byly zřízeny byty a kanceláře zaměstnanců Státních lesů. V 70. letech byl zbořen hvozd pivovaru. Objekt chátral. Poté sice prošel částečnou rekonstrukcí, ale pak byl pro veřejnost mnoho let uzavřený. Objekt je v soukromém vlastnictví. Zámek je zpřístupněn při kulturních akcícg a během letní sezóny každou sobotu od 10 do 13 hodin. Více informaci najdete na https://www.facebook.com/pg/zamekrozmital/

Původní osada byla vystavěna v polokruhu nedaleko hradu a byla obehnána příkopem a valy, na západě pak chráněna Podzámeckým rybníkem. Na Příbramské cestě stála u příkopu brána s věží, zvonkem a později i hodinami (zbořena 1855). Později již plocha města nestačila, a tak se obyvatelé usazovali vně valů a příkopů. Náměstí s filiálním kostelem sv. Jana Nepomuckého se svým půdorysem přimyká k hradnímu areálu.

Svůj přídomek "pod Třemšínem" získal Rožmitál, aby se odlišil od jiných měst stejného jména, až v roce 1920. Toto pojmenování je nutno brát s určitou rezervou, neboť samotný vrchol Třemšína je od města vzdálen téměř 9 km. Třemšín (827 m n. m.) není nejvyšším vrcholem Brd, tím je Tok (865 m n. m.), ale je vrchem nejmilejším a nejbájnějším. Existuje řada pověstí o třemšínském mužíčkovi, pokladu, dobití hradu aj.