Vyjma období obou totalitních režimů 20. století (v letech 1942-45 a 1948-92) patří zásmucký zámek od roku 1637 jedinému rodu Šternberků a je tedy nejstabilnějším šlechtickým dominiem na Kolínsku.
Na místě staršího dřevěného dvorce byla postavena první kamenná tvrz v roce 1350 za Ctibora ze Zásmuk, zakladatele zemanského rodu Zásmuckých ze Zásmuk, kteří na ní sídlili dalších sto let. Podle stavebně historického průzkumu z roku 1994 dnešní stavba v podstatě zcela pohltila původní trojkřídlou dispozici gotické tvrze. Vstupní brána byla v hlavním obytném paláci na severní straně, stejně jako je tomu u současného zámku. Na něj navazovalo pravoúhlé západní a jižní křídlo, na východní straně byla tvrz otevřena nádvořím směrem k dnešnímu náměstí. Zbytky původní tvrze se i s dochovanými gotickými portály velmi dobře zachovaly ve sklepeních zámku, částečně vyhloubených ve skále. Poslední z roku Zásmuckých, Kuneš ze Zásmuk, přišel o svůj majetek po roce 1462, novým majitelem se pak stal neznámým způsobem Jindřich z Vojslavic, který ale Zásmuky v roce 1508 prodal Oldřichovi Popelovi z Vesce. Po něm se zde v rychlém sledu vystřídalo několik majitelů.
Páni z Říčan (1533 – 1583)
Zcela zanedbanou tvrz koupil v roce 1533 hejtman Kouřimského kraje Adam z Říčan († 1552). Jako pravý renesanční šlechtic i dobrý hospodář nechal tvrz v letech 1540-46 přestavět na dvoupatrový renesanční zámek čtvercového půdorysu s otevřenými arkádami do nádvoří. Tuto přestavbu dokládá torzo renesančního ostění s nápisem Adam z Rziczan 1546, nalezené při opravě zámku v roce 1903 (dnes uložený ve sbírkách Muzea Kouřimska v Kouřimi). V bývalém obranném příkopu na západní straně zbudoval rozlehlé konírny, v patře nad nimi patrně divadlo, a poddanskou ves Zásmuky povýšil v roce 1542 na městys, který obdařil i městským znakem. Jeho syn Zdislav z Říčan ale vedl velmi rozmařilý život, takže jeho majetek musel být v roce 1583 rozprodán ve veřejné dražbě.
Páni ze Vchynic (1583 – 1636)
Zadlužené panství i se zámkem koupil za 27 000 kop grošů Jan Dlask starší z Vchynic, který se po nabytí majetku psal na Zásmukách (* 1536 - † 27. 4. 1590). Po něm jeho správu převzal syn Václav III. Vchynský ze Vchynic (* 1572 - † 28. 2. 1626), který se proslavil svým odporem vůči císaři Rudolfu II. Nakonec proto v roce 1614 skončil ve vyhnanství v Kladsku a panství Zásmuky dočasně v zastoupení spravoval jeho mladší bratr Oldřich Vchynský (*1583 - † 1620). V roce 1626 se po Václavově smrti ujal rodového majetku jeho syn Jan Oktavián Vchynský z Vchynic (* 1604 – † 4. 5 1679), který byl za podporu císaře Ferdinanda II. povýšen do hraběcího rodu a stal se zakladatelem rodové linie Kinských z Vchynic a Tetova. V té době však byl zámek i celé panství opakovaně zpustošeny vojsky v průběhu třicetileté války, během které zahynulo 60 % obyvatel zásmuckého panství. Vydrancovaný majetek koupil v roce 1636 válečný zbohatlík Václav Michna z Vacínova a ten ho již v následujícím roce směnil s Janem Rudolfem ze Šternberka (* 28. 1. 1601 - † 18. 3. 1638) za panství Postoloprty.
Páni ze Šternberka (1637 – 2012)
V roce 1637 přichází do Zásmuk rod, s jehož dějinami bude osud zámku spjat až do 21. století. Bohužel Jan Rudolf umírá již rok po získání zámku a rodinný majetek spravuje až do své smrti jeho ovdovělá manželka Helena Křinecká z Ronova (* 1596 - † 1648). Až do roku 1653 pak Zásmuky spravoval za nezletilého syna strýc František Matyáš ze Šternberka. V roce 1653 se konečně otcovského majetku ujímá mladší syn Oldřich Adolf Vratislav ze Šternberka (* 1627 - † 4. 9 1703), protože jeho starší bratr Štěpán (* 1626 - † 1706) se rozhodl pro vojenskou kariéru. Ačkoliv byl zámek již ve smlouvě o koupi majetku v roce 1637 zmiňován jako velmi sešlý, teprve v tomto roce byla zahájena přestavba v raně barokním stylu, během které byla zřízena ve vstupním severním křídle dvoupatrová zámecká kaple sv. Václava. V místech bývalého opevnění na východní straně pak vznikl park s jezírkem a kašnou a nové hospodářské budovy s novou vstupní bránou, opatřenou mohutnou věží se vstupním portálem s rodovým znakem (malovaný znak Oldřicha Vratislava a jeho manželky Anny Lucie Slavatové z Chlumu v patře věže mezi okny byl zakryt omítkou při opravě věže v roce 2002). K dalším dílčím úpravám zámku (zejména severní fasáda) došlo kolem roku 1700 pravděpodobně podle návrhu významného architekta Giovanniho Battisty Alliprandiho, který je rovněž autorem návrhu pro drobnou stavbu grotty v zámeckém parku. V roce 1701 pak bylo zásmucké panství změněno na rodový šternberský fideikomis, ke kterému kromě města Zásmuky náleželo dalších 20 vsí. Spolu s Častolovicemi získal zásmucké panství po smrti svého otce v roce 1703 František Damián Jakub Josef ze Šternberka (* 26. 7. 1676 - † 15. května 1723), který zastával funkci královského rady a zemského sudího. Dalším majitelem zámku byl jeho syn František Filip ze Šternberka (*21. 8. 1708 - † 9. ledna 1796), nejvyšší hofmistr císařovny Marie Terezie, které prodal statek Cerhenice s Chocenicemi. Vzkvétajícího rodového majetku se po otcově smrti ujal František Filip Kristián ze Šternberka (* 1732 - † 1811) a po něm jeho syn František Josef Václav ze Šternberka a Manderscheidu (* 4. 9. 1763 - † 8. dubna 1830), který byl významným českým osvícencem, mecenášem umění a jedním ze zakladatelů Národního muzea v Praze, pro které věnoval část rodinných sbírek. Za něj byl zásmucký zámek opraven, přičemž byly zčásti zazděny nádvorní arkády a obnoveny byly jeho fasády. Jelikož ale neměl mužského potomka, zásmucké panství po jeho smrti přebírá jeho příbuzný z žirovnické větve Josef Leopold ze Šternberka (* 24. 9. 1770 - † 18. 2. 1858). Za něho byla zámecká kaple upravena do současné podoby. Jeho nejstarší syn Jaroslav ze Šternberka (* 12. 2. 1809 - † 18. 7. 1874) provedl velké přestavby, během nichž byla zámecká věž nově zakončena cimbuřím a vstupní zámecká brána získala v horní části kamenné zábradlí. Jelikož zemřel bez mužských potomků, Zásmuky v roce 1874 přebírá jeho mladší bratr Leopold Mořic ze Šternberka (* 22. 12. 1811 - † 21. 9. 1899). Ten ale na zásmuckém zámku nepobýval, jeho sídlem se stal zámek v Pohořelicích na Moravě nedaleko Zlína. Po jeho smrti majetek přebírá jeho druhorozený syn Leopold III. Albert ze Šternberka (* 22. 10. 1865 - † 11. 4. 1937), který provedl poslední úpravy zásmuckého zámku v letech 1903-08 pod vedením místního stavitele Jana Falty. Byly zmodernizovány zámecké interiéry, opraveny střechy, fasády, zámecká věž dostala opět původní stanové zastřešení a upraveny byly budovy předzámčí. Jeho syn Leopold František ze Šternberka (* 21. 5. 1896 – † 1. 11. 1957) bojoval v I. světové válce jako důstojník jezdectva, na Bukovině byl těžce raněn, za což obdržel zlatou a stříbrnou medailí za hrdinství. V roce 1929 se oženil s Cecilií Reventlow-Criminiolovou (* 1908 – † 1983), s níž žil na zámku v Zásmukách, kde významně vylepšil hospodářství. Po smrti otce v roce 1937 přesídlil do Častolovic, aby se jako nejstarší syn ujal správy rodinného majetku. Za II. světové války, během německé okupace, byla v roce 1942 uvalena na celé panství vnucená správa, protože Leopold Šternberk odmítl přijmout německé státní občanství. Vnuceným správcem byl ustanoven Verner Würfel a v zámku byl umístěn archiv zbraní SS.
V roce 1945 byl sice majetek Šternberkům vrácen, ale již roku 1948 jim bylo panství vyvlastněno. Zásmucký zámek byl v roce 1949 předán Československé lidové armádě, která zde umístila sklady chemické jednotky. V důsledku neobjasněné nedbalosti vznikl 2. srpna 1982 požár ve velkém sále, který se vinou organizačních zmatků rozšířil po celém severovýchodním křídle budovy. Vyhořelý zámek zůstal neopraven a dále chátral až do roku 1992, kdy jej restituovala dědička šternberského panství, Franziska Diana Sternbergová-Phipps (* 22. 2. 1936 - † 30. 7. 2024), dcera Leopolda Šternberka, která uvedla do chodu rodové hospodářství a snbažila se zajistit nezbytné prostředky na zahájení opravy zámku, v rámci kterých byly opraveny pouze vnější fasády.
Rodina Hardegg (od roku 2012)
V roce 2012 zámek převedla Franziska Diana Sternbergová-Phipps na svou dceru Alexandru Hardegg (* 1959), která ovšem v započatých opravách zámku nepokračuje.
Areál zásmuckého zámku se skládá z předzámčí, označovaného někdy místní tradicí za tzv. „Starý zámek“. Předzámčí ale vzniklo nejspíše na místě staršího opevnění za raně barokních úprav na konci 50. let 17. století a není tedy starší než budova vlastního zámku. Do doby kolem roku 1660 lze datovat i věž s bránou, na níž se vedle rozložitého raně barokního portálu uplatňuje ještě renesanční tvarosloví v podobě sdružených oken a nízkého zastřešení s atikou. Tvar věžní atiky je v mnoha ohledech výjimečný, a v českých zemích nemá analogii. Pozoruhodným detailem je dekorativní ohradní zeď s nikami, která svým řešením vychází z tradice manýristické architektury. Velmi složitým vývojem prošla hlavní zámecká budova, která vznikla přestavbami původní gotické tvrze, jejíž pozůstatky se dochovaly pod západním, severním i východním křídlem dnešní stavby. Severní křídlo do své hmoty pojalo jak původní obytný palác tvrze, tak i přilehlý parkán. V 1. patře západního křídla se dochovalo několik malovaných trámových renesančních stropů z poloviny 16. století. jižní křídlo, označované také jako křídlo pro služebnictvo, není bez podrobného stavebně-historického průzkumu tč. datovatelné, vzniklo pravděpodobně při barokních úpravách kolem roku 1700 na místě gotické hradby. V severovýchodním koutě nádvoří se tyčí neobyčejně štíhlá hranolová věž o pěti patrech. Západně od hlavní zámecké budovy se nachází jednopatrové hospodářské stavení s původními konírnami, byty pro hospodářský personál a zbytky zámeckého divadla. Jednoduchá budova obdélného půdorysu je zastřešena nízkou valbovou střechou, jediným výraznějším výzdobným motivem fasády je slepá pilířová arkáda v úrovni prvního patra východního průčelí a barokní mříže na oknech. Hospodářská budova je spojena se západním průčelím zámku můstkem o jednom oblouku, který ústí na podestu hlavního schodiště. Součástí zámku je i samostatně stojící stavba grotty a zámecká obora, které jsou zpracovány v samostatných heslech.
Po dobu oprav není zámek přístupný veřejnosti. V budově předzámčí je umístěna stálá výstava o historii města, zámku, kostela a kláštera, v přilehlém sále se konají příležtitostné výstavy.
Otevřeno: červen - srpen, soboty 12:00 - 17:00, neděle 10:00 - 17:00 hod. Mimo otevírací dobu si prohlídku objednat u průvodkyně pí. Žanety Skotnicové na tel. + 420 776 689 979.
Vstupné: 15 Kč, děti zdarma.
Zámek je zapsán do Ústředního seznamu nemovitých kulturních památek ČR pod číslem 44575/2–883.
Poche E. a kol.: Umělecké památky Čech 4. Vydalo nakladatelství ČSAV Academia, Praha 1982.
Šimek T. a kol.: Hrady, zámky a tvrze v Čechách, na Moravě a ve Slezsku; Východní Čechy. Praha, nakladatelství Svoboda, 1989.
Durdík T. a kol.: Encyklopedie českých tvrzí, III. díl S - Ž, str. 1032-1033. Vydalo ARGO 2005.
Hrady v Čechách, na Moravě a ve Slezsku.
Hoznaeurová L.: Historie Zásmuk. Vydalo něsto Zásmuky 2009.