O stavbě nového chudobince, který nahradí starou budovu, rozhodlo městské zastupitelstvo usnesením z 15. května 1881 a záhy byla stavba zahájena. Náklady činily 10 370 zlatých a 63 krejcarů a již 21. srpna 1881 se do dokončené stavby nastěhovalo prvních 15 obyvatel, přestože úřední povolení k obývání domu bylo vydáno až 12. října 1882. Původní kapacita, která byla stanovena na 60 osob přestala brzy dostačovat, proto přijalo městské zastupitelstvo 28. října 1912 usnesení na přístavbu chudobince a zvýšení kapacity na 100 osob, na což byl vypracován plán. Z důvodu nedostatku finančních prostředků bylo stavební povolení vydáno až v roce 1914, kdy však byla přístavba skutečně realizována, není známo, v roce 1924 však již byla přístavba směrem do ulice Na Petříně dokončena. V letech 1925-26 byla budova zvýšena o jedno patro.
V roce 1925 byla v areálu chudobince postavena desinfekční stanice, v 50. letech 20. století upravená jako ubytovna řádových sester, které se staraly o klienty až do počátku 90. let 20. století. Dnes budova slouží jako sídlo ředitelství domova důchodců.
Po únoru 1948 se chudobinec přejmenoval na "Domov odpočinku" a v roce 1954 ho od města převzal do správy Státní ústav domovských zařízení (SÚDZ). V té době zde pobývalo 85 obyvatel. Od roku 1969 se používá název "Domov důchodců", který byl ve správě Okresní správy sociálních zařízení (OSSZ). V nadcházejících letech nebylo do vybavení domova nijak investováno, s výjimkou zřízení lůžkového výtahu v roce 1983. V roce 1989 zde žilo jen těžko uvěřitelných 140 klientů, sociální i hygienické podmínky musely být při takovém množství zcela nevyhovující a nedůstojné.
V roce 1990 přebírá zařízení město a v roce 1991 získává současný název "Městský domov důchodců Kolín". Od roku 1992 probíhala postupná modernizace budovy, zejména kuchyně a obytných prostor, které získaly charakter apartmánů se sociálním zařízením, čímž došlo ke snížení počtu míst pro maximálně 80 klientů. V letech 2013-14 byla provedena generální rekonstrukce budovy za 20 milionů korun, při rekonstrukci bohužel došlo k zakrytí původních fasád zateplením a budova získala nevýrazný, utilitární charakter. Na nové průčelí byl pouze přenesen znak Kolína z roku 1881.
Podle starých fotografií z počátku 20. století stála pod chudobincem při ulici k železniční zastávce (a Kmochovu ostrovu, případně do města) kašna s pitnou vodou. Kašna měla podobu, jakou mají výklenkové kapličky, uprostřed střední části byl nad přívodem vody umístěn litinový znak Kolína (stejný jako na kašně na Karlově náměstí). Po straných byly sloupy ukončené hlavicí, nesoucí bohatě profilovanou římsu a trojúhelnikovitý štít.
Kronika města Kolína.
Bývalý městský chudobinec (městský domov důchodců) čp. 64 stojí na severním okraji města nad železniční zastávkou Kolín zastávka vmístě, kterému se říká "Kantorka".
GPS: 50°1'51.280"N, 15°11'39.170"E