Tvrz postavil brzy po roce 1384 kolínský měšťan Václav Hamr v areálu dvora, který koupil od kutnohorského měšťana Václava Wunderweina. V roce 1414 se vzpomíná dokončená tvrz, kterou od jeho syna Mikuláše Hamra kupoval Jan ze Smržova. V této době tvořila tvrz pouze obytná kamennou věž, jejíž patra byla oddělena dřevěnými stropy. Do jednotlivých pater byl přístup po představěném dřevěném schodišti; z tohoto období se dochovala část obvodového zdiva věže. Hospodářské zázemí bylo umístěno v přilehlém dvoře. Areál tvrze pak byl opevněn mohutnou hradbou.
V roce 1464 spojil všechny části dosud rozdělené vsi do jedněch rukou Jan z Trojanovic, za něhož též zanikla závislost panství na kolínském městském právu. Jan z Trojanovic sice bydlel v Kutné Hoře, tvrzi v Pašiněvsi však věnoval značnou pozornost, takže předpokládáme, že je autorem její pozdněgotické přestavby. Z této přestavby se ve věži zachoval pozdně gotický vstupní portál na severní straně, rozdělení pater klenutými stropy a ostění oken ve třetím patře. Janův syn Petr, zvaný Pašinka, prodal v roce 1510 celé panství Bohuslavovi z Dobřenic. Ten tvrz v roce 1530 prodal Vilému Bareši z Kamenice (ten byl synem Zikmunda Bareše z Kamenice a Kateřiny Svitáčkové z Landštejna, nejmladší dcery Mikuláše Svitáčka z Landštejna na Tuchorazi), který zde své manželce Ludmile Veltrubské z Veltrub zapsal věno 800 kop českých grošů a vlastnil tvrz do roku 1542. V průběhu 16. a 17. století se pak v držení tvrze, dvora a vsi vystřídalo několik majitelů, například v letech 1547 – 1645 Kasaličtí z Kaštic, v letech 1653-75 hejtman Kouřimského kraje Jan Burian Slavík ze Slavíkova, mimo jiné i majitel tvrze v Polních Voděradech, a v letech 1675–93 pak Salazarové de Monte Albano. V písemných pramenech není vzpomínáno, že by v tomto období došlo k nějakým zásadním úpravám tvrze.
V roce 1693 koupil tvrz od Jana Salazara de Monte Albano bohatý pražský měšťan Vilém Arnošt Nigroni z Riesenbachu, který ke staré gotické věži přistavěl barokní křídlo a věž nechal nově zastřešit. Součástí úprav bylo i zřízení nevelkého parku v okolí nového sídla, které se od těch dob nazývá „zámečkem“. Při soupisu zadluženého panství v roce 1711 byl sestaven podrobný popis tvrze, v přízemí byl byt šafáře, čeledník, kuchyň, vinopalna a pivovar, pod budovou byly dva sklepy a byt majitele panství se nacházel v prvním patře.
V roce 1712 koupil Pašinku Leopold Vežník z Věžník a připojil ji ke svému ratbořskému panství. Tvrz přestala sloužit jako panské sídlo a byla upravena na kanceláře a byt správce dvora. Součástí ratbořského panství pak zůstala Pašinka až do roku 1885, kdy ji Terezie Pecingárová z Bydžína prodala kolínským měšťanům Václavovi a Janovi Radimským.
Noví majitelé tvrz opravili, zmodernizovali interiéry a usídlili se zde. Významný český malíř Václav Radimský si v podkroví na severní straně barokního křídla zřídil ateliér, kde maloval své obrazy. Majetkem rodiny Radimských zůstala tvrz do roku 1950, kdy zde byly po zestátnění československému diplomatu JUDr. Vladimíru Radimskému umístěny kanceláře, škola a od roku 1981 ubytovna pro žáky.
Po roce 1989 byla tvrz v restituci navrácena jedné větvi potomků původních majitelů, rodině Fragnerových. V první fázi zde byla zřízena výrobna cukrových bonbónů „Fialky“ z období 1. Československé republiky, jejíž činnost byla ukončena v roce 1996. V roce 2004 koupila tvrz od Jiřího Fragnera (synovce slavného architekta Jaroslava Fragnera a vnuka JUDr. Ladislava Radimského, majitele Podskalského mlýna v Kolíně) paní Antonie Hohlová. Nová majitelka opravila zpustlé barokní křídlo a tvrz uzpůsobila k trvalému obývání. V roce 2007 přikoupila nová majitelka i opuštěný přilehlý statek, který v minulosti tvořil hospodářské zázemí tvrze. V roce 2009 opravenou tvrz prodala a ta byla uzpůsobena jako sídlo obchodní společnosti Soft KS – CZ, s.r.o.
Z původní tvrze se dochovala především třípatrová věž čtvercového půdorysu o rozměrech 9×9 metrů. Věž je vybudována z lomového kamene a kryta barokní lucernovitou střechou. Místnosti v interiéru věže jsou sklenuté pozdně gotickou klenbou, přízemí je od severu přístupno samostatným vchodem s pozdně gotickým ostěním. V původní podobě se dochovala do dnešní doby pouze místnost 3. patra s kamennými ostěními oken a původními sedilemi. K východní straně věže je připojena jednopatrová barokní budova krytá valbovou střechou, v prvním patře propojena s věží.
Tvrz je zapsána do Ústředního seznamu nemovitých kulturních památek ČR pod číslem 47073/2–830.
Šimek T. a kol.: Hrady, zámky a tvrze v Čechách, na Moravě a ve Slezsku; Východní Čechy. Praha, nakladatelství Svoboda, 1989.
Svoboda L. a kol.: Encyklopedie českých tvrzí, II. díl K - R, str. 567-568. Vydalo ARGO 2000.
Hrady v Čechách, na Moravě a ve Slezsku.