Dvůr Jilmanice se poprvé připomíná roku 1408 jako majetek města Kouřimi. V roce 1472 jej koupil Václav Pelíšek, který si Jilmanice zvolil za sídlo a začal používat přídomku z Jilmanic a byl to pravděpodobně on, kdo založil při dvoře tvrz. Roku 1508 držel jilmanickou tvrz Jindřich Amcha z Borovnice, později připadly opět městu Kouřimi. Za městské vlády tvrz i dvůr ztratily charakter samostatného statku a zpustly. V roce 1547 byl pustý dvůr s tvrzí městu Kouřimi zkonfiskován pro účast na protihabsburském odboji a královská komora jej v roce 1552 prodala Kryštofovi Skuhrovskému ze Skuhrova, který je připojil k sousedním Bošicím. První písemná zmínka o tvrzi je však až z roku 1567, kdy ji Kryštofův syn Václav Skuhrovský ze Skuhrova prodal Ondřeji Nebřehovskému z Nebřehovic a na Pyšelích. Tehdy již byla pustá. Poslední zmínka o pusté tvrzi je z roku 1574, kdy ji po Ondřejově smrti přejímala jeho ovdovělá manželka. V roce 1606, když tehdejší majitel Pyšel a zaniklých Jilmanic, Karel Mracký z Dubé koupil nedaleké Svojšice, byly zaniklé Jilmanice připojeny k tomuto panství.
V polovině 18. století nechal majitel Svojšic Michal Jan Althan postavit na tvrzišti barokní letohrádek, jehož přesnější podoba však není známa. Protože nástupci *Michala Jana Althana ve Svojšicích téměř nepobývali, nechali letohrádek zpustnout. Cihlové základové zdi patrné na tvrzišti jsou pozůstatkem tohoto letohrádku, nikoli původní tvrze. Z tvrze se zachovaly jen nepatrné zbytky příkopů a valů uzavírající nepravidelné tvrziště.
Tvrz Jilmanice stávala na jižním svahu Vinného vrchu, v místech, kde se říká „V Olšinách“ nebo „Na Jilmansku“.
GPS: 50°0'53.650"N, 15°2'22.250"E