Śmiłów od najdawniejszych czasów związany był z pobliskim Czyżowem. Na początku XV wieku znany jest Michał z Czyżowa jako właściciel dóbr czyżowskich z przyległościami, tak więc i Śmiłowa. Wznosi on obronną rezydencję w Czyżowie, która przetrwała do wieku XVII. W rękach rodu Czyżowskich dobra śmiłowskie pozostają do około połowy XVIII wieku. Po śmierci ostatniego w linii męskiej rodu Aleksandra Zakliki Czyżowskiego, zmarłego przed 24 marca 1760 roku, dobra śmiłowskie przeszły przez Teresę Czyżowską, siostrę Aleksandra do Szczepanowskich.

W roku 1748 Śmiłów należy do Andrzeja Szczepanowskiego herbu Korwin, wojskiego mniejszego sandomierskiego. Wszedł on w posiadanie folwarku przez małżeństwo z siostrą Aleksandra Czyżowskiego - Teresą. Pierwszy dwór będący siedzibą a nie służbówką ekonoma postawili Szczepanowscy, ludzie ubodzy, ale żądni zaszczytów, gorączkowo wspinający się na kolejne, drobne wojewódzkie urzędy.

Następnie dobra śmiłowskie otrzymał od ojca syn wojskiego - Gabriel, który rychło pozbył się folwarczku, gdyż ten jeszcze przed 1789 rokiem przeszedł w ręce późniejszego cześnika halickiego Józefa Wiercińskiego herbu Ślepowron, wybranego 16.XI.1790 na sejmiku w Opatowie na posła sejmu czteroletniego.

Pełnił on funkcję komisarza skarbowego powiatu sandomierskiego, powierzoną mu przez sejm czteroletni. Był zatem człowiekiem w województwie nowym, ale zamożnym i wpływowym, którego stać było na zakup dóbr ziemskich jak również późniejsze uczynienie szczodrej dotacji dla parafii w Przybysławicach. W 1842 roku wystawiony z jego zapisu przez córkę Katarzynę kościół parafialny. Józef Wierciński, zmarły 21 stycznia 1804 roku, wzmiankowany jest jako dziedzic Śmiłowa na nagrobku wystawionym mu przez córkę Katarzynę w 1843 roku.

Wspomniana Katarzyna, primo voto Hiacentowa Potkańska, przed 1822 rokiem wychodzi za mąż za Cypriana Baczyńskiego herbu Sas, wnosząc mu w posagu Śmiłów.

Cyprian Baczyński w czasach Księstwa Warszawskiego był podprefektem powiatu sandomierskiego. W 1810 roku nadzorował z ramienia magistratu konserwację murów miejskich i bramy opatowskiej w Sandomierzu. W 1818 roku był radcą wojewódzkim sandomierskim, w 1831 wybrany posłem na sejm z powiatu sandomierskiego, zmarł w 1848 roku.

Po Cyprianie Baczyńskim dobra śmiłowskie odziedziczył syn jego Stanisław, urodzony w 1822 roku, zmarły w 1893.

Po Stanisławie kolejnym właścicielem Śmiłowa był Czesław Cyprian Leon 3 imion Baczyński, po śmierci którego, na zasadzie jego własnego testamentu z dnia 11.04.1930 roku dobra w pełnym ich składzie po zmarłym mężu otrzymuje Helena Baczyńska. Helena Baczyńska sprzedaje dnia 11.04.1935 roku dobra śmiłowskie Firmie Aleksander Janasz i synowie – Dańków za sumę 370.000 złotych.

Pod koniec lat 30tych XX wieku Śmiłowa nie traktowano jako odrębnej wsi (w znaczeniu administracyjnym) i nawet na wojskowej mapie topograficznej opisano go jako Dwór Śmiłów. W 1945 roku na mocy dekretu o reformie rolnej majątek Śmiłów (grunty i dwór) zostaje zagarnięty przez Państwo bez odszkodowania.

Od tego czasu aż do 21 października 1986 roku lokowane są we dworze przypadkowe instytucje takie jak: komisariat milicji obywatelskiej, świetlica, biura miejscowej stacji hodowli roślin czy mieszkania dla pracowników rolnych. W tym okresie dwór jest eksploatowany bez żadnych remontów, systematycznie rozkradany i dewastowany. Ostatecznie w latach 70tych XX wieku zostaje opuszczony przez ostatnich, przypadkowych mieszkańców i użytkowników. Ostatnim państwowym administratorem i użytkownikiem dworu była Stacja Hodowli Roślin w Śmiłowie z siedzibą w Jasicach.

21 października 1985 zrujnowany dwór w Śmiłowie wraz z otaczającym go parkiem nabywają Bogdan Szczerbowski i żona jego Janina z Wągrowskich