Miasteczko Teofilpol, którego przeszłość sięga początków XV w., nazywało się początkowo Kamień, następnie Biały Kamień, Kamień Czołhański i Czołhan, ostatnią zaś swą nazwę otrzymało w drugiej połowie XVIII w. Wtedy też dopiero zaczęło odgrywać w okolicy znaczniejszą rolę. Otaczające Kamień-Teofilpol ziemie były kolejno dziedzictwem Czołhariskich, następnie od 1624 r. Sieniutów, a od 1681 r. Jabłonowskich, wchodząc w skład klucza lachowickiego. W posiadaniu Jabłonowskich do­bra te pozostawały w ciągu kilku pokoleń.

Z małżeństwa ze swą pierwszą żoną Karoli­ną Radziwiłłówną, wdową po Kazimierzu Ka­rolu Sapieże, ks. Józef Aleksander Jabłonowski (1711-1777), wojewoda nowogródzki, miał tylko dwie córki: starszą Teofilę (ur. ok. 1743 r.-zm. w 1816 r.), zamężną za ks. Józefem Sa­piehą, krajczym litewskim, następną dziedzicz­kę Czołhanu, oraz młodszą Annę Dobrogniewę, zamężną za Maciejem Lanckororiskim. Po­nieważ jedyny syn z drugiej żony, Franciszki Woronieckiej - August Dobrogost umarł mło­do nieżonaty, cała fortuna Jabłonowskich lachowicko-teofilpolskich jako posag przeszła do Sapiehów. Na cześć swej starszej córki i głów­nej spadkobierczyni, wojewoda nowogródzki przemianował Czołhan na Teofilpol. Nowej nazwy miejscowa ludność długo jednak nie chciała używać, posługując się w życiu co­dziennym dawniejszą. W tym czasie cała scheda ks. Teofili wynosić miała 22 klucze, z których każdy składał się z kilkunastu czy nawet kilkudziesięciu folwarków. Po swej ma­tce, uszczuplone już wprawdzie znacznie, ale wciąż jeszcze z dwoma kluczami największymi, lachowickim i teofilpolskim dobra odziedziczył ks. Aleksander Sapieha (1773-1812), miecz­nik Księstwa Warszawskiego i adiutant Napo­leona I, żonaty z Anną Zamoyską (1780-1859). Ostatnim właścicielem był ich syn, ks. Leon Sapieha (1802-1878), późniejszy marszałek sejmu galicyjskiego. Z powodu jego udziału w powstaniu listopadowym majątek został mu skonfiskowany de iure. Ks. Annie z Zamoys­kich Sapieżynie za jej sumę posagową pozwo­lono wszakże trzymać nadal Teofilpol do śmie­rci.

Nie chcąc mieszkać w ponurym zamku la­chowickim, około 1770 r. na gruzach modrze­wiowego dworu Czołhańskich i Jabłonowskich Józef Sapieha wybudował nową rezydencję. Stanęła ona nad stawem, w obszernym rozdole. Wygląd pałacu z tego okresu nie jest nie­stety znany ani z rycin, ani z opisów. Po kon­fiskacie majątku uległ on zaś tak dalekim prze­obrażeniom, dokonanym przez ówczesnego właściciela Liprandiego, że dwa pochodzące dopiero z drugiej połowy XIX w. widoki, mało w dodatku precyzyjne, nie mogą dać o nim na­leżytego wyobrażenia. Jedna z rycin, mianowi­cie drzeworyt z 1878 r., przedstawia ogólny widok siedziby Sapiehów na tle malowniczego parku z dużym stawem i zabudowaniami gos­podarczymi na pierwszym planie oraz lekko tylko naszkicowanym, obszernym domem mie­szkalnym w głębi. Na tej podstawie ani o wy­glądzie, ani o stylu budowli niczego powie­dzieć nie można. Druga rycina, którą jest rysu­nek Napoleona Ordy z tego samego mniej wię­cej czasu, ma wprawdzie jako temat główny właśnie pałac, ale z wyraźnymi już śladami opuszczenia, a może nawet przeróbek. Można się więc tylko domyślać, że w swej pierwotnej postaci był on częściowo parterowy, częściowo piętrowy, kryty wysokim łamanym dachemczterospadowym z lukarnami. Przy jednym z narożników części piętrowej widoczny jest alkierz czy wieżyczka, a wokół trzy oficyny. Orda przedstawił najprawdopodobniej elewac­ję tylną pałacu. Ani o wewnętrznej architektu­rze, ani o zbiorach nic nie mówi w swych pa­miętnikach nawet ostatni dziedzic tych dóbr, ks. Leon Sapieha. Ogranicza się on bowiem tylko do stwierdzenia, że dwór jego babki był „podobno ostatni staropolski, jak je w powieś­ciach opisują”. Według tego samego źródła, służby, wliczając w to kapelę złożoną z 15 czło­nków, która „dziwnie dobrze przygrywała”, w tym samym czasie miało być 150 osób. Prócz kilku Niemców, wszyscy oni rekrutowali się z miejscowej ludności. W Teofilpolu mieli też Sapiehowie dużą galerię obrazów i bogatąbibliotekę, w większości przeniesione z Lachowiec. Wszystkie cenniejsze sprzęty, malowidła oraz księgozbiór zabrano przed konfiskatą i w konsekwencji znalazły się one później w pięknym zamku krasiczyńskim.