V 19. storočí keď Pálffyovci už dávno pôsobili na Hrade Červený Kameň, rozhodol sa gróf Ján Pálffy –  milovník prírody a poľovačiek, vybudovať v polesí Lindavy bažantnicu a bezprostredne pri obci poľovnícky kaštieľ.

Na miestach, ktoré si gróf so svojou len 16-ročnou nastávajúcou manželkou Alžbetou rodenou Schlippenbachovou vybrali, boli predtým pasienky a starý majer. Autorsky projekt spracoval viedenský architekt Franz von Neumann. Inšpiroval sa renesančnými zámkami na rieke Loira vo Francúzsku pričom romantických prvkov je tu neúrekom. Kaštieľu dominuje vysoká veža nad vstupným portálom s vyhliadkovou ochodzou a hodinami v jej štíte. Vchod do kaštieľa tvorí monumentálne schodisko nad ktorým sú umiestené dva erby pôvodných majiteľov – Jána Pálffyho a jeho manželky s letopočtom ich svadby. Zvonka môžeme síce sledovať staré umelecké slohy, interiér kaštieľa bol ale na svoju domu mimoriadne moderný. Nechýbalo centrálne vykurovanie ani výťah na jedlo. 

Kaštieľ obkolesuje prekrásny anglický park a v jeho blízkosti sa nachádza Kaplnka Panne Márii Lurdskej, ktorú nechal vybudovať tiež gróf Pálffy. 

Po grófovej smrti v roku 1934 premenil dedič majetku – Pavol Pálffy kaštieľ na vyhľadávané centrum spoločenského života. Avšak po jeho emigrácii v roku 1945 skonfiškovala kaštieľ česko-slovenská vláda. Do roku 2011 táto vzácna pamiatka slúžila na podnet spisovateľa a budmerického rodáka Rudolfa Fábryho a jeho kolegu Laca Novomeského ako Dom slovenských spisovateľov. V súčasnosti je objekt v pôsobnosti Ministerstva kultúry SR, prevádzku expozície, jej ideovú i odbornú prípravu zabezpečuje SNM – Múzeum Červený Kameň. Kaštieľ sa priebežne darí opravovať a časť z neho je sprístupnená. Dobovú atmosféru dotvárajú zbierkové predmety, no žiaden nie je z pôvodného zariadenia kaštieľa spred roka 1945.