Az épületegyüttes a nyugat-keleti irányban húzódó Pesti út déli oldalán helyezkedik el. Építtetője báró Bujanovszky Elek tábornok volt, Podmaniczky Erzsébet férje. Ők a környékbeli földjeiken az elsők között próbáltak Magyarországon burgonyát termeszteni az 1750-es, 1760-as években. Ekkor építtették a kastélyt is, ahol aztán állandó jelleggel éltek. Bujanovszky 1799-es halálával a kastélyt a Podmaniczky család vette birtokba. Podmaniczky János költözött ide és lett kedvenc lakhelye; saját birtokait innét igazgatta. Az 1838-as pesti árvíz idején az áradás elől menekülőknek adott szállást a kastélyában. Podmaniczky egyik lányát, Zsuzsannát 1864-ben vette feleségül gróf Vigyázó Sándor, aki révén végül 1873-ban egyesült a két család. A kastélyt is ekkortól hívták Podmaniczky-Vigyázó-kastélynak. Udvari homlokzatát 1910-ben alakították ki neobarokk stílusban.

Vigyázó Sándor végrendeletében minden vagyonát a Magyar Tudományos Akadémia javára hagyta, ami ellen egyetlen fiának, Vigyázó Ferencnek nem volt kifogása apja 1925-ös halálát követően. Ennél fogva mikor Ferenc 1928-ban meghalt, gyermeke nem lévén a kastély az MTA tulajdonába került; a végzést azonban Sándor leánygyermeke és néhány oldalági örökös is megtámadta (lévén a teljes vagyon ezzel együtt közel 20 millió koronára rúghatott), így ténylegesen csak annak lezárulta után lett az Akadémia tulajdona a környező birtokokkal együtt. Utóbbiak felparcellázásából született két mai városrész is: Régiakadémiatelep illetve Akadémiaújtelep.

Az épület a második világháborúban a frontvonalak közelsége miatt előbb a katonák, majd a lakosság fosztogatásának áldozata lett. A háború után a szocialista rendszer a többi kastélyhoz hasonlóan államosította, belső terét durván, az eredeti kialakítást teljesen figyelmen kívül hagyva átalakította és szociális otthonokat létesítettek benne.

A rendszerváltás idején már gazdátlanul állt, 1990-ben tulajdonos nélkül maradt. A kerületi önkormányzat a helyzetet felismerve sikeresen (és ingyen) megszerezte a kastélyt ám felújítására sem akkor, sem pedig később nem volt pénze. 1996-ban vandálok betörtek az épületbe és felgyújtották; a tető szinte teljesen leégett; az épület többi részét a tűzoltáskor használt víz tette tönkre. Majd egy évtizedig állt ilyen állapotban, mikoris 2005-ben az akkori szocialista kerületvezetés eladta egy helyi építési vállalkozónak 37,5 millió forintért, akinek cserébe vállalnia kellett annak felújítását.

A hajdani kastélykert területén egy önkormányzati idősek otthona is van. A magántulajdonba került kastélyt elkezdték felújítani, benne szálloda, étterem, kávézó és egy konferenciaterem kerül kialakításra. A kávézót 2011. május 31-én adták át; az épület többi része várhatóan egy éven belül elkészül.

A kastélytól néhány száz méterre helyezkedik el a Podmaniczky–Vigyázó Mauzóleum, amit 2008-ban felújítottak és emlékhellyé alakítottak.