Egyes források arról vallanak, hogy a mai épületegyüttes helyén már a 12. században királyi udvarház állt, amelynek kiváltságait a 13–14. században is megerősítették. I. Lipót 1659-ben Óbudát Zichy István (1616–1693) veszprémi és vázsonyi várkapitánynak adta, aki 1676-ban kapott grófi címet. A Zichy család azonban csak 1686-ban, Buda visszavívása és a török kiűzése után telepedhetett le birtokán. 1691-ben, a török végleges kiűzését jelentő szalánkeméni csata után Esterházy Pál nádor 11 000 fős zarándokcsapatot vezetett az ausztriai Mariazellbe (magyaros nevén Máriacell). Ezen a zarándokúton részt vettek a Zichy grófok is.

1702-ben a két testvér, Zichy László és Péter a mariazelli kegyszobor másolatát, a Kiscelli Madonnát kastélyuk kápolnájában helyezték el. 1724-ben gróf Zichy Péter külön kápolnát építtetett az Óbuda fölött emelkedő hegyteraszon, amelyben elhelyezték a Madonnát. A kápolna, melyet a környék németajkú lakossága Klein Mariazellnek, azaz Kismáriacellnek nevezett, a mai kiscelli kastélytól északkeletre lehetett.

1726-ban meghalt Zichy Péter, ekkor özvegye, Bercsényi Zsuzsanna a kegyszobrot Zsámbékra vitette, majd 1733-ban ünnepélyesen visszahozatta Óbudára, a kiscelli kápolnába. Az Szűz Máriát ábrázoló, festett faszobor, a Kiscelli Madonna kék köpenyes, ülő nőalak, jobb térdén a gyermek Jézussal.

A kolostor alapítása
A Zichy család két trinitárius kolostort is alapított: a mai Budakeszi közelében álló makkosmáriait (temploma ma is áll, szép környezetben fekvő kirándulóhely), valamint a kiscellit. A trinitárius szerzetesrend fő tevékenysége a hadifoglyok kiváltása volt. A szerzetesek élelmet, pénzt és más értékeket szolgáltattak, de gyakran személyes szabadságukat ajánlották fel cserébe a foglyok szabadon bocsátásáért. A magyarországi trinitáriusok tevékenysége főként az Oszmán Birodalom fogságában sínylődők kiszabadítására összpontosult. Fél évezredes fennállásuk során legalább 1 millió foglyot, köztük körülbelül 200 ezer magyart váltottak ki.

A kiscelli trinitárius kolostor alapításáról szóló okirat máig fennmaradt. Eszerint 1737-ben kezdtek tárgyalásokat Zichy Péter özvegyével, aki először az óbudai kastélya közelében levő romtemplomot akarta a trinitáriusoknak adni. A szerzetesek azonban a nagy tömegeket vonzó kiscelli kápolnát szerették volna megszerezni, mert a fogolykiváltáshoz szükséges pénzt könnyebben össze lehetett gyűjteni a nagy forgalmú és híres zarándokhelyen. Végül 1738-ban aláírták az alapítási okmányokat, és az özvegy a kiscelli dombon álló kápolnát a trinitárius szerzetesrendnek adta.

Johann Entzenhoffer bécsi építész tervei alapján ugyanebben az évben megindult a templom és a kolostor építése. A munkálatokat először Mayerhoffer Ádám, majd 1747-es halála után Schaden János Mihály irányította. A szerzetesek 1748-ban költözhettek be a kolostor nyugati szárnyába. A templom alapkövét már ezt megelőzően, 1747. augusztus 27-én letették, de a forrásokból csak 1753-ig követhető az építkezés menete. Az építkezést valószínűleg 1758-ban fejezték be. A szobrok és épületfaragványok a híres barokk művész, Bebó Károly alkotásai (ma utca viseli a nevét Békásmegyeren), míg a képek festői közül Franz Anton Maulbertsch, Johann Gfall és Schervitz Mátyás nevét ismerjük.

A kolostorban néhány ágyas „kóroda” is működött, valószínűsíthetően csak afféle elsősegélynyújtó hely lehetett, főleg zarándokok számára. A kegytemplomban őrizték az ausztriai Mariazelli Madonna mását. Évente több ezer ember zarándokolt el a Madonnához, akik különböző adományokkal segítették a kolostor fenntartását és a trinitárius szerzetesek fogolykiváltó tevékenységét.

A kolostor megszűnése és hadi kórházzá alakítása
II. József 1783-ban más egyéb szerzetesrendek mellett feloszlatta a trinitáriusokét is, akik elhagyták a kolostort, így a virágzó búcsúhelyként ismert Kiscell elveszítette vallási jelentőségét. A templom pompás barokk berendezési tárgyait 1785 áprilisában potom pénzért elárverezték. A Kiscelli Madonna ekkor az óbudai Szent Péter és Pál-plébániatemplomba került. A Szent József halála című Maulbertsch-kép a Magyar Nemzeti Galéria tulajdonában van, a Nepomuki Szent Jánost ábrázoló festmény pedig a budaörsi Nepomuki Szent János-templomba vitték át. A szószéket Solymárra, az orgonát Jászárokszállásra, a padok egy részét Jászberénybe szállították. Mindezek a műtárgyak ma is megtalálhatóak ezeken a helyeken, de sok berendezési tárgy sorsa ma már ismeretlen. A jogászok és pereskedők védőszentjét, Szent Ivót ábrázoló képet az óbudai Szent Péter és Pál-plébániatemplomnak ajándékozta a vevő, Lachner Gáspár kántor. Ezt a szép barokk festményt 2004-ben, a kiscelli zarándokhely emlékkiállítása alkalmából visszavitték a mai kiscelli romtemplomba, ahol csaknem 220 év után újra eredeti helyén lehetett megtekinteni. Nevezetessége az, hogy ez az egyetlen Szent Ivót ábrázoló magyarországi festmény.

Az épületben hamarosan katonai ruharaktár, majd hadastyánlaktanya (Invalidenhaus) létesült. 1786-ban már sebesült katonák ellátása folyt az eredetileg 400 ágyasra tervezett, de végül csupán másfél száz ágyas hadi kórházban. A házba került, többnyire hadirokkant férfiak magukkal hozhatták feleségüket és kiskorú gyermekeiket, akik a közeli földeken dolgoztak vagy tanulhattak. Itt szolgált tábori lelkészként 1786-ban a volt pálos rendi szerzetes, költő és író Verseghy Ferenc. A melléképületekben emellett katonai szerszámraktár is működött. A katonai kórház közel egy évszázadon keresztül működött, és csak az 1890-es években szűnt meg.

Az épület magánkézbe kerülése
Az épület közel két évtizeden át üresen állt mindaddig, míg Schmidt Miksa bútorgyáros 1910-ben meg nem vásárolta a környező területekkel együtt. Az új tulajdonos az épület kastéllyá alakításába és a környező erdő rendezésébe fogott. Nagy gondot fordított a barokk épület megmaradt (csekély számú) művészi értékeinek megőrzésére: vállalta, hogy az egykori szentély kupoláját díszítő, Johann Gfall festette freskót „kegyelettel fenn fogja tartani”. Ugyanakkor esztétikai jellegű átalakításokat is végzett: a régi, lebontott bécsi hadügyminisztérium copf stílusú kapuját beépítette az egykori kolostorépület déli oldalába. Ma ez a kapu vezet az udvarról az épületbe. A termeket szépmívű bútorokkal rendezte be, az udvart szobrokkal díszítette. 1915-ben az egykori templomtorony földszinti részén kápolnát rendezett be meggyilkolt kedvese, Turcsányi „Mágnás” Elza emlékére.

Schmidt Miksa a környéken szép ősparkot alakított ki (ez a mai kiscelli parkerdő), amelyet szobrokkal, sétautakkal, balusztrádos teraszokkal népesített be. A korábbi kolostori kertről nem sok emlék maradt fenn. A Bécsi útról a domboldalra felvezető Kiscelli utca jobb oldalán sokáig állt az angyalkás szobrok sora. Ezek mára eltűntek, pedig a fennmaradt fényképek tanúsága szerint sajátos hangulatot kölcsönöztek az utcának. Schmidt 1935. április 1-jei halála után – végrendelete értelmében – a kastély és kertjének tulajdonjoga, valamint hatalmas műgyűjteménye a fővárosra szállt. Az elhunyt örökhagyó akarata az volt, hogy az épületben iparművészeti múzeumot rendezzenek be.

A város vezetése azonban a hagyaték nagy részét elárvereztette, és csak 1941-ben került sor a végakarat részleges megvalósítására. Ekkor helyezték el az épületben a Székesfővárosi Történeti Múzeum várostörténeti és képzőművészeti gyűjteményének egy részét. A második világháború során a park műtárgyainak nagy része elpusztult, a megmaradt szobrokat, padokat a környék lakói széthordták. A múzeumépület és az egykori templomrész is súlyos károkat szenvedett. A több méter vastag falak állva maradtak ugyan, azonban a tetőszerkezet teljesen megsemmisült. Vele együtt pusztult el az egyetlen, eredeti helyén maradt műalkotás, a Gfall-féle kupolafreskó is. Állítólag a romos kastélyban még a budai várnegyed eleste után is tartotta magát egy kisebb csapat, szembeszállva a benyomuló szovjet erőkkel.

A háború és a helyreállítások után a múzeum a régi kolostorépület falai között 1949-ben újra működni kezdett (immár mint a Budapesti Történeti Múzeum részlege), a romtemplomon azonban évtizedekig csak állagmegóvó munkákat végeztek. A beszakadt tető helyén besütött a nap, a párkányokat felverte a gyom, az üres ablakszemeken át látni lehetett a szétrombolt belső részeket. Mindemellett a parkba betelepített növények is kipusztultak.

A kastélyt 1956 viharos napjaiban is erődként használták a szovjetek ellen. A Vörösvári útról orosz harckocsi lőtte az épületet. A helyi legenda szerint egy hadnagy tartott ki itt egy szakasznyi katonával, akik közül háromnak sikerült megmenekülnie és nyugat felé átlépnie a határt. 1956 őszén a kastélyba szabadságharcos felkelők egy csoportja „fészkelte be magát” és közel tíz napon át sikeres rajtaütéseket hajtottak végre a Bécsi úton beáramló szovjet katonákon. A tűzszerészek még az 1960-as években is találtak lőszereket a környéken. Az 1956-os eseményeket megörökítő emléktábla a kastélyudvar kapuja mellett látható, a következő felirattal: „Az 1956 november 4. és 8.-a között a kastély környékén harcolt és elesett hősök emlékére állíttatta az 56-os Emlékbizottság”.

1976-ban átfogó felújítási munkálatokba fogott az épületegyüttest kezelő főváros. A templom tetőszerkezetét felépítették, tátongó ablaknyílásait befalazták. A templom belső részeit nem építették újjá, de rendbe hozták annyira, hogy kiállítások és koncertek megtartására alkalmas legyen. Ez a mai kiscelli romtemplom. 1997-ben a környező bozótot megritkították, a gyommal felvert utakat megtisztították. A kastély udvarán ma juharfák láthatóak.