Królikarnia zawdzięcza swoją nazwę czasom saskim, kiedy urządzono tu zwierzyniec i modnym wówczas zwyczajem polowano na króliki. Pałac zbudowany został w latach 80-tych XVIII wieku przez Karola Thomatisa hrabiegode Valery, według projektu Dominika Merliniego. Za sprawą Thomatisa na terenie Królikarni znalazły się browar, cegielnia, karczma, młyn i stodoła, a także położona na zboczu wąwozu kuchnia, w której w wieku XIX znajdowała się biblioteka. Po tym jak słynny kolekcjoner i znawca sztuki Ksawery Pusłowski nabył ziemię od Michała Hieronima Radziwiłła, Królikarnia padła ofiarą pożaru. Dokonana przez Pusłowskich odbudowa była jednym z pionierskich dokonań w dziejach polskiego konserwatorstwa. W 1939 r. oraz w 1944 r. podczas walk Powstania Warszawskiego, pałac został ponownie zniszczony. Decyzja o odbudowie z przeznaczeniem na zbiory rzeźb Xawerego Dunikowskiego zapadła w 1948 r. Miały się tu również znaleźć mieszkanie i pracownia artysty, jednak odbudowę ukończono dopiero w 1965 r., w rok po śmierci Dunikowskiego. Stąd szczególne znaczenie dla Królikarni mają prace związane z działalnością Xawerego Dunikowskiego i udostępnianiem jego twórczości znajdującej się w jej zbiorach.