Павильон «Ферма» был построен по желанию Императрицы Марии Федоровны в 1802-1803 годах на месте дачи Кантакузена. За три месяца лета 1802 года архитектор Андрей Воронихин перестроил главное здание дачи под павильон, а также построил ряд хозяйственных построек: птичник, конюшни, ледник. На территории фермы был вырыт пруд, высажены деревья.