Наделена статусом памятника архитектуры федерального значения.
 Возведение усадьбы совпало с закладкой Вознесенской церкви (1794-1795 годы), завершилось оно в 1824 году, а к середине 19 столетия рядом разбили сад.
 Здание являет собой воплощение усадебного зодчества зари 19 столетия – стиля классицизм. Комплекс асимметричен: в углу – главное строение, парк же разбит позади дома, на его территории вырыто озеро с островком и ротондой на нем. В парке произрастают вековые лиственницы и липы – старейшие деревья Екатеринбурга (им более 200 лет). 
 Первым хозяином усадьбы был губернский секретарь Исаков, но он умер спустя год с начала строительства каменного дома. Незавершенное здание перекупил у вдовы Исакова купец Расторгуев и построил 2 дома, двухэтажный флигель с бельведером и оранжерею. В 1820 году появились еще 2 флигеля: на Вознесенской улице и во внутреннем дворике.
 В 1823 году усадьба опять меняет собственника и переходит в руки зятя купца – Харитонова, который в свою очередь выкупает соседние участки земли и разбивает английский сад вкупе с парковыми сооружениями, занимает все это великолепие 9 гектаров. Позднее флигели объединили одноэтажными переходами, а к 1836 декорировали фасады.
 Поговаривали, что в подвалах усадьбы содержались заводские бунтари, что подземный мир под домом был сродни лабиринту. В 1837 году за жесткое обращение с рабочими император ссылает Харитонова в Кексгольм, дом пустеет, а ряд помещений начинают арендовать квартиранты и различные конторы.
 В революционное время в здании обитал отряд Красной гвардии, а также базировался Урало-Сибирский коммунистический университет. Зимой 1917 года во дворце заседал первый областной съезд Социалистического союза рабочей молодёжи Урала, что объясняет наименование площади у дворца – Комсомольская.
 
В 1937 году заканчивается капитальный ремонт здания, и оно переходит Дворцу детского и юношеского творчества (в то время – Дворец пионеров и школьников). В 2000 году усадьбу хотели сделать резиденцией Латышева, полномочного представителя Президента РФ в УрФО. Путиным был подписан соответствующий указ, но общественность воспротивилась, и акт передачи не состоялся. Для Латышева построили отдельный дворец.
    














