В 1626 году особняк на Никольской принадлежал боярину Алексею Левашову. Потом каменные палаты, предположительно, перешли князю Ивану Никитичу Хованскому.
Иван Никитич Хованский, стольник, был внуком М.М. Салтыкова – двоюродного брата царя Михаила Федоровича Романова. В 1650-м Хованский боролся с мятежами в Новгороде и Пскове, был воеводой в Смоленске. Сын Ивана Никитича, боярин Иван Хованский, был противником петровских реформ. За свои воззрения он был взят под стражу. Иван Хованский умер в заключении, не дождавшись суда, 15 марта 1701 года.
После смерти И.И. Хованского его московское имущество, в которое, вероятно, входил и будущий Расстельный дом, отошло государству. В 1756 году особняк на Никольской был книжной лавкой Канцелярии Петербургской академии наук. Чуть позже учреждение торговли перешло к купцу Кольчугину. В 1792 году владельцем особняка становится покровитель искусств, хозяин Останкинского дворца, Н.П. Шереметев. Именно в это время дом с подвалом становится трёхэтажным и приобретает архитектурные черты классического стиля.