В 1909 году «Дом с атлантами» приобрёл один из богатейших людей Российской Империи, промышленник- сахарозаводчик Павел Харитоненко. Один из крупнейших меценатов страны, возглавляющий московское отделение Российского музыкального общества.
Павел Харитоненко сохранил традицию Расторгуева и сдавал квартиры в доме и помещения внаём.
В 1914 году квартиру номер 5 снимает семья Ляпуновых. Андрей Николаевич Ляпунов — потомок старинной дворянской династии, был страстным коллекционером живописи. Собрание Ляпунова включало полотна Поленова, Остроухова, Шишкина, Грабаря, Верещагина, Левитана, картины Врубеля, братьев Васнецовых, Репина, Сурикова, Моне, Сезанна и других русских и иностранных мастеров. Особый интерес и внимание Ляпунов уделял работам Архипа Ивановича Куинджи.
В 1917 — 1920 годах — часть собрания своей коллекции, Ляпунов передал в фонд Третьяковской галереи.
Интерьер гостиной в квартире Ляпуновых. На стенах картины из коллекции Андрея Николаевича. Впечатляет потолочная лепнина в стиле неоренессанс.