Толстой окончательно поселился в Ясной поляне в 1856 году в бывшем флигеле. Сюда привез он в 1862 году свою молодую жену. Позже небольшого флигеля уже не хватало для растущей семьи, и Толстой расширил его, добавив несколько пристроек.
