Палаты были построены в середине 17 века придворным (стольником) Алексея Михайловича Емельяном Бутурлиным. Это были богато декорированные двухэтажные палаты с видом на Кремль.
За четыре века палаты горели, перестраивались, заселялись то князьями, то постояльцами ночлежек. До наших дней сохранился только первый этаж.
В 19 веке владелица дома Елизавета Ярошенко устраивает там недорогую ночлежку (комната стоила 5 копеек в сутки) и трактир «Каторга», об этом трактире живописно повествовал Гиляровский в книге «Москва и москвичи».
Очень примечателен двор этого дома, время там как будто остановилось, не слышно шума города, на стене дома – изразцы 17 века, стены увиты плющом. Только вход во двор теперь преграждают ворота с кодовым замком, но можно попытаться пройти туда – не пожалеете.