Сам парк образовался в 1834 году, в результате слияния садов трех усадеб XVII века. В нем сохранилось множество архитектурных памятников: домик графа Орлова 1796 года (сейчас там библиотека и читальный зал), домик с ротондой на берегу Елизаветинского пруда, трехпролетный каменный арочный мост, спуски-марши и мостики над оврагами.
Нескучный сад на протяжении нескольких лет был местом тусовки толкиенистов. Эгладор – так они переименовали его. Любители книг Толкиена в свое время устраивали здесь целые баталии. Более 10 лет назад по четвергам начали они собираться в Нескучном и разыгрывать историю Средиземья. Но толкиенистов и их зрителей становилось все больше, сюда стали подтягиваться панки, хиппи, металлисты, приезжали байкеры, и Нескучный сад становился как бы вторым Арбатом. Соответственно, шумные народные массы стали привлекать внимание властей: мечи отнимались или ломались на глазах у владельцев, народ разгонялся. И с 1997 года они создали для себя новый кусочек Средиземья — Мандос в Царицынском парке. А в Нескучном устраивались турниры менестрелей, бардов, сказителей.