Находится на высоте над Южной бухтой в центральной части города, ограничен каменной стеной по периметру.
          Выше Театральной площади (ныне пл. Ушакова) по проекту Инженерного ведомства в 1834 году предполагалось построить один из бастионов для защиты Севастополя с суши.
          В 1840 году на высоте был разбит бульвар, получивший название Большой, высота стала называться Бульварной.
          Строительство 4-го бастиона на этой высоте началось весной 1854 года после начала Крымской войны. В июле в районе бульвара было построено несколько батарей, вооруженных 29 орудиями, снятыми с корвета «Пилад» и других судов.
          К моменту высадки неприятеля 2 сентября 1854 года под Евпаторией укрепления на Бульварной высоте не были достроены, они достраивались и вооружались уже под огнем французских и английских осадных батарей.
          В ходе обороны Севастополя на высоте и ее склонах были построены: 4-й бастион, Язоновский редут и 27 номерных батарей. Укрепления были объединены во вторую дистанцию оборонительной линии, которой командовал вице-адмирал Ф. М. Новосильский. Оборона дистанции постоянно совершенствовалась, к моменту первой бомбардировки 5 октября 1854 года на ее вооружении было 72 орудия разных калибров.
          В октябре 1854 года командование союзных войск избрало 4-й бастион целью главной атаки. Укрепления подвергались сильнейшему обстрелу со стороны неприятельских батарей. Попытки союзников прорыть подземные галереи под укрепления 4-го бастиона и взорвать его не увенчались успехом.
          С 4-го бастиона в ночное время совершались вылазки в расположение неприятеля.
          К концу обороны города на вооружении дистанции было 243 орудия.
          27 августа 1855 года войска взорвали укрепления по приказу командования и перешли по наплавному мосту на Северную сторону.
          В 1875 году городской Думой было принято решение, запрещающее какое-либо строительство на месте русских укреплений 1854 — 1855-х годов. В 1876 году по всей Российской империи была открыта подписка для устройства Исторического бульвара по линии бывших бастионов. Благоустройство началось с 4-го бастиона как «самого достопримечательного пункта», и в 1881 году на бывшем бастионе была закончена посадка деревьев. В конце XIX века на Историческом бульваре, были установлены каменные тумбы с номерами бывших батарей. Сооружение большинства памятников на бульваре было закончено в 1904 - 1905 годах к 50-летию начала обороны Севастополя. Была освящена панорама «Штурм 6 июня 1855 года», по проекту архитектора Кольба сооружены памятники на месте 4-го бастиона и Язоновского редута, по проекту военного инженера О. И. Энберга выполнены мемориальные обозначения батарей, восстановлены левый фас 4-го бастиона и блиндаж, вход в подземно-минные галереи, разбит сквер. В 1909 году был открыт памятник Э. И. Тотлебену, в 1910 — обозначение пребывания на бастионе Л. Н. Толстого.
          В годы революции и гражданской войны на Историческом бульваре проходили митинги жителей города, тайные митинги германских солдат из состава оккупационных войск.
          После гражданской войны бульвар пришел в запустение и только после 1925 года город принял меры для наведения там порядка и благоустройства. Инженер О. И. Энберг выполнил проект новой планировки бульвара, получившего имя Л. Толстого, была заменена полностью кровля Панорамы, устроено освещение бульвара. В 1926 - 1927 годах было высажено несколько сот деревьев, асфальтированы дорожки, построены площадки для лаун-тенниса, для игры в футбол, детская, кегельбан и т. д., поставлены скамейки.
          В 1928 году была открыта мемориальная доска в честь 100-летия со дня рождения Л. Н. Толстого.
          В годы Великой Отечественной войны на бульваре располагалась позиция зенитной артиллерии, в нескольких десятках метров от памятника Э. И. Тотлебену находились штаб ВВС, штаб и КП ПВО Черноморского флота, в подземно-минных галереях работали курсы МПВО. В дни обороны Севастополя 1941 — 1942 годов было разрушено здание панорамы, повреждены мемориальные обозначения батарей, уничтожены деревья.
          После Великой Отечественной войны, в 1945 году, под руководством скульптора Л. М. Писаревокого был восстановлен памятник Э. И. Тотлебену. В 1946 году архитекторы Л. Л. Егоров и Е. Д. Кудрявцева составили проект восстановления Исторического бульвара, он и был воплощен в жизнь. Продольная ось бульвара проходит по аллее от главного входа до восстановленных орудийных двориков 4-го бастиона. Отреставрированы мемориальные обозначения батарей.
          В 1954 году была открыта восстановленная советскими художниками Панорама «Оборона Севастополя 1854—1855 годов», в 1958 году — новое мемориальное обозначение пребывания на 4-м бастионе Л. Н. Толстого. В 1983 году у главного входа на бульвар с площади Ушакова к 200-летию основания города открыт памятник Ф. Ф. Ушакову.