На территории, ограниченной нынешними улицами Виенибас, Саулес, Гимназияс и Лачплеша, расположен старейший парк нашего города. На момент основания парка это были соответственно улицы Александро-Невская, Петербургская, Владимирская, Офицерская. Площадь парка -  13 272 квадратных метра.
     Основной причиной основания бульвара, так в былые годы называли парки, послужил пожар. На территории нынешнего парка находились городские деревянные ярмарочные лавки. 26 мая 1862 года ярмарочные лавки, которые почти вплотную примыкали к зданию гимназии, загорелись. От огня пострадало и здание гимназии. Вследствие этого городскими властями было решено - не восстанавливать на прежнем месте сгоревшие лавки, а  на этом месте разбить первый в городе парк.
     В парке были посажены разнообразные деревья  - как местных, так и экзотических пород, выписанных из Северной Америки, Китая, Сибири. Например, такие как псевдотсуга серая, сирень амурская, ледебура и другие. На территории парка были проложены дорожки и установлены скамейки, а так же построен торговый павильон с верандой. Сам парк окружала ажурная железная ограда, а на летнее время нанимался сторож. У всех входов и выходов были разнообразные торговые киоски.
     Парк часто менял название. Поначалу это был сад Александра Невского, сокращенно его называли  Александровский парк. В 80-е годы XIX века, после обустройства нового парка  – Дубровинского, сад Александра Невского был переименован в Старый бульвар. 14-го июля 1924 года решением Двинской городской Думы Старый бульвар стал называться Церковным бульваром. Затем, в декабре 1934 года, название поменяли на Виенибас дарзс. Перед самой второй Мировой войной, 2-го августа 1940 года, парк был переименован в честь 1-го Мая. В период послевоенного восстановления города, решением Городского Исполнительного комитета № 231 от 4 июня 1949 года, в парке был установлен бюст А.С.Пушкина, и парку было присвоено его имя. Но уже 20 мая 1966 года, опять же по решению городского исполнительного комитета № 446, бюст Пушкина заменили бюстом известного латышского поэта Андрея Пумпура, соответственно поменялось и название парка. Это название - парк Андрея Пумпура - дошло и до наших дней.
     Параллельно существовало и народное название - «Тарелочка». Вполне возможно, что оно произошло от фонтана, устроенного в парке в 20-е годы прошлого века. Первоначально фонтан имел вид каскада из трёх тарелок. Автором проекта фонтана был скульптор А.Вейнбах. Теперь на месте старого фонтана действует новый,  главная часть которого  – скульптура девочки с цветком.
     Кроме фонтана, в парке была и другая достопримечательность – солнечные часы. Они были сделаны и установлены на деньги, собранные старшеклассниками гимназии. В дальнейшем, солнечные часы были перенесены на угол теперешних улиц Ригас и Циетокшня, а затем установлены перед старым корпусом Даугавпилсского университета.
     Стоит отметить, что при строительстве городского водопровода парк стал одним из первых объектов, куда провели воду от водонапорной станции. Произошло это в 1901 году.
     На территории парка находился православный собор Святого Александра Невского. Вход в собор был с нынешней улицы Саулес, а на углу улиц Виенибас и Саулес стоял двухэтажный кирпичный дом для причта собора. Это единственный в городе храм, который был уничтожен в мирное время по приказу властей - он был взорван. Теперь на его месте возведен храм-часовня, носящий имя бывшего там прежде собора.
     До Второй Мировой войны в парке - напротив перекрёстка улиц Саулес и Гимназияс - действовала заправка SHELL. Сейчас на этом месте находиться небольшой магазинчик.
     В городской прессе начала прошлого века регулярно писали о Старом бульваре. Из статей можно узнать, что ремонтировалась ограда парка, менялись старые скамейки, а на месте двух засохших деревьев неподалёку от солнечных часов было решено сделать детскую площадку.
     Уже в наши дни, в 1994 году, на территории парка был размещен камень с мемориальной доской памяти жертв коммунистического террора. Автор этого памятника - скульптор Е.Волкова. Каждый год  14-го июня у памятного камня собираются жители города, чтобы почтить память погибших в те роковые дни.
     В наше время проведена капитальная реконструкция парка - уложено новое современное покрытие на дорожках и площадках, устроены клумбы и газоны, установлены новые скамейки.

Использованы материалы:
Газеты "Двинский листок", "Наш Двинский голос".
"Город Даугавпилс. Хронологический обзор"  Залман Якуб
"Даугавпилс в прошлом"  Залман Якуб