С довоенного времени живет в Ленинграде. Учился на филологическом факультете Ленинградского университета. В советское время выступал в официальной печати как автор пьес для детей и взрослых (по большей части в соавторстве с Леонидом Виноградовым).  
Входил в одну из самых ранних (с 1957 г.) ленинградских групп неподцензурной поэзии, впоследствии получившей название «филологическая школа», или УВЕК (по первым буквам фамилий участников: Владимира Уфлянда, Виноградова, Ерёмина и Сергея Кулле). Публиковал стихи в самиздате с 1960 г. (журналы «Синтаксис», «Часы», «Митин журнал» и др.). Переводит поэзию с английского (У. Б. Йейтс, Т. С. Элиот, Харт Крейн). Стихи Ерёмина являются, пожалуй, наиболее герметичными и трудными для восприятия в современной поэзии. Почти все они написаны в одной и той же авторской форме восьмистрочного верлибра и представляют собой сложные культурологические этюды, одушевленные лирическим чувством причастности субъекта ко всему в культуре; в то же время почти в каждом тексте происходит и обратное движение смысла, в соответствии с которым сколь угодно далекое от повседневной человеческой жизни культурное явление или научное понятие, сколь угодно редкий термин обнаруживают родство с брезжащим в глубине стихотворения лирическим переживанием.