Gimė 1948 12 15 Skirų k., Panemunėlio sen., Rokiškio raj. 1955 m. pradėjo lankyti Kraštų pradinę, 1959 m. - Panemunėlio aštuonmetę, vėliau Panemunėlio vidurinę mokyklą, kurią baigė 1967 m.
1970 m. įstojo į Vilniaus universiteto Istorijos fakulteto dieninį skyrių, vėliau mokėsi neakivaizdiniame skyriuje. Baigęs universitetą nuo 1977 m. dirbo universiteto Visuotinės istorijos katedroje dėstytoju. 1981 m. pradėjo dirbti Lietuvos Mokslų Akademijos Istorijos institute, skaitė paskaitas aukštosiose mokyklose.
1993 m. apgynė humanitarinių mokslų daktaro disertaciją " Herbai Lietuvos privačių miestų istorijoje". Tais pačiais metais paskirtas Lietuvos Didžiosios Kunigaikštystės istorijos skyriaus vedėju, direktoriaus pavaduotoju moksliniam darbui. 1997 m. suteiktas docento vardas. 1999 09 02 išrinktas Lietuvos istorijos instituto direktoriumi.
Svarbiausia Rimšos tyrinėjimų kryptis - Lietuvos heraldika ir sfragistika. Jo pastangomis buvo suformuluota ir įteisinta Vyriausybėje visai nauja istorijos mokslų tyrimo kryptis - pagalbiniai istorijos mokslai. Išleido knygas: "Kauno miesto herbas XV-XX a.", "Lietuvos Didžiosios Kunigaikštystės miestų antspaudai", sudarė ir su kitais autoriais parašė: "Lietuvos miestų istorijos šaltiniai" (1-2 kn.), "Lietuvos heraldika I", parengė knygą "Rokiškis: Miestas. Kraštas. Žmonės", skirtą Rokiškio 500 metų sukakčiai. Lietuvos ir užsienio spaudoje paskelbė per 70 mokslinių ir apie 90 mokslo populiarinimo straipsnių.
Nuo 1987 m. E. Rimša vadovauja atkurtos Lietuvos heraldikos komisijos darbui.
Iš Rokiškio krašto GARBĖS PILIEČIŲ knygos