Na het einde van de Etruskische overheersing namen de Romeinen niet alleen de ijzerindustrie over, maar exploiteerden ze ook het graniet. Ze ontdekten tevens de geneeskrachtige thermale modderbaden van San Giovanni, het natuurschoon van het eiland en de uitstekende wijnen.
"Het eiland van de goede wijnen", noemde Plinius de Oudere het eiland Elba. Er bloeide een intense wijnhandel. Vele van de schepen die volgeladen waren met wijnkruiken, zijn tegenwoordig te bewonderen in de archeologische musea van Portoferraio en Marciana, waar middels de schepen en verrassende vondsten uit de zee de geschiedenis van de oude zeevaarders wordt verteld. Aan de mooiste baaien van het eiland werden prachtige patriciërsvilla's opgetrokken, zoals La Linguella, Le Grotte en Capo Castello, tot de dag van vandaag nog heerlijk rustige oorden.
In de middeleeuwen was het de beurt aan de maritieme republiek van Pisa om de ijzermijnen en het graniet van Elba te exploiteren. De meeste zuilen die de Piazza dei Miracoli in Pisa verfraaien, zijn gemaakt door begaafde steenhouwers uit San Piero. Er zijn nog vele getuigenissen van de Pisaanse aanwezigheid: de elegante romaanse kerken en de Toren van San Giovanni in Campo, die op een enorme rots graniet is gebouwd, en niet te vergeten het imposante Fort van Marciana en het Kasteel van Volterraio, de bewaker van de zee en de bergen.
In 1548 was het de beurt aan de familie de' Medici: Cosimo I bouwde de vestingstad Portoferraio, die beschouwd wordt als een waar militair juweeltje. De harmonie tussen de zee, het land en de architectuur was zo perfect, dat de nieuwe stad Cosmopoli werd genoemd, "het hart van beschaving en cultuur, een perfect voorbeeld van evenwicht en rationaliteit". Onmiddellijk daarna vestigden de Spanjaarden zich in Porto Azzurro. Dezen bouwden niet alleen het majestueuze Fort van San Giacomo, dat tegenwoordig dienst doet als een gevangenis, maar ook diverse kapellen en de schilderachtige kerk Madonna di Monserrato, welke zich hoog bovenop een donkere dolomietachtige berg bevindt.