C'est en 1979 en Floride que les frère Jon et Criss Oliva, respectivement chanteur/claviériste et guitariste, fondent le groupe de Heavy Metal Avatar, bientôt rejoints par le batteur Steve "Doc" Wacholz. Après quelques démos et apparitions sur des compilations, ils changent de nom en 1983 pour Savatage avec la sortie du premier album, Sirens. S'ensuit l'EP The Dungeons Are Calling, après quoi la formation signe avec Atlantic Records pour Power Of The Night (1985). Sous la pression du label, Savatage enregistre en 1986 Fight For The Rock, un disque à visée plus commerciale qui ne satisfait ni le groupe ni la critique. C'est aussi à cette période qu'arrive le bassiste Johnny Lee Middleton, qui restera un membre permanent.
Le succès arrive en 1987 avec Hall Of The Mountain King, probablement l'album le plus réputé du groupe et dont le son commence à s'écarter du Heavy Metal traditionnel des débuts grâce à l'influence de leur nouveau producteur, Paul O'Neill. Mais c'est surtout à partir de Gutter Ballet (1989) que Savatage adopte un style plus progressif.
Deux ans plus tard, les Floridiens voient grand et développent leur propre Opéra Rock. Initialement conçu comme un double-album, Streets se voit amputé par le label d'une partie de ses titres afin de tenir sur un seul disque, ainsi que de ses interludes narratifs. Ces interludes seront présents sur la réédition de 2013 (intitulée Streets: A Rock Opera - Narrated Version) ; quant aux titres inédits, ils auraient été perdus mais une partie de leurs riffs auraient été ré-utilisés pour l'album suivant.
En 1992, Jon Oliva choisit de s'éloigner du groupe et se concentre sur d'autres projets (Doctor Butcher, qui sortira un unique album en 1994, ainsi qu'une comédie musicale qui ne verra finalement pas le jour), bien qu'il continue de composer pour Savatage. Il est remplacé au chant par Zak Stevens, et c'est dans cette configuration que sort Edge Of Thorns en 1993.

En octobre de la même année, le guitariste et membre fondateur Criss Oliva est tué dans un accident de la route. Son frère choisit de poursuivre l'aventure afin de continuer à faire vivre sa musique.
Handful Of Rain (1994) est enregistré en compagnie d'Alex Skolnick (Testament), toutefois ce dernier part peu après. Par la suite, la formation passera à deux guitaristes avec l'arrivée de Chris Cafferty (qui avait déjà joué brièvement avec Savatage à la période Gutter Ballet, et avec Jon Oliva dans Doctor Butcher) puis d'Al Pitrelli (ex-Alice Cooper). Autre changement, Jeff Plate devient le nouveau batteur en remplacement de Steve Wacholz. Un deuxième Opéra Rock est alors mis en chantier : Dead Winter Dead voit le jour en 1995.
En dehors de The Wake Of Magellan en 1997, la deuxième moitié des années 90 voit surtout le groupe se concentrer sur le projet Trans-Siberian Orchestra du producteur Paul O'Neill, pour lequel les membres sont accompagnés d'un orchestre et de divers invités au chant, et qui rencontrera un plus grand succès commercial.
Alors qu'Al Pitrelli part en 2000 au profit de Megadeth et que Zak Stevens se retire temporairement pour raisons familiales, c'est avec un line-up réduit que Savatage enregistre Poets And Madmen (2001), qui voit notamment Jon Oliva reprendre le chant en studio. Le groupe tourne assez peu, avec des musiciens de session, avant d'entrer en hiatus indéfini.
Trans-Siberian Orchestra continue néanmoins de tourner et d'enregistrer des disques. En parallèle, Jon Oliva fonde son propre groupe, Jon Oliva's Pain, avec lequel il sort quatre albums entre 2004 et 2010, puis un album solo en 2013 sous le nom Oliva, tandis que le chanteur Zak Stevens fonde Circle II Circle (Power Prog).
Savatage se reforme en 2015 à l'occasion d'un unique concert au Wacken Open Air, avec le line-up de la fin des années 90, sans autres plans d'avenir. Toutefois, fin 2020 / début 2021, Jon Oliva et les autres membres confirment qu'ils travaillent sur de nouvelles compositions, sans qu'une sortie soit encore prévue.