Fondé en 2003, Jon Oliva's Pain est initialement prévu comme un projet solo du chanteur / multi-instrumentiste / compositeur Jon Oliva (Savatage). Il devient un groupe à part entière avec l'arrivée des musiciens fraîchement partis de Circle II Circle (groupe de Zak Stevens, chanteur de Savatage).
Un premier album, 'Tage Mahal, sort en 2004 chez SPV. Peu satisfait du label, le groupe signe ensuite avec AFM Records, chez qui sortiront trois opus jusqu'à Festival en 2010.
Après le décès du guitariste Matt LaPorte en 2011, Jon Oliva's Pain reste inactif ; ce n'est qu'à l'occasion d'une interview en 2019 qu'Oliva déclare que le groupe n'existe plus.