Formé en 2004 après le split de Pledge Alliance, Plague Mass (anc. The Plague Mass) enregistre très rapidement une première démo avant de se lancer sur les routes d'Europe de l'Est. Un album intitulé Visitation voit le jour en 2005 chez Noise Appeal Records avec lequel les autrichiens repartent sur les routes.
Entre 2006 et 2007, Plague Mass donnera naissance à deux ep, bouclera deux tournées européennes, participera à des festivals dont le Fluff Fest, et perdra deux membres en route, Schnee et Bernie.