Conducting From The Grave se forme fin 2003 suite au départ de la plupart des membres With Passion avec Jeff Morgan (Guitare), John Abernathy (Guiatre) Greg Donnelly (Batterie), Phil Williamson (Basse) et Shaun Gier (Chant). Le groupe sort très rapidement une première démo en 2004, Breathe The Blackened Sky, dans un style Deathcore / Metalcore influencé par les grands noms de la scène américaine (All Shall Perish, Suicide Silence...). Drew Winter remplace Shaun au chant, ce dernier ayant décidé de consacrer plus de temps à With Passion qui vient de signer chez Earache Records. Conducting From The Grave sort néanmoins un ep intitulé Trials For Forsaken en 2005 et réalise une petite tournée locale. Cependant, peu de temps après, Phil décide de quitter le groupe et sera suivi quelques semaines plus tard par l'éviction de Drew. Le combo est alors mis sur pause et ses membres reviennent pendant deux ans dans With Passion.

En septembre 2007, Conducting From The Grave est de retour avec le même line-up de départ, un nouveau bassiste (Steven Lovas) et Drew qui revient au chant. Mais ce dernier n'est pas très appliqué et c'est Lou Tanuis (Through The Eyes Of The Dead) qui le remplace en 2008. Le groupe est alors fin prêt pour sortir son premier album, When Legends Become Dust chez Sumerian Records, qu'ils défendent plusieurs mois sur les routes. En 2010, Lou est remplacé par Mikey Powell avec qui ils enregistrent Revenants qui paraît en 2011. Conducting From The Grave tourne alors avec Suicide Silence, puis en 2012 avec All Shall Perish, Carnifex, Fleshgod Apocalypse, Fallujah...