L'histoire de Testament est longue et compliquée. Tout débute avec la formation de Legacy en 1983 dans la fameuse Bay Area Thrash de San Francisco, alors à la pointe du Metal Extrême. Legacy est fondé par les guitaristes Eric Peterson et Derrick Ramirez. Les deux comparses recrutent Greg Christian à la basse, Mike Ronchette à la batterie et Steve Souza au chant. Mais très vite Ramirez est remplacé par le jeune Alex Skolnick, élève prodigue de Joe Satriani. Legacy sort alors une quatre titres éponyme avant de voir le départ de Ronchette, puis de Souza pour Exodus. Ils sont respectivement remplacés par Louis Clemente et Chuck Billy. C'est pendant l'enregistrement de leur premier album que Legacy devint Testament, un autre groupe portant déjà ce nom. Du coup Testament a intitulé son album The Legacy, et celui-ci vit le jour en 1987.
Testament connaît un début en fanfare puisque le groupe est vite comparé à Metallica, et supporte Anthrax après la sortie d'Among the Living. Cette durant cette tournée que le quintet enregistre l'EP Live at Eindhoven.

L'année suivante Testament sort The New Order, dans la même veine que leur premier effort. En 1989 le combo délaisse ses thèmes gothiques pour s'attaquer à la politique et à la corruption avec Pratice What You Preach, qui est considéré comme leur album de référence.
Malgré son indéniable qualité Souls of Black se vend mal en 1990. Pour coller au succès Grunge et ramasser quelques fans, Testament sort un album plus Heavy en 1992, The Ritual. Mais rien n'y fait, Testament ne vend plus et tout commence à partir en vrille.

Alex Skolnick fut le premier à quitter le navire, pour Savatage, frustré d'être restreint après la sortie de The Ritual. Peu après Louis Clemente décida de quitter le groupe à son tour et d'arrêter carrément la musique. Ils furent remplacés par les deux Forbidden Glen Avelais et Paul Bostaph, avec qui l'EP Return to Apocalyptic City fut enregistré. Mais juste après Avelais quitta le groupe et Bostaph rejoignit Slayer pour remplacer Lombardo. Ce furent James Murphy (Death, Obituary...) et John Tempesta (Exodus) qui prirent leur place.

Après ces moult changements de line-up Testament enregistre Low en 1994, album renouant avec les débuts du groupe mais qui n'a pas convaincu les fans de la première heure. Un an plus tard Testament connaît nouveaux trois départs : Christian, Tempesta et Murphy.

En 1997 Testament s'essaye au Death Metal sur Demonic avec Peterson à la rythmique et aux soli, Ramirez de retour pour enregistrer la basse, et le batteur Gene Hoglan (Dark Angel, Death, Strapping Young Lad...). Sur cet album le chant de Billy n'a absolument rien à voir avec ce qu'il avait pu faire avant.

Le line-up de Testament de The Gathering en 1999 fait figure de « All Star Band » avec le retour de James Murphy à la guitare, l'épatant Steve Di Giogio (Death, Sadus...) à la basse, et le fameux Dave Lombardo (Slayer, Grip Inc.). Avec un tel monde l'album ne pouvait qu'être qu'excellent, et c'est en toute logique que The Gathering remit tout le monde d'accord sur Testament, qui retournait par ailleurs vers le Thrash.

Peu après James Murphy s'est fait diagnostiquer une tumeur au cerveau, quasiment en même temps que son ami Chuck Schuldiner (leader de Death), mais à la différence de ce dernier  (R.i.P), James Murphy en réchappa. Le destin s'acharne sur Testament puisqu'en 2001 Chuck Billy apprend qu'il est atteint d'un cancer des testicules. En dépit de cela il enregistre First Stike Stills Deadly, une compilation de titres sortis sur les deux premiers albums. Sur ce disque Murphy et Lombardo ont cédé leur place à Skolnick et Tempesta.

Billy est complètement rétabli en 2003 et Testament entame une tournée, après avoir recruté Steve Smyth et Jon Allen (Sadus) pour tenir les fûts. Mais l'année suivante ce dernier quitte le groupe, et Paul Bostaph est de retour. L'ex-Halford (Judas Priest) Mike Chlasciak remplace Smyth partit chez Nevermore.

Dernier revirement en date, en 2005 Testament retrouve son line-up de 1987-1992 pour une tournée « 10 Days in May Tour », tout en gardant Tempesta, qui partage la batterie avec Louis Clemente. C'est avec ce même line-up qu'est attendu le prochain album du groupe, normalement prévu pour 2007.