1967 marque la fin du groupe new-yorkais Ronnie Dio And The Prophets (qui n'a enregistré qu'une poignée de singles ainsi que l'album live Dio At Domino's en 1963) et le début d'une nouvelle aventure pour ses membres, le chanteur / bassiste Ronnie James Dio, le batteur Gary Driscoll et les guitaristes Nick Pantas et David Feinstein, qui recrutent le claviériste Doug Thaler pour former The Electric Elves avant de devenir The Elves en 1968 (seuls quelques singles et bootlegs sortent sous ces noms), puis Elf en 1972.
Après le décès de Nick Pantas dans un accident de voiture en 1968, c'est Thaler qui reprend la guitare tandis que Mickey Lee Soule devient le nouveau claviériste. Mais Thaler quitte finalement le groupe début 1972, laissant Feinstein seul guitariste. La même année sort le premier album éponyme, qui permet à Elf de tourner en première partie de Deep Purple.
Dio abandonne la basse en 1973, Craig Gruber étant alors recruté à ce poste. Dans le même temps, David Feinstein quitte le groupe, remplacé par Steve Edwards. Le deuxième album sort en 1974 sous le nom de Carolina County Ball en Europe et L.A. / 59 aux États-Unis et au Japon. C'est en 1974 également que Dio participe à l'album solo de Roger Glover, The Butterfly Ball And The Grasshopper's Feast (il chante notamment sur le titre Love Is All).
Peu après, le guitariste Ritchie Blackmore recrute quatre des cinq membres de Elf pour son projet Rainbow, marquant ainsi la fin du groupe malgré la sortie d'un troisième et dernier album en 1975, Trying To Burn The Sun.