I Graveyard sono stati fondati nel 2006 da Joakim Nilsson, Rikard Edlund (entrambi già nei Norrsken), Axel Sjöberg e Truls Mörck. Dopo lo scioglimento dei Norrsken avvenuto nel 2000, il chitarrista Magnus Pelander ha formato il gruppo doom metal Witchcraft, mentre Nilsson ed Edlund si sono uniti agli Albatross, un gruppo rock blues che comprendeva anche Sjöberg alla batteria. I tre inizialmente consideravano gli Albatross come un progetto parallelo, ma dopo cinque anni hanno cominciato a prendere più seriamente la musica della band e a nutrire insoddisfazione verso la direzione che aveva preso il loro suono. Una volta sciolti gli Albatross, Nilsson ed Edlund decisero che era il momento di tornare alle proprie radici, sia come musicisti che come compositori. Nelle parole di Nilsson: “Sono un cantante, ma negli Albatross suonavo solo la chitarra. Rikard suonava la chitarra, ma è un bassista. Inoltre volevamo un suono più diretto e rock.”
Assieme a Sjöberg e al chitarrista/cantante Truls Mörck iniziarono a suonare come Graveyard. Poco dopo la formazione, i Graveyard registrarono un demo di due tracce, suonarono tre concerti e iniziarono a pianificare la registrazione del loro primo album con l'etichetta svedese Transubstans Records. Nel frattempo pubblicarono un demo del loro materiale su MySpace. I brani su MySpace attirarono l'attenzione di Tony Presedo, fondatore della Tee Pee Records. Il primo album omonimo è stato registrato da Don Ahlsterberg ed è stato pubblicato a inizio 2008. Una volta completate le sessioni di registrazione, Truls Mörck fu rimpiazzato dal chitarrista Jonatan Ramm. L'album di debutto ricevette recensioni generalmente positive.
I Graveyard parteciparono all'edizione 2008 del South by Southwest Music Festival. Questo primo concerto negli Stati Uniti dei Graveyard fu menzionato nella rubrica Fricke's Picks della rivista Rolling Stone Magazine. Dopo l'SXSW, i Graveyard parteciparono a un tour con i compagni d'etichetta Witch. Nell'autunno del 2008 andarono in tour con i Witchcraft e i Clutch. Il tour del 2009 li vide accoppiato ai CKY.
Il 25 marzo 2011 i Graveyard hanno pubblicato il loro secondo album. Hisingen Blues è stato di nuovo prodotto da Don Ahlsterberg ed è uscito per Nuclear Blast Records.
Il 26 ottobre 2012 è uscito Lights Out, il terzo album della band. Ancora una volta il produttore è Don Ahlsterberg.
Nel 2013 sono andati in tour con il gruppo grunge Soundgarden.
Nell'ottobre del 2014 i Graveyard hanno annunciato che il bassista e co-fondatore Rikard Edlund ha abbandonato la band, "in cerca di altre avventure musicali".