La banda se formó originalmente en Boston en 1998, cuando Joe McMahon, originario del oeste de Massachusetts, se unió a Chris Brand, Bill Ironfield y Nick Maggiore, oriundos de New Hampshire. Los cuatro se conocieron mientras estudiaban en la Universidad de Boston. Originalmente se llamaban Jericho. Finalmente en 2004 citando continuas protestas de grupos cristianos que se quejaban de la "blasfemia" religiosa de que la banda adoptara un nombre derivado de la Biblia