Стояло жаркое флоридское лето 1984-го когда на местной сцене появилась очередная тяжелая команда под названием "Oblivion". Банда эта, игравшая нечто трэшеобразное, вскоре сменила вывеску на "R.A.V.A.G.E." ("Raging atheists vowing a gory end"). Какое-то время в группе числился вокалист Скрэппи, но в 1986-м он был уволен, а его функции подгреб под себя гитарист Келли Шафер. Затем в коллектив пришел бас-гитарист Роджер Паттерсон, чье появление дало значительный толчок творческому развитию "атеистов". К ноябрю 1986-го в группу подтянулся второй гитарист, Марк Шоцберг, и при его участии было записано демо "On they slay".
Пленка получила теплый прием в андеграунде, а дэт-метал-импресарио Бориводж Кергин был настолько впечатлен записью, что предложил парням пропихнуть их песни на сборник "Raging death", а сам впоследствии стал менеджером группы. Перед тем как компиляция вышла в свет, Шоцберга выставили за дверь, поскольку остальных участников проекта не устраивала его работа. Оставшись втроем Келли, Роджер и ударник Стив Флинн записали еще одно демо, "Hell halts no mercy", которое впрочем, так и осталось нереализованным.
В начале 1988-го к коллективу присоединился гитарист Рэнд Барки, и таким образом классический состав "Atheist" был окончательно сформирован. В апреле группа отправилась в дэтовую студию "Morrisound" и произвела на свет четвертую демку, "Beyond". Уже пора было заключать контракт, но прошло еще несколько месяцев перед тем как "атеисты" подписали бумаги с "Mean machine records". В ноябре 1988-го коллектив вернулся в "Morrisound studios", где под руководством известного продюсера Скотта Бернса сотворил свой первый альбом. К этому времени у "Atheist" выработался свой уникальный стиль, получивший впоследствии классификацию техно-дэт.
На "Piece of time" как раз и был представлен этот уникальный коктейль из дэта, джаза, хэви, трэша и прогрессива. К сожалению, пластинка не вышла вовремя, поскольку лейбл разорился, и музыкантам пришлось искать новый контракт. "Piece of time" появился в продаже только в 1990 году с помощью европейского лейбла "Roadracer Active Records".
В течение этого года группа активно гастролировала в Европе и Северной Америке, деля сценические площадки с бандами типа "Napalm death", "Morbid angel", "Obituary", "Forbidden", "Candlemass", "Death angel" и "Exodus". Во время гастролей по Штатам случилась трагедия. Машина, на которой передвигались "атеисты", попала в аварию, в результате чего скончался Роджер Паттерсон. Однако работа над вторым альбомом была уже начата, и Шафер, хотя и сильно переживал потерю басиста, решил не останавливаться на полпути. Сессии "Unquestionable Presence" были завершены с помощью Тони Чоя из "Cynic". Однако Чой вскоре ушел в "Pestilence", а его заменил Дарен Макфарланд. К лету 1992-го после нескольких провальных туров команда оказалась на грани распада.
Келли сосредоточился на новом проекте "Neurotica", и лишь контрактные обязательства перед лейблом заставили его записать третий "атеистический" альбом. В составе Шафер, Чой, Барки, Франк Эмми (гитара) и Джош Гринбаум (ударные) "Atheist" выдали на удивление добротный диск "Elements" и даже провели евротур при поддержке "Benediction" и "Cemetary". Однако Шафера все больше тянуло в "Neurotica", и вскоре команда окончательно распалась. В начале нового тысячелетия Келли попытался было возродить проект, но ничего из этого не вышло, и фаны так и не увидели обещанного нового альбома.