Если человек не верующий, то для него нет единого верховного божества.

Имеет он право писать с маленькой тогда? С другой стороны он подобных фраз и не напишет. В общем, Вы правы.
Кстати, фраза "слава богу", может быть как бытовой так и нет. Это может ведь зависеть от веры?