Adik Imam al-Ghazali, Ahmad menceritakan saat menjelang ajal abangnya:
“Pada waktu subuh hari Isnin, abangku Abu Hamid mengambil wuduk lalu bersolat. Kemudian beliau berkata: “Bawakan kain kapanku,” lalu diambil dan dicium serta diletakkan di mata sambil berkata lagi: “Aku patuh dan taat untuk masuk kepada malaikat.”
Kemudian al-Ghazali mengunjurkan kakinya dan menghadap ke kiblat dan wafat sebelum matahari terbit.
”Imam al-Ghazali wafat pada pagi Isnin, 14 Jamadilakhir 505H/19 Disember 1111M di Tus dengan kitab hadis atas dadanya.
Jenazah beliau dikebumikan di makam al-Tabaran, bersebelahan dengan makam penyair besar yang terkenal, Firdausi.
Diceritakan bahawa Syeikh Abul Hasan al-Syadzili bermimpi bahawa dia melihat Nabi s.a.w. menunjukkan Imam al-Ghazali kepada Nabi Musa dan Isa, sambil bertanya kepada kedua mereka, “Adakah terdapat orang alim yang bijaksana dalam umat anda berdua?” Jawab keduanya tidak ada.