Nehrevan Savaşı’nda rakiplerini ağır bir yenilgiye uğrattı. Bu savaştan sonra, Hariciler’den üç kişi Mekke’de Müslümanların siyasi durumları hakkında bazı müzakereler yaptıktan sonra Hz. Ali’yi öldürmeyi kararlaştırdılar. Bu üç kişiden Abdurrahman bin Mulcem, Hz. Ali’yi öldürmeyi üstlendi ve Kufe’ye hareket etti. Kufe’de bir camide ibadet ederken Haricilerden Abdurrahman bin Mulcem’in zehirli bir kılıç darbesi ile yaralandı. Bu saldırının amacı Nahrevan yenilgisinin intikamını almaktı.
Halife Hz. Ali bin Ebu Talib, Abdurrahman bin Mulcem’in kılıç darbesinden sonra şöyle dedi: “Kâbe’nin Rabbine andolsun ki, kurtuluşa erdim”! İki gün evinde yattıktan sonra, hicretin 40. yılı Ramazan ayının 21. günü vefat etti (M.S. 661). Defnedildiği yeri uzun bir süre yalnızca en yakınları bilmiş, yaklaşık bir asır sonra Cafer-i Sadık mezarının Necef’te olduğunu bildirmiştir.
Hz. Ali vefat edince İslam Devleti ve hilafet, 20 yıllığına, uzun yıllar savaştığı Muaviye’nin eline geçti.
