Türbe, Melikgazi İlçesi, Cumhuriyet Meydanı’nın doğusunda bulunmaktadır. Sağlam durumda bulunan yapı II.Abdülhamit döneminde 1886 yılında inşa edilmiştir. Giriş kapısı üzerinde Kayseri kadısı, şair Fevzi tarafından yazılan kitabe H.1303/M.1886 tarihini taşımaktadır. Kitabenin üzerinde de oval bir madalyona işlenmiş II.Abdülhamit tuğrası görülmektedir.

Rufai tarikatının ileri gelenlerinden olan Zeynel Abidin’in 15.yüzyılda Kayseri’de bir tekkesi, camisi ve çeşmesi olduğu, 16.yüzyılda Boyacıoğlu Üstat Abdi’nin bu tesisler için bir vakıf kurduğu bilinmektedir. Zaman içerisinde cami, tekke ve çeşme ortadan kalkmıştır. 1886 yılında Zeynel Abidin’ in mezarının bulunduğu yere bugünkü türbe yapılmıştır.Zeynel Abidin Türbesi kare plânlı bir yapı olup üzeri kubbeyle örtülmüştür. Türbe mekânının ortasında Zeynel Abidin’in sandukası bulunmaktadır.