Bir rivâyete göre Ebü'l-Hasan Harkânî, Kars'ın fethine katılmış ve kale önlerinde şehit düşmüştür. Kars'ta, Hasan Harkânî'nin kabrinin bulunmasıyla ilgili çeşitli rivâyetler vardır. Evliyâ Çelebi, Seyahatnâme'sinde bir rivâyeti şöyle nakletmektedir:

Kars kalesi Osmanlılar tarafından Üçüncü Murâd Han devrinde tekrar geri alınınca, kale tâmirâtı Lala Mustafa Paşaya verilmişti. Tâmirâtın yapıldığı sırada askerlerden Hâfız Osman isimli hal sâhibi biri rüyâsında Hasan-ı Harkânî'yi gördü. Ona;

- Oğlum Hâfız Osman! Uzun müddetten beri toprak altında yatmaktayım. Paşana söyle, kabrimi ayan edip açığa çıkarsın, okunacak Fâtihalardan nasîbdâr olayım." dedi.

Ertesi gece Hâfız Osman aynı rüyâyı tekrar gördü. Fakat cesâret edip Paşaya söyleyemedi. Üçüncü gece de aynı rüyâyı gördü. Ebü'l-Hasan Harkânî, mütebessim çehresiyle bu defâ şöyle dedi:

-Yavrum Hâfız Osman! Gördüğün rüyâlar sâdık rüyâlardır. Yalnız makâmımın nerede olduğunu, evvelki rüyâlarında söylemediğim için, seni tereddütte bıraktım. Bunun için de paşaya söylemeye cesâret edemedin. Şimdi dikkatlice dinle târif ediyorum. Yarın hemen Paşaya çık ve söyle. Kars Kale içi mahallesinde Kağızman Kapısı'na girdiğinde yirmi iki adım gün batı tarafına gidersin, son adımın altında benim tabutum bulunur. Üzerimdeki kül ve toprak yığınlarını temizledikten sonra, hâlis topraktan üç arşın eşin. Sandukam meydana çıkar. Tekrar Kars Kalesine doğru on sekiz adım götürür oradan da üç arşın derinliğinde hâlis topraktan kabrimi eşer oraya defnedersiniz. Baş ucuma bir de câmi inşâ edersiniz.

Hâfız Osman gördüğü bu sâdık rüyâyı ertesi gün Paşaya büyük bir heyecanla anlattı. Paşa bu askerini kucakladıktan sonra;

- Yâ evlâdım! Sen de mi bu rüyâyı gördün? Evet oğlum, bir pîrî fânî, bana da bu husûsu defâlarca rüyâda buyurdularsa da senin tafsilâtlı rüyân gibi olmadığından büyük tereddüt ve endişe içindeydim. Bihamdillah bu telaşlı endişeden beni kurtardın." dedi.
Ertesi gün Lala Mustafa Paşa bir tamim yayınladı. Bütün halk ve askerî erkân, tekbir sesleriyle rüyâda târif edilen yere geldi. Kazma işi tamamlanıp tabut çıkınca, Mustafa Paşa ulemânın müsâdesiyle açtı. Tabuttan hoş bir koku yayıldı. Arkasındaki yaş hırka bile henüz çürümemişti ve savaş sırasında yaralanan sağ bacağı ile sol pazusuna bağlanan mendillerden, hâlâ kan damlamaktaydı. Durum sultana bildirilince, Üçüncü Murâd hemen bir türbeyle yanına câmi yaptırılmasını emretti.