İlk hanımı Laz kızı, ikincisi ise Harma'dan Boğluoğlu kızı (Zarife?) idi. Hanımının (muhtemelen ilk hanımının) adı, Rahime Hatun.
İlk hanımından olan çocukları: Abdurrahman Ağa (11) ve Hacı Ali (12) adında iki oğlu, Zarife ve Dudu adında iki kızı var. Ayrıca Mehmet adında bir oğlu olduğu da söylenmektedir.
İkinci hanımından Zekiye ve Faika adında iki kızı var. Faika bekar olarak ölmüş.
Hacı Mustafa Ağa, oğlu Hacı Ali'yi yanına alarak hacca gitti. Çok büyük kalabalık bir kitle tarafından hacca uğurlandı. Hicaz'da, Mina veya Cidde'de vefat ettiği için oğlu Hacı Ali hacdan tek başına döndü
Kızlarından Zarife Hatun, Serdaroğulları'ndan Mehmet Ağa ile evlendi. Daha sonra da Zarife Hatun'un kardeşi Abdurrahman'ın kızı olan Şehnaz Hatun, bu evlilikten olan Serdaroğlu Mustafa Ağa (halasının oğlu) ile evlenecektir.
Hacı Mustafa Ağa'nın, Boğluoğlu kızı ile olan evliliğinden olan Zekiye Hatun, diğer kardeşlerinden küçük, hatta üvey yeğenleri yaşındadır. Anlatıldığına göre Mustafa Ağa hacca giderken, hanımı kendisine (diğer çocukların büyüdüğünü, kendi kızının küçük olduğunu ve kocasının başına bir hal gelirse bu çocuğun mağdur olacağını) söyler ve ona yani Zekiye'ye arazi hibe etmesini ister. Bunun üzerine, bugün Nafisler'in elinde bulunan yerleri Zekiye'ye verir. Bir başka anlatışa göre Zekiye'ye ayrıca yer verme yoktur. Hacı Mustafa Ağa, hacda vefat edince arazileri evlatları arasında taksim edilmiştir. Taksimde Osman Anızı denilen arazi Abdurrahman Ağa, Hacı Ali ve Zekiye arasında üçe bölünmüş, o zaman fundalık olan Armutluk taksime girmeden Abdurrahman Ağa ile Hacı Ali tarafından ortak kullanılmıştır. Hacı Mustafa Ağa'nın diğer kızı Zarife ve Dudu'dan söz edilmemektedir.
Not: Hacdan Hacı Ali tek döner. Babası, hac dönüşü Cidde'de kalmıştır. Bir gün Kale beyleri, haccını tebrik maksadıyla Hacı Ali'yi ziyarete gelir ve hanımı da tepsi ve fincanları hazırlamış, misafirlere kahve takdim etmek üzere gitmektedir. Onun bu tavrına, bir nevi kocasının dönmüş olmasından dolayı neşeli oluşuna kızan Boğluoğlu kızı (üvey kaynana, Zekiye'nin annesi), tepsiye vurur ve fincanlar kırılır. Durumu farkeden Hacı Ali, karısına; hiç bir şey olmamış gibi davranmasını, yeniden kahve hazırlayıp ikram etmesini söyler.