Sarayın yapımına 1685 yılında Çıldır Atabeklerinden Çolak Abdi Paşa tarafından başlanılmış, aynı soydan gelen Küçük İshak Paşa zamanında 1784’te (99 yılda) tamamlanmıştır.