Erzurum’un Oltu ilçesinde dünyaya geldi. İlk, orta ve lise tahsilini Erzurum’da tamamladı. Atatürk Üniversitesi Fen Edebiyat Fakültesi Coğrafya Bölümü’nden 1999’da mezun oldu. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Türkiye Coğrafyası Ana Bilim Dalı’nda yüksek lisans çalışmasını tamamladı. Aynı zamanda Anadolu Üniversitesi İktisat Fakültesi Kamu Yönetimi Bölümü’nü bitirdi.
Erzurum’un Oltu ilçesi Esenyamaç İlköğretim Okulu'nda 1999’da öğretmenliğe başladı. Sonrasında çeşitli okullarda müdür yardımcılığı ve okul müdürlüğü yaptı. Kredi ve Yurtlar Kurumu Genel Müdürlüğünde 2013-2015 yılları arasında şube müdürlüğü, 2015 -2018 yılları arasında da Yüksek Öğrenim Kredi ve Yurtlar Kurumu Erzurum Bölge Müdürlüğü ve İl Müdürlüğü görevlerinde bulundu.
Çeşitli sivil toplum kuruluşlarında görevler aldı.
2018 yılında Erzurum İl Millî Eğitim Müdürlüğü görevine atanan Kaygusuz, İl Millî Eğitim Müdürlüğü görevini sürdürmekteyken 4 Ağustos 2023'te Antalya Milli Eğitim Müdürlüğü'ne atandı.
Kaygusuz, evli ve iki çocuk babasıdır.
