Kızılhisar’ın, şimdiki Kaya Mahallesinin bulunduğu yer ve civarında M.Ö. 1500-1400 yıllarında Eti’ler(Hititler) tarafından kurulduğu sanılmaktadır. Kızılhisar 200 yıla yakın Eti İmparatorluğunun,M.Ö.1200 yıllarında İonlar-Akarların,M.Ö. 800 yılında Lidyalıların,M.Ö.546 yılında Perslerin,M.Ö. 440 yılında Karyalıların M.Ö. 334 yılında Makedonyalıların,M.Ö. 200 yılında bu imparatorluğun parçalanması üzerine Selevkosların, M.Ö. 133 yılında da Roma İmparatorluğu’nun idaresinde kalmıştır.

M.S. 1077 yılında Anadolu Selçuklularının yaptıkları savaş neticesinde, Roma İdaresinden kurtularak, 1308 yılına kadar Selçukluların idaresi altına girmiştir.

1292 yılında Cengiz Han’ın idaresine giren Kızılhisar, 1402 yılında Timur tarafından tekrar Germiyan oğulları beyliğine bağlanmıştır.

1292 yılında  Cengiz İmparatorluğunun tanınmış şahsiyetlerinden Ketykavus’un ölümü ve 1300 yılında İlhanilerin tahtına sahip Ebusait Bahadır Han’ın küçük olması dolayısıyle Kızılhisar,Gölhisar Sultanlığı tarafından idare edilmiştir.Gölhisar Sultanı Mehmet Çelebi’nin 1325 yılında ölmesi üzerine 1326 yılında Germiyanlarla savaş ilan edilmiş ve bu sene içinde Kızılhisar ve yöresi Kütahya’da bulunan Germiyanların eline geçmiştir.Böylece Kızılhisar 1429 yılından İstiklal Harbine kadar Osmanlı İmparatorluğu’nca idare edilmiştir.1300-1310 yıllarında taş ve tuğladan yapılan küçük bir Hisardan dolayı, Kızılhisar adını almıştır.Bu isimde tuğla ve toprağının kırmızı olması nedeniyle verilmiştir.Halk dilinde bu yerde kızıl isimli asi bir şahıs varmış.Kendisine karşı gelenleri astırırmış ve bundan dolayı “Kızılasar”denilmekte ise de bu tamamen bir rivayetten ibarettir.XVI. yüzyılın başlarında Karaaağaç ovasına hakim; Yören Dağı eteğinde önce Kepez sonra Yerlikaya adıyla köy olarak kurulmuştur.

Kızılhisar’ın 1429 yılında Osmanlı İmparatorluğu’nun sınırları içine alınmasından sonra Değirmen deresi önündeki Cevizler(Karaağaçlar),Honaz dağı eteğindeki Eğrikavak, Alaylı,Harami(Akmazca),Yağlıhan,Kısmen Boyralı-Karacaören, Meleş-Menengeç ve en sonrada (1760 yılında) Omurtakta bulunan küçük oba ve köyler yerlerinden kaldırılarak burada toplanmasiyle büyümüş olan Kızılhisar,mahalleler kurulduğunda Kaya,Orta,Pınarcık,Aşağı ve Yenice olmak üzere 5 mahalleye ayrılmış ve 5 muhtarlık tarafından idare edilmeye başlanmıştır.

Kızılhisar yöresindeki ve yukarıda isimleri belirtilen küçük oba ve köylerin, Oğuz Türkleri –Türkmenler tarafından kurulduğu,adet,ırk,dil,din ve ananelerine bağlı bulundukları bir gerçektir. Kızılhisar ve çevresi Oğuzlar ve bunların bir kolu olan Avşarlar tarafından kurulmuştur.

Osmanlı Devletinde 2 Eylül 1858 tarihli İdari taksimata göre ülke;Eyalet, Sancak(Liva),Kaza,Nahiye ve Köylere(Karye) ayrılmış ve Kızılhisar Karye olmuştur.

1864’deki  düzenlemede Kızılhisar yine köy olarak bırakılmıştır.Kanuni Sultan Süleyman zamanında eyalet olarak Konya’ya,sancak olarak Burdur’a bağlanmış ve bu durum uzun süre devam etmiştir.1870 tarihli Osmanlı Nizamnamesine göre; Acıpayam’ın  1871 ‘deki Kazalığı üzerine, Kızılhisar Acıpayam’a bağlanmıştır.1883’e kadar İzmir’e bağlı olan Denizli Sancağına bağlanmıştır.1910’da idari değişikliğe uğrayan Denizli bağımsız mutasarrıflık olmuş ve 1923 yılında Cumhuriyetin ilanıyla “İl” haline gelmiştir.1923’de Köy idaresi olan Kızılhisar da, Nahiye Müdürlüğü 1930 yılında kurulmuş ve ilk Nahiye Müdürü Ahmet Hamdi Bey olmuştur.

Denizli’ nin en büyük nahiyelerinden hatta kazalarından da büyük olan Kızılhisar pek çok çaba ve girişimlere rağmen ilçe yapılmamıştır.Bunda Kızılhisar’daki ağaların etkisi olduğu gibi Denizli ve Acıpayam’a yakınlığı da etkili olmuştur.Bir ara Sulh Hukuk Mahkemesi ve Nüfus Teşkilatı gelmesine rağmen bu durum sürekli olmamış ve bir süre sonra kaldırılmıştır. (1957-1975)

Kızılhisar’ın İlçe olması için 1950,1963 ve 1984 yıllarında yapılan müracaatlar sonuçsuz  kalmıştır.1987 yılına kadar Acıpayam ilçesine bağlı kasaba olarak faaliyet gösteren Kızılhisar, 19.06.1987 tarih ve 3392 sayılı Kanunla 103 İlçe kurulmasıyla Kızılhisar’da bunlarla birlikte “İlçe” olmuştur.Kızılhisar adı da “ Serinhisar” olarak değiştirilerek, 02.09.1988 tarihinde İlçelik resmen törenle açılarak kurumlar süratle kurulmuştur.