Yunan işgal güçleri, 2. İnönü Muhaberesini kaybetmelerinin ardından Bursa yönüne çekilirken, işgal altında olan Bilecik’i boşaltırken büyük bir yangın çıkardılar. İşgal sırasında ve işgalden sonra Yunan işgal güçlerinin tahribatı sonucu Osmanlı dönemi yerleşiminin yoğun olduğu bölgede bin 956 ev, 331 dükkan, 18 han, hamam, imarethane, fabrikalar, hükümet konağı, camiler ve daha birçok mimari yapı zarar gördü.

Yıllar sonra bu zarar gören eserlerden Akkaldırım, Emirler ve Karacalar camilerin restorasyon ve konservasyonu çalışmaları Bursa Vakıflar Bölge Müdürlüğü tarafından yapıldı. Yapılan çalışmalarla tarihi eserler bakımsızlıktan ve harabe durumdan kurtarıldı. Uzun yılların ardından Bilecik Belediyesi tarafından düzenlenen Bilecik'in Fethi Şeyh Edebali ve Osmangazi'yi Anma etkinlikleri kapsamında Emirler ve Karacalar camilerin minarelerden ezan sesi yükseldi. Kurtuluş Savaşı’ndan sonra ilk defa bu minarelerde ezan sesi duymak vatandaşlara ayrı bir heyecan yaşattı.

Ayrıca, Emirler caminde 94 sene sonra ilk kez yükselen ezanı ise, ilahi sanatçısı Abdullah Beyhan seslendirdi.