Madrasah Mu’allimin Muhammadiyah Yogyakarta (selanjutnya disebut Mu’allimin) didirikan oleh K.H. Ahmad Dahlan pada tahun 1918 dengan nama “Qismul Arqa” yang kemudian diubah menjadi Pondok Muhammadiyah (tahun 1920), lalu menjadi “Kweekschool Muhammadijah” (1924). Baru pada Kongres Muhammadiyah tahun 1930 di Yogyakarta berubah menjadi “Madrasah Mu’allimin Mu’allimaat Muhammadiyah”. Setahun kemudian madrasah ini dipisah, Madrasah Mu’allimin Muhammadiyah (khusus putra) berlokasi di Ketanggungan, Yogyakarta dan Madrasah Mu’allimaat Muhammadiyah (khusus puteri) berlokasi di Kampung Notoprajan Yogyakarta.