1924 yılında Ankara-Cebeci Semti'nde Musiki Muallim Mektebi kurulmuştur. Bunu izleyen yıllarda Mustafa Kemal, reformların müzik eğitimi alanında da gerçekleştirilmesini ve bir konservatuvar kurulmasını istediğini belirtir. 1935'ten itibaren Alman kompozitör Prof. Paul Hindemith (1895-1963) tarafından yapılan araştırmalardan ve kuruluşu için gerekli düzenlemelerden sonra 20 Mayıs 1940'ta Yücel tarafından, Devlet Konservatuvarı'nın kuruluş yasası çıkarılır. Müzik ve Temsil olarak iki ana bölümden oluşan Devlet Konservatuvarı'nın amacı, Türkiye'de müzik, tiyatro, opera ve bale kültürünü ve sanatını işlemek ve yetenekli öğrenciler yetiştirmektir. Yasa üzerine yapılan tartışmalar sırasında bazı tutucu milletvekilleri, Türk müziğinin ve folklorunun batılı eserler yüzünden geri planda kalacağını dile getirerek konservatuvarın Türk musikisi ve garp musikisi olmak üzere iki bölüme ayrılmasını önerirler. Yücel, planlanan Devlet konservatuvarının, millî olmayan bir kuruluş anlamına gelmediğini ileri sürerek görüşünde ısrar eder ve böyle bir ayırım denemesine karşı çıkar. Cebeci'deki eski Musiki Muallim Mektebi'nin sahası üzerine inşa edilen Ankara Devlel Konservatuvarı'nın kuruluşunda, Paul Hindemith ve Dr. Ernst Praetorius'tan (1880-1946) başka özellikle, Yücel'in davetiyle uzun yıllar Türkiye'de kalmayı kabul eden Prof. Carl Ebert (1887-1980) büyük rol oynamıştır.
