Родился в семье священника. С начала 1920-х годов жил в Иваново-Вознесенске. Окончил школу 2-й ступени (1928), а позднее - Ивановское художественное училище (1938). Работал в мастерских областного Товарищества «Художник». В 1940 г. поступил учиться в Московский художественный институт им. В. И. Сурикова. Окончил двухгодичное отделение. С 1942 г. - участник Великой Отечественной войны, Служил в авиационных частях. Отмечен боевыми наградами (медали «За боевые заслуги», «За взятие Берлина», «За победу над Германией»). После демобилизации (декабрь 1945 г.) работал в Ивановском художественном училище в качестве преподавателя (1946-1953). В 1953-1956 гг. был директором Ивановского отделения Художественного фонда РСФСР. С 1957 по 1964 гг. возглавлял Ивановское художественное училище, а с 1964 по 1988 гг. - художественную школу. По его инициативе и при активном участии было построено новое здание, в котором ныне работают эти два учебных заведения. Работы-живописца Д. И. Миловского («Цветы у окна», «Натюрморт в интерьере», «Портрет дочери», «Лесное озеро», «На Волге» и др.) неоднократно демонстрировались на художественных выставках и получали высокие оценки. Среди многочисленных учеников Миловского-педагога - известные художники ивановского края В. Братухин, Н. Бахтигиряева, С. Кузьмичева, О. Птицын и др. Награжден медалью «За трудовую доблесть» (1970). Похоронен на кладбище в м. Балино г. Иванова.