В центре Курска на улице Московской, 64, где сегодня стоит кирпичное здание Управления Федеральной службы по надзору в сфере защиты прав потребителей (ул. Ленина, 70), до революции был домовой храм. В июне 1896 г. в строительном отделении Курского губернского правления был рассмотрен проект деревянного здания церкви, больницы и лечебницы в каменном квартале города. По заключению архитектора Пекалкевича, проект был одобрен и «в виде исключения при содействии Императрицы Марии Федоровны – покровительницы Общины Красного Креста, было разрешено построить деревянную больницу с церковью по представленному проекту».
Церковь была освящена 8 января 1898 года в честь иконы Божией Матери «Всех скорбящих Радость». Храм содержался на проценты с завещанного благотворительницей Н.Ф. Монтрезор капитала в 7000 рублей. Он существовал при Знаменской общине сестер милосердия, которая была организована в 1893 году. Попечительский совет возглавляла вдова кавалерийского генерала Надежда Федоровна Монтрезор. В 1912 году на этом посту ее сменила супруга курского губернского предводителя дворянства княгиня Надежда Владимировна Дондукова-Изъединова.
О курской общине сестер милосердия есть небольшая заметка в литературно-политической газете «Новое время»: «Церковь при лечебнице во имя Божией Матери «Всех скорбящих Радости», помимо ценности своей, отличается роскошной живописью и изящной простотой и снабжена превосходной утварью, пожертвованной В.И. Левковичем». В Путеводителе по г. Курску, изданном в 1913 г., приводятся краткие сведения о внутреннем виде церкви: «Иконостас облицован белым мрамором со стеклянной мозаикой; Царские врата – северные и южные – высеребрены».
Богослужения домовом храме совершались по праздникам и воскресным дням, принося духовную радость и утешение присутствовавшим на них свободным сестрам, больным, которые могли передвигаться. Традиционной здесь была украшенная елка, которую устанавливали на рождественских праздниках.
Домовой храм «Всех скорбящих Радость» как действующий уже не будет числиться в списке церквей города на 1927 год. Ветхий деревянный дом, принадлежавший когда-то общине Красного Креста, будет снесен в 1965 году.