В центре Курска на улице Московской, 64, где сегодня стоит кирпичное здание Управления Федеральной службы по надзору в сфере защиты прав потребителей (ул. Ленина, 70), до революции был домовой храм. Церковь была освящена 8 января 1898 года в честь иконы Божией Матери «Всех скорбящих Радость». Храм содержался на проценты с завещанного благотворительницей Н.Ф. Монтрезор капитала в 7000 рублей.
Он существовал при Знаменской общине сестер милосердия, которая была организована в 1893 году. Попечительский совет возглавляла вдова кавалерийского генерала Надежда Федоровна Монтрезор. В 1912 году на этом посту ее сменила супруга курского губернского предводителя дворянства княгиня Надежда Владимировна Дондукова-Изъединова.
Богослужения домовом храме совершались по праздникам и воскресным дням, принося духовную радость и утешение присутствовавшим на них свободным сестрам, больным, которые могли передвигаться. Традиционной здесь была украшенная елка, которую устанавливали на рождественских праздниках.
О курской общине сестер милосердия есть небольшая заметка в литературно-политической газете «Новое время»: «Церковь при лечебнице во имя Божией Матери «Всех скорбящих Радости», помимо ценности своей, отличается роскошной живописью и изящной простотой и снабжена превосходной утварью, пожертвованной В.И. Левковичем».
Ветхий деревянный дом, принадлежавший когда-то общине Красного Креста, был снесен в 1965 году, а домовой храм перестал действовать вскоре после революции.