Juodšiliuose 1924–1946 m. buvo įsikūręs Kenčiančio Jėzaus Širdies uršuliečių kongregacijos vienuolynas. Seserys uršulietės 1942–1944 m. priglaudė pal. M. Sopočką Juodšiliuose jam slapstantis nuo grėsusio nacių arešto. Jis gyveno „Apvaizda“ vadinamame pastate (M. Sopočkos g. 16), turėjo netikrus dokumentus Vaclovo Rodzevič vardu. Pal. kun. M. Sopočkai tai buvo maldos, apmąstymo, mokslinio darbo laikas. Kad neatkreiptų į save aplinkinių dėmesio, jis ėmėsi staliaus darbo, todėl vietiniai Juodšilių gyventojai kurį laiką jį prisiminė kaip gerą stalių.

Juodšilių bažnyčios statyba seserų uršuliečių iniciatyva pradėta 1936 m., tačiau dėl Antrojo pasaulinio karo sustabdyta, vėliau šioje vietoje įrengta ligoninė. Dabartinė bažnyčia pastatyta 2007 m. sudegusios ligoninės komplekso dalyje. 2016 m. bažnyčia konsekruota suteikiant jai pal. Mykolo Sopočkos titulą. Juodšiliuose seserys uršulietės taip pat rūpinosi vaikų prieglauda, joms priklausė nemažas ūkis, ūkininkavimo mokykla, ambulatorija, pieninė, kepykla su parduotuvė. Uršulietės dirbo bendrojo lavinimo mokykloje. 1924–1939 m. Juodšiliuose ne kartą lankėsi kongregacijos įkūrėja šv. Uršulė Leduchovska. Po Antrojo pasaulinio karo seserys pasitraukė į Lenkiją, o uršuliečių gyvenimą ir darbus Juodšiliuose primena seserų kapinės ir šv. Uršulės Leduchovskos vardu pavadinta Juodšilių gimnazija.