Pilnas koplyčios pavadinimas yra Sorų šv. Antano Paduviečio koplyčia, tačiau ji paprastai vadinama Sorų koplyčia. Keistai ir mįslingai skamba toks koplyčios pavadinimas. Senovėje žemaičiai neturėjo žodžių „pyktis, ginčytis“, o sakydavo: sora arba soros. Simboliška, jog Sorų koplyčia pastatyta ant trijų parapijų ribos: Alsėdžių, Gegrėnų ir Žemaičių Kalvarijos. Tai tarsi byloja, kad šių trijų parapijų žmonės gali čia susitikti pasimelsti drauge ir išsiskirti be pykčio širdyje.
Sorų koplyčią 1917 m. pastatė ir prižiūrėjo netoliese buvusio Daugėlų dvaro šeimininkas Klemensas Daugėla. Pasak legendos, šioje vietoje kadaise stovėjusi bažnyčia, kurią XVII a. sudegino švedai. 1944 m. Žemaičių Kalvariją užėmus sovietinei armijai, į Daugėlų dvarą persikėlė vienuoliai marijonai. Sorų koplyčioje jie aukodavo Šv. Mišias, tuokė poras, krikštijo naujagimius.
Prasidėjus okupacijai, dvaro šeimininkai buvo ištremti. Kurį laiką Sorų koplyčią dar buvo prižiūrima. Jos prižiūrėtojas, bandydamas koplyčią apsaugoti nuo laiko ir ugnies, ją visą buvo apkalęs metalinėmis konservų dėžutėmis. Vėliau jos buvo nuimtos.
Žmonių pasakojimu, varpinės bokštelyje buvęs labai skambus varpas, bet per visus perversmus kažkur paslaptingai dingęs, kaip ir viduje buvusi Marijos skulptūra. Vietos gyventojai taip pat pasakoja, kad tuoj už Sorų koplyčios yra buvusios kapinaitės, kuriose palaidota ypač daug kūdikių ir mažų vaikų. Kitas pasakojimas byloja, kad pokario metais po koplyčia buvęs partizanų bunkeris. Galėjęs būti ir paslėptas įėjimas iš miško, per kurį partizanai patekdavo į rūsį po koplyčia.
