Piliakalnis datuojamas I tūkstantmečiu – XIII a. Čia stovėjo 1253 m. minima kuršių pilis Gardai. Piliakalnis stovi Varduvos dešiniajame krante ir santakoje su Pagardenio (Cedrono) upeliu. Anot legendos, prie Varduvos upelio buvo krikštijami žemaičiai. Krikštijamieji gaudavo naujus vardus, ir dėl šios priežasties upė pavadinta Varduva, o šalia esantis kalnas – Šv. Jono Krikštytojo kalnu.
Lietuvos didysis kunigaikštis Vytautas 1417 m. Gardų žemę padovanojo Žemaičių vyskupui. Juo 1633 – 1649 m. buvo vyskupas Jurgis Tiškevičius, kuris laikomas kančios kelio steigėju ir fundatoriumi. Kada tiksliai pastatytos pirmosios koplyčios, nežinia. Galimas daiktas, jog, 1637 m. kviesdamas dominikonus įsikurti Garduose, vyskupas tokį sumanymą jau puoselėjo. Žinoma, kad 1639 m. vyskupas J. Tiškevičius iš popiežiaus Urbono XVIII gavo atlaidus šešioms kalvarijų koplyčioms: Paskutinės vakarienės, Alyvų darželio, Kristaus plakimo prie stulpo, Erškėčiais apvainikavimo, Nukryžiavimo ir Kristaus palaidojimo. Tuo laiku kalvarijos veikiausiai jau iš dalies funkcionavo. Spėjama, kad apie 1640 m. buvo pastatytos visos šiuo metu Žemaičių Kalvarijoje esančios koplyčios.
Liudijama, jog pats vyskupas J. Tiškevičius paskyrė kalvas ir vietas, kur turėjo stovėti koplyčios, suskaičiavo žingsnius nuo vietos ligi vietos, kad jų būtų tiek, kiek savo kančios metu yra nužengęs Jėzus. Pirmąkart apvaikščiodamas ir daug kur keliais eidamas, vyskupas Kančios kelius pabarstė iš Jeruzalės atvežta žeme. Norėdamas išgarsinti vietovę, Gardus jis pavadino Naująja Jeruzale, tačiau šiam vietovardžiui neprigijus, miestelį imta vadinti tiesiog Žemaičių Kalvarija.
Šv. Jono kalnas apardytas 1637-1639 m., kai buvo statomos Kryžiaus kelio koplyčios.
