Eine Kapelle mit der Figur der Muttergottes auf einem Lindenstumpf, die man als wundertätig verehrte, wurde erstmals 1482 in einem Verzeichnis von Geistlichen erwähnt mit der Anmerkung, dass der Ordensgeistliche Simon das Priesteramt in der capella in lindo übernimmt.

Protestantische Bilderstürmer zerstörten zwar 1524 die Kapelle und die Figur der Maria und versenkten den Lindenstumpf im See, beendeten aber damit nicht den Kult.

Als immer noch Pilger kamen, beseitigte man die Ruinen der Kapelle, indem man die Steine für Bauten in Rastenburg verwendete, und errichtete auf dem Grundriss einen Galgen, an dem der Burggraf der Rastenburg offenbar sogar einige Pilger aufhängen ließ. Der Wunderglaube war jedoch stärker.

Der Sekretär des polnischen Königs Sigismund III. und polnische Generalagent in Preußen, Stefan Sadorski, der auch gute Beziehungen zum preußischen Herzogshof unterhielt, kaufte 1617 das hier gelegene Gut “Linde” von Otto v. d. Groeben aus Jesau und veranlasste den Neubau der Kapelle auf dem alten Platz. Sie wurde 1619 eingeweiht. 1636 ging der dazugehörige Landbesitz in das Eigentum des Domkapitels über. Den von den Schweden aus Braunsberg vertriebenen und im Franziskanerkloster in Rößel untergekommenen Jesuiten übertrug man den Nießbrauch.

Die nie abgebrochene Pilgerbewegung nahm im 17. Jh. Ausmaße an, die einen Kirchenneubau erforderlich machten. Dieser erfolgte ab 1687 mit finanzieller Unterstützung der Bischöfe Michael Stephan Graf Radziejowski (1679 – 1689) und Johann Stanislaus Sbaski (1689 – 1697). Die Jesuiten erweiterten das Angebot der christlichen Wallfahrt um eine Musikschule 1722 und ein Freilichttheater.

Als der Jesuitenorden aufgehoben wurde, übernahm das Dorf Heiligelinde die Verantwortung für die Kirche und sorgte mit Unterstützung des Bistums dafür, dass der Wallfahrtsbetrieb unverändert fortgeführt werden konnte. Ab 1930 übernahmen die Jesuiten wieder die Betreuung.

In jedem Sommer wird in Heiligelinde eine Kirmes mit eindrucksvoller Prozession um die Kirche herum veranstaltet. Im kleinen Museum an der Kirche werden wertvolle Altargeräte und Geschenke, auch königlichen Ursprungs wie die der Gemahlin Ludwigs XV. von Frankreich und polnische Könige, ausgestellt. Hier befindet sich auch eine silberne Lindenbaummonstranz mit Marienfigur, angefertigt 1722 von Samuel Grewe, die früher in der Kirche stand.