Die Entstehung von Patersort ist nicht eindeutig geklärt. Man nimmt an, dass es eine der ersten Siedlungen der Gegend, ein kleines Fischerdorf, hier war. Lange Zeit gehörte Patersort zur Domäne Brandenburg.

Die nahen Haffberge stellen vermutlich eine Endmoräne dar, denn der Boden enthält viele Findlinge, teilweise so groß, dass sie gut als Wellenbrecher am Haff eingesetzt werden konnten. Höchste Stelle der Haffberge war die Holk.

Die von Anfang an zweiklassige Schule wurde Mitte des 19. Jhs. gebaut und 1912 erheblich erweitert, weil viele Jahre lang die Schüler aus Ludwigsort und Schölen der Schule in Paterswalde zugeordnet wurden. Als Ludwigsort eine eigene Schule erhielt, konnte man die Schule in Patersort einklassig werden lassen.

Nach René Nehring (in Jenkner – Von Alt Passarge bis Zinten) befindet sich das Dorf direkt am Haff in einem relativ guten Zustand, wenn auch z. T. renovierungsbedürftig, und hat heute mehr Einwohner als vor dem Krieg. 1928 wurde die Landgemeinde Patersort in die Landgemeinde Ludwigsort eingegliedert.

Patersort liegt auf einer malerischen Steilküste am Haff. Von dieser schönen Lage wurden einst viele Maler angezogen, war sogar Treffpunkt vieler Maler aus Königsberg. Vor dem Dorfgasthaus stand einst die „Napoleonkastanie“ mit einer Erinnerungstafel. Spaziergangsempfehlung: am Haff entlang in Richtung Brandenburg.