Zanim w okolice Mamr przyszli pierwsi osiedleńcy, Krzyżacy zbudowali tu w roku 1335, tuż nad brzegiem jeziora drewniany zameczek. Służył on im jako ośrodek władzy okupacyjnej, a jednocześnie jako jedna z baz wypadowych przeciw pogańskiej Litwie i punkt oporu przeciw odwetowym akcjom jej wojsk. Zameczek ten otrzymał nazwę Angerburg.
Nazwę tę, przeniesioną po wiekach na miasto, osiedleńcy mazurscy zmienili na Węgobork. W roku 1946 przekształcono ją dalej na Węgorzewo. Historycy pruscy, Henneberger i Hartknoch, wywodzili ją od nazwy staropruskiego grodziska Angetete, zdobytego jak opisuje kronika Piotra Dusburga w roku 1256 przez Krzyżaków. Nie ma wszakże żadnego dowodu na to, że owo grodzisko położone było w tym miejscu, w którym później powstało Węgorzewo. Zbieżność nazw Angetete i Angerburg jest raczej zupełnie przypadkowa. W obu jednak jest ten sam rdzeń staropruski, co w nazwie rzeki Węgorapy (Angerapp) .
Niemiecka nazwa Węgorapy była tylko przekształceniem dawnej pruskiej nazwy tej rzeki. W pokrewnym pruskiemu języku litewskim "ungurys" oznacza węgorza, "uppa" rzekę. W XVI wieku pruski kronikarz Kacper Henneberger pisał o obfitych połowach węgorzy w Węgorapie i ponoć takie obfite połowy trwały tu aż do roku 1855, tj. do czasu, w którym przystosowując rzekę do żeglugi usunięto z niej wielkie pokłady szlamu. Jest jednak prawdopodobne, że tę entymologię wyprowadzano fałszywie i że nazwę Węgorapy należy przełożyć z pruskiego na "krzywą rzekę".
Zamek węgorzewski wziął więc swą nazwę od rzeki, nad którą go wzniesiono. W czasach krzyżackich nie miał on zbyt wielkiego znaczenia. Opiekował się nim tzw. pfleger, po łacinie nazywany prokuratorem, urzędnik stojący niezbyt wysoko w hierarchii administracyjnej, stanowiskiem równorzędny polskiemu "sprawcy" z okresu średniowiecza. Zimą 1365 roku oddziały Kiejstuta zdobyły i spaliły ten zamek. Po z górą trzydziestu latach, w roku 1398, Krzyżacy zbudowali zamek nowy, tym razem dwa kilometry na północ od jeziora. Był to zamek murowany, a składał się z trzech skrzydeł, zakończonych trzema okrągłymi basztami. Ze wszystkich stron otoczono go fosą wypełnioną wodą.
Po czasach rządów krzyżackich w Węgorzewie pozostała jedynie legenda o rycerzu krzyżackim, który z miłości do dziewczyny złamał śluby zakonne i za karę został z nią zamurowany w kaplicy obok bramy miejskiej, zwaną Bramą Polską. Odtąd każdego dnia o północy mieli się kochankowie przechadzać po komnatach węgorzewskiego zamku. I tę legendę trudno poprzeć jakimiś faktami historycznymi: Krzyżaków nie było w Węgorzewie od 1469 roku, pierwszą kaplicę zbudowano tu dziesięć lat później, bramy miejskie pochodziły z jeszcze późniejszego czasu.
Właśnie w 1469 roku, po antykrzyżackim powstaniu i wojnie trzynastoletniej (1454-1466), zubożały i zadłużony Zakon, oddał zamek węgorzewski w zastaw braciom Hansowi i Anzelmowi von Tettauom, protoplastom szlachty wschodniopruskiej noszącej to nazwisko. Od reformacji, tj. od 1525, zamek ten stal się siedzibą starostów książęcych, głównych przedstawicieli pruskiej terenowej administracji publicznej, posiadającej rozlegle kompetencje policyjne, wojskowe, sądownicze i skarbowe oraz sprawujących nadzór nad samorządem miejskim. Wśród węgorzewskich starostów powtarzały się nazwiska arystokracji wschodniopruskiej: Eulenburgów, Dohnów, Waldburgów, Uallenrodtów, Canitzów, Tettauów, Kreytzenów, Kunheimów, Schliebenów.
