Budowę zamku kapituły pomezańskiej rozpoczęto na przełomie XIII I XIV wieku. Zamek po raz pierwszy pojawił się w źródłach pisanych pod datą 28 października 1334 r. jako castrum Merginwerder. Po przygotowaniu terenu przystąpiono do prac wznoszenia skrzydeł zamkowych oraz zabudowań przedzamcza. Zamek po raz pierwszy pojawił się w źródłach pisanych pod datą 28 października 1334 r. jako castrum Merginwerder i w tym czasie mógł być jeszcze nie wykończony, składając się jedynie z murów obwodowych i rozpoczętych dopiero skrzydeł zamku. Zamek wzniesiono z kamieni i cegieł w formie czteroskrzydłowej budowli na planie zbliżonym do kwadratu, z wieżami w narożach, dwukondygnacyjnym krużgankiem na dziedzińcu i wjazdem od strony północnej, gdzie znajdowało się gospodarcze przedzamcze. Większość prac budowlanych przy zamku zakończono około 1345 roku i w tym roku wspomniano już w źródłach o istnieniu refektarza. W latach 80. XIV wieku ukończono Gdanisko. Pierwotnie zamek stanowił samodzielne założenie, dopiero wtórnie został połączony z katedrą, a jego najwyższą, narożną wieżę południowo-wschodnią przekształcono w dzwonnicę. Ukończenie nowego kościoła katedralnego jest datowane na okres rządów biskupa Jana Möncha (1377–1409). Przedzamcze położone było na północ od kompleksu katedralno-zamkowego, od którego oddzielone było szeroką fosą. Obie części zamku łączył most na murowanych podporach. W tym czasie powstał w Kwidzynie unikatowy zespół architektoniczny, w którego skład weszły dwa zamki (biskupi i kapituły z przedzamczem), katedra oraz miasto. Poszczególne człony miały własne umocnienia, a połączone murami tworzyły system obronny, doskonale wkomponowany w warunki naturalne terenu. Zamek stał się siedzibą kapituły pomezańskiej, a także centrum religijnym i polityczno-administracyjnym.