Zamek w Złotorii początkowo był drewniany. Od 1228 roku w Złotorii mieścił się gródek rycerski polskiego Zakonu Rycerskiego Braci Dobrzyńskich. Szukali oni obronnych punktów będących podstawą dla ich wypraw chrystianizacyjnych na ziemię dobrzyńską. Miejsce, na którym jak się przypuszcza usypano sztuczny nasyp od wschodu i zachodu oblewa woda. Na tak przygotowanym terenie wzniesiono zamek wraz z niewielkim podzamczem W roku 1232 zamek przekazany został Krzyżakom, ale już 4 lata później przeszedł na własność Konrada Mazowieckiego. Później zamek przejęli Krzyżacy, rządząc w nim w latach 1329-1343, kiedy to cała ziemia dobrzyńska dostała się w ich ręce. Dopiero kiedy po pokoju kaliskim w 1343 roku, na mocy którego ziemia dobrzyńska wróciła do Polski, Kazimierz Wielki rozpoczął, na miejscu istniejącego grodu, budowę murowanej twierdzy granicznej. Jak wykazały obliczenia, ogółem Kazimierz Wielki kazał zbudować 53 zamki.
Warownia w Złotorii ze względów strategicznych stanęła na nizinnym, zalewowym obszarze w widłach rzek. Wzniesiona została z cegły w wątku gotyckim na planie prostokąta o bokach 40x35 metrów, usytuowanego na osi północ-południe. W środku wzmocnionych skarpami obwarowań znajdował się budynek mieszkalny. Nieznana jest jego dokładna lokalizacja. Od strony południowej przed lico murów wysunięta była czworoboczna wieża o długości boków nie przekraczającej 10 metrów (tą część najlepiej obecnie widać). Tuż obok niej od zachodu usytuowano bramę wiodącą na dziedziniec. Od północy mieściło się rozległe podzamcze, dziś już zupełnie niewidoczne. Była to budowla która odpowiadała ówczesnym najnowocześniejszym wymaganiom w tej dziedzinie.
Całe założenie obronne pełniło rolę zamku strażnicy kontrolującej statki handlowe płynące Wisłą oraz towary spławiane Drwęcą, pobierając przy tym odpowiednie cło. Zamek był także jedną z warowni strzegących granicy Polsko-Krzyżackiej.
Położenie zamku na pograniczu polsko-krzyżackim, w ziemi dobrzyńskiej, która wielokrotnie w wieku XIV i XV przychodziła z rąk do rąk, spowodowało, że jego dzieje były bardzo burzliwe.
W roku 1370 na podstawie testamentu Kazimierza Wielkiego zamek w raz z całą ziemią dobrzyńską przeszedł prawem lennym w ręce jego usynowionego wnuka - Kaźka Słupskiego. Nadając mu również swoją ojcowiznę Kazimierz Wielki widział w nim osobę, która po śmierci nie mającego męskiego potomka Ludwika Adegaweńskiego zasiądzie na tronie Polskim. Obawiając się tego, król węgierski Ludwik Andegaweński i niektórzy panowie małopolscy na czele z Władysławem Opolczykiem, którzy starali się anulować testamentowe zapisy na rzecz Kaźka. Niespodziewanie pomogło im wydarzenie, które rozegrało się pod zamkiem w Złotorii.
W latach 1374-1376 o zamek toczyły się walki spadkowe pomiędzy księciem gniewkowskim Władysławem Białym a księciem Kaźkiem Słupskim. W 1375 r. książę Władysław zdobył zamek podstępem, upiwszy wsześniej przed podstawionych ludzi jego załogę. Jednak wojska polskie pod dowództwem starosty szubińskiego Sędziwoja i Bartosza z Odolanowa, kilkakrotnie próbowały odbić zamek. Właśnie podczas jednej z prób w roku 1377 został śmiertelnie ranny kamieniem wystrzelonym przez obrońców Kaźko Słupski, którego Kazimierz Wielki sposobił na przyszłego króla Polski. Jego zgon definitywnie rozwiązał problemy dynastyczne w Polsce i można tylko snuć przypuszczenia co by było gdyby Kaźko nie zginął.
W latach 1379-1392 obronną budowlę jako lenno trzymał Władysław Polczyk. Nadanie to miał zrekompensować ambitnemu księciu odebrane wcześniej uprawnienia namiestnicze w Polsce. Cierpiący na kłopoty finansowe Władysław, 7 maja 1391 roku zastawił Zakonowi Krzyżackiemu zamek w Złotorii wraz z pięcioma wsiami za sumę 6632 florenów. To wydarzenie spowodowało ostrą reakcję strony polskiej, już na początku sierpnia wojska polskie pod osobistym dowództwem króla Władysława Jagiełły uderzyły na posiadłości Władysława Opolczyka (ziemia wieluńska).Tak rozpoczęły się wojny Polski z księciem opolskim, które zakończyły się w 1396 roku doprowadzając do politycznego upadku księcia oraz utraty przez niego wszystkich ziem polskich, które otrzymał z nadań Ludwika Węgierskiego. Doprowadziło to także do konfliktu między upominającym się o swoją własność królem Władysławem Jagiełłą a wielkim mistrzem Konradem Wallenrodem.
W 1405 roku król Władysław Jagiełło zamek wykupuje. To na tę właśnie warownię zwróciły się pierwsze krzyżackie uderzenia rozpoczynające tzw. wielką wojnę (1409-1411; zakończoną bitwą pod Grunwaldem i pierwszym pokojem toruńskim). W dniach 29 sierpnia - 2 września1409 roku trwało zdobywanie zamku przez Krzyżaków, nieskutecznie bronionego przez skromną załogę. Po zdobyciu zamku krzyżacy całą jego załogę publicznie zgładzili. Po zwycięstwie grunwaldzkim w 1410 roku, mocno zniszczony zamek wrócił pod polskie władanie, jednak mimo zamiarów nie został odbudowany.
W 1411 roku naprzeciwko ruin złotoryjskiego zamku odbyło się uroczyste spotkanie polskiego króla Władysława Jagiełły, jego brata wielkiego księcia Witolda z wielkim mistrzem Henrykiem von Plauen i tu omawiano warunki I pokoju toruńskiego.
Ujście Drwęcy do Wisły nie mogło być jednak pozbawione kontroli, bowiem obydwie rzeki były newralgicznymi szlakami transportowymi i militarnymi. Zamek mimo zniszczenia i późniejszej rozbiórki miał być odbudowany, bowiem w klauzuli zawartej w postanowieniach I pokoju toruńskiego zawartego w 1411 roku, Krzyżacy zostali zobowiązani do zwrotu kosztów jego odbudowy.
Po drugim pokoju toruńskim, w wyniku którego granica z Zakonem przesunięta została na północ, twierdza utraciła swe strategiczne znaczenie. Przez następne wieki ruiny stawały się coraz skromniejsze - poprzez rozbiórkę i rabunek cegły, jak i powodzie (część cegły została przeznaczona na budowę wieży Katedry św. Janów w Toruniu). Jego los przypieczętowała kampania wojenna 1807 roku, kiedy to został zrujnowany przez ostrzał artyleryjski, by nie stanowił dogodnego punku oporu dla wojska.
Fryderyk Chopin jadąc w 1825 roku z Szafarki odwiedził "jeszcze świeże" ruiny zamku w Złotorii, Złotoryi następnie przekroczył granicę zaborów na Drwęcy pojechał do majątku w Turznie. W 1877 roku ruiny zwiedzał także Jan Matejko podczas pobytu w Toruniu.
Henryk Sienkiewicz zamek w Złotorii uczynił miejscem śmierci Danusi a Ignacy Kraszewski w powieści "Biały Książe" opisał językiem literackim oblężenie zamku z 1374 roku.
Ruiny zachowały się aż do ostatnich czasów, opierając się falom Wisły, tylko w 1890 roku runęła do rzeki płd.- wsch. część muru o grubości przeszło 2 m. Do naszych czasów zachowały się fragmenty wieży mieszkalnej, budynku bramnego oraz fundamenty muru obwodowego.
