Bij het uitbreken van de Tachtigjarige Oorlog in 1568 staat het gebied rondom ‘het Tolhuys’ onder Kleefs bestuur. In 1609 verandert dit. Hertog Johan Willem van Kleef sterft zonder mannelijke erfgenaam. Om zijn opvolging barst de Gulik-Kleefse Successieoorlog uit tussen verschillende Duitse vorsten. Uiteindelijk komt Kleef, en daarmee het Tolhuys, definitief in bezit van de verre erfgenaam Johan Sigismund, keurvorst van Brandenburg.
Vanaf dat moment komt de omgeving van Lobith ruim tweehonderd jaar onder Pruisisch bestuur te staan. Totdat Lobith in 1815 op het Congres van Wenen, toen na de napoleontische oorlogen Europa opnieuw werd verkaveld, wordt overgedragen aan het net opgerichte Koninkrijk der Nederlanden. Maar zover is het in 1613 nog niet.
In dat jaar stapt Johan Sigismund over van het lutheranisme naar de gereformeerde religie. Dit heeft natuurlijk ook gevolgen voor de bestuurlijke elite in Lobith. In 1614 wordt officieel de ‘Gereformeerde gemeente van het Tolhuys’ opgericht. In de slotkapel van het Tolhuys worden nu voortaan gereformeerde kerkdiensten gehouden. Volgens het princiep cuius regio, eius religio. De katholieke inwoners van Lobith gaan nu in Elten, Keeken en Bimmen naar de kerk. Of helemaal niet. Honderd jaar later beklaagt een katholieke pater zich over de situatie: “menigeen wist niets van God of zijn gebod. Zommige van 17, 18, 19 jaaren waar nog zelden in de kerk geweest” .
Hoewel de regio niet onder de jurisdictie valt van de strijdende partijen die in de Tachtigjarige Oorlog tegenover elkaar staan (en de regio dus in feite neutraal is), strijden Spanje en de Republiek toch een heftige strijd om de hegemonie over dit strategisch belangrijke gebied. Wie dit gebied bij de splitsing van Rijn en Waal beheerst, controleert namelijk het scheepsverkeer over de beide rivieren en heeft de toegangspoort tot de Betuwe en de rest van De Republiek in handen. De bevelhebbers van De Republiek, de prinsen Maurits en zijn broer Frederik Hendrik gebruiken gedurende de oorlog het Tolhuys als hoofdkwartier tijdens de belegeringen van het verder stroomafwaarts gelegen fort Schenkenschans.
Gedurende de oorlog zwerven er voortdurend plunderende troepen door de omgeving. Nu eens zijn het de geuzen waaronder de boerenbevolking te lijden heeft, dan weer de Spanjaarden, zoals blijkt uit dit gedicht: “Die Spaengiaert wil ons hencken / als wij die Geus bystaan / die Geus die wil ons crencken /als wy by de Spaengiaerts gaan.” De bevolking in Lobith is de oorlog moe en snakt naar vrede. “Wy hebben aan gheen cant vree / wy souden wel gheeren houden stee / en melcken onse Koe / den boer, den boer, dit crijghen is hij moe.”[1]
In 1648 komt er eindelijk een einde aan de strijd en wordt de Vrede van Münster gesloten. Later in datzelfde jaar wordt op het Tolhuys in Lobith, met toestemming van de Pruisische keurvorst Frederik Willem I, een schutterij opgericht. In de akte die bewaard is gebleven staat “Anno 1648 am 24 Junij auf St. Johannis Baptisten Tagh (…) ist ein Schutterij zu Lobith aufgericht mit Consent von (…) unseres Gnädichsten Herr auf folgende Condice wohnach die Schuttzerij sich zu halten hat.” De protestantse bestuursambtenaren van de keurvorst delen op het Tolhuys de lakens uit, in een streek waar de bewoners nagenoeg geheel rooms-katholiek zijn.
Na 1648 raakt het Tolhuys gaandeweg in verval.
De ‘dikke toren’ naast het kasteel komt in 1648 als afbeelding terecht in het wapen van het nieuwe schuttersgilde, dat tot op heden bestaat als Schuttersgilde Eendracht Maakt Macht, met als wapenspreuk: Deus Turris Mea (God is mijn burcht). Dezelfde dikke toren vinden we ook in het voormalige gemeentewapen van Rijnwaarden.