In 1307 wordt het tolhuis verplaatst naar Nieuw-Lobith, ongeveer naar de plek waar nu de r.k. kerk staat. Dit is noodzakelijk geworden, omdat de rivieren hun loop weer eens hebben veranderd. De scheiding van Rijn en Waal is bij het nieuwe Lobith terecht gekomen. De Waalbedding, die hier begint, is nog gedeeltelijk aanwezig en heet nog Oude Waal. De onverdeelde Rijn stroomt nu iets zuidelijker, waardoor Oud-Lobith niet meer aan de rivier ligt.
Het nieuwe tolhuis staat bekend als het ‘Tolhuys op ten Traghel’. Een traghel is een dijk of een pad langs de rivier, dat als lijnpad dient. Het ‘Tolhuys’ groeit in de loop der jaren uit tot een machtige burcht, met veel personeel. De graven (vanaf 1339 hertogen) van Gelre verblijven hier vaak. De tollenaar is tevens de slotvoogd.