Die Kinder von Rutger V. wurden, nach seinem frühen Tod, von seinem Bruder Everhard erzogen, der auch für ihre Ausbildung sorgte. Nach seiner Volljährigkeit übernahme Rutger VI. das Haus Horst im Broich.
So lange stand Everhard dem Hause Horst im Broich vor und machte dem Hause mit seinen Taten alle Ehre.
Da aber auch Rutger VI. sehr früh und Kinderlos starb wurde Arnold Burgherr zu Horst im Broich. Arnold bekam die Stadtrechte verliehen, starb aber auch sehr füh und ebenfalls Kinderlos in Paderborn auf Schloss Neuhausen.
Nun wurde der jüngster Sohn von Rutger V. "Hermann" Burgherr zu Horst im Broich, und setzte die Linie fort.