Über die Jahrhunderte verschwand die Fachwerkfassade des Hornmoldhauses hinter grauem Putz. Einfaches Fachwerk ersetzte die aufwändigen Bohlenkonstruktionen des ursprünglichen Baus. Das mächtige Steinportal wurde teilweise zugemauert und mit Fenstern versehen.

Im 19. Jahrhundert war aus dem ehemals stattlichen Bürgerhaus eine Bäckerei mit Ausschank geworden. Die Innengestaltung wurde entsprechend stark verändert, einzelne Wände versetzt, bemalte Wandbretter in den Fußboden eingesetzt. Die Sommerstube fand als Kohlenlager der Bäckerei eine ungewöhnliche Nutzung. Neuzeitliche Modernisierungsmassnahmen wie der Einbau von Gas-, Strom- und Wasserleitungen kamen hinzu.

In den 70er Jahren des letzten Jahrhunderts war nichts mehr von der alten Pracht zu erkennen. Die Stadt, mittlerweile Eigentümerin, erwog, das Hornmoldhaus im Rahmen der geplanten Rathauserweiterung abzureißen.