Das Haus zur Baliere wurde von 1555 bis 1557 als Wohn- und Geschäftshaus erbaut für Hans Hoffmann, Balierer oder Schwertfeger von Nürnberg, zugezogen von Lindau. Hoffmann erhielt 1552 von der Eidgenössischen Tagsatzung die Niederlassungsbewilligung und gleichzeitig die Erlaubnis zur Ausübung seines Berufes als Waffenschmied. 

Im Gebiet der Baliere entwickelte sich seit etwa 1500 ein Gewerbequartier mit Mühle, Färberei, Bleiche und Gerberei. Die Werkstatt Hoffmanns befand sich auf dem Areal der heutigen Gerberei-Liegenschaft Kappeler, die von einem Fabrikkanal energiemässig erschlossen war. Zwei Wasserräder betrieben die Anlagen der Waffenschmiede.

Die aus dem Hause Hoffmann stammenden Harnische und Schwerter waren seinerzeit gesucht. So stehen noch heute im Schweizerischen Landesmuseum sieben Halbharnische aus seiner Produktion Ende des 16. Jahrhunderts und im Historischen Museum des Kantons Thurgau im Schloss Frauenfeld sind fein ziselierte Schwerter aus seiner Werkstatt zu bewundern.

1992–1994 wurde der alte Riegelbau stilgerecht saniert und an der Westseite mit einem zum alten Gebäude passenden Anbau ergänzt. Im Keller sowie im Erdgeschoss und ersten Stock der Stadtgalerie Baliere stehen Räume für Ausstellungen zur Verfügung. Im ersten Stock gibt es ausserdem einen Raum für Vorträge oder Lesungen für maximal 40 Personen.