Ulrich Steiner, ein Enkel von Hans Steiner, des Stammvaters aller Pfungener Steiner, verliess als junger Mann das Schloss Pfungen und erbaute 1581 mit den Mitteln, die ihm sein Vater vermacht hatte, am äussersten Rand der damaligen Siedlung das stattliche Haus südlich der Gerichtslinde (Lindenplatz). Die neue Wohnstätte mit Treppengiebel war das erste ganz aus Stein errichtete Gebäude des Dorfes. Die übrigen Dorfgenossen bewohnten Holz- bzw. Fachwerkbauten. In den Akten wurde das Gebäude als das „steinerne Haus“ geführt.