Im Spätmittelalter bildeten sich in der Stadt Zürich aus den organisierten Handwerkerschaften die Zünfte. Unter ihnen die Schmiden-Zunft, die das Zunfthaus «zem guldin Horn» kaufte und dieses bis heute ihr Eigen nennt.
Um 1433 gründeten die immer stärker chirurgisch tätigen Scherrer und Bader innerhalb der Zunft eine eigene Gesellschaft, welche über die Zeit verschiedene Häuser besass, bis sie 1534 am Stüssihofstatt Nr. 9 das Haus zum schwarzen Garten kauften.