Der Wellenberg Turm, einst ein mächtiger Wachturm, wurde zum düsteren Schauplatz der Zürcher Hexenverfolgungen. Zwischen Gitterzellen und grausamen Verhören offenbart sich eine dunkle Seite der Stadtgeschichte, die bis heute in Erinnerung bleibt.
Die erste Urkunde des Gebäudes stammt von 1221. Fachleute gehen davon aus, dass es schon im 12. Jahrhundert errichtet wurde. Es wurde als Absonderungsanstalt für Aussätzige gebaut und war in dieser Hinsicht eines von zwei seiner Art am Rande der Stadt Zürich.
Dort, wo heute die ZB steht, stand einst ein Spital. Das erste Spital in Zürich, das seinen Ursprung noch vor dem Jahre 1204 hatte und über viele Jahrhunderte fortbestand.
Im Spätmittelalter bildeten sich in der Stadt Zürich aus den organisierten Handwerkerschaften die Zünfte. Unter ihnen die Schmiden-Zunft, die das Zunfthaus «zem guldin Horn» kaufte und dieses bis heute ihr Eigen nennt.
Um 1433 gründeten die immer stärker chirurgisch tätigen Scherrer und Bader innerhalb der Zunft eine eigene Gesellschaft, welche über die Zeit verschiedene Häuser besass, bis sie 1534 am Stüssihofstatt Nr. 9 das Haus zum schwarzen Garten kauften.