Die erste Urkunde des Gebäudes stammt von 1221. Fachleute gehen davon aus, dass es schon im 12. Jahrhundert errichtet wurde. Es wurde als Absonderungsanstalt für Aussätzige gebaut und war in dieser Hinsicht eines von zwei seiner Art am Rande der Stadt Zürich.
Zwischen den Gebäuden Schifflände 30 und 32 im Zürcher Niederdorf versteckt sich eine unauffällige braune Holztür. Durch sie gelangt man in einen unterirdischen Tunnel. Kaum einer würde ahnen, dass dieser „Geheimort“ eine ziemlich übelriechende Vergangenheit hat.
Dort, wo heute die ZB steht, stand einst ein Spital. Das erste Spital in Zürich, das seinen Ursprung noch vor dem Jahre 1204 hatte und über viele Jahrhunderte fortbestand.
Im Spätmittelalter bildeten sich in der Stadt Zürich aus den organisierten Handwerkerschaften die Zünfte. Unter ihnen die Schmiden-Zunft, die das Zunfthaus «zem guldin Horn» kaufte und dieses bis heute ihr Eigen nennt.