Bereits 1937 wurde die Stadtbücherei als Thekenbücherei im 1. Obergeschoss der Greth gegründet. Um die "Säuberung" von unerwünschten Schrifttum zu vermeiden wurde die dort seit 1920 untergebrachte Leopold-Sophien-Bibliothek geteilt: in eine wissenschaftliche, nicht öffentliche, und eine öffentliche Bibliothek.

Da für die Greth nach einer kommerziellen Nutzung gesucht wurde, beschloss der Gemeinderat 1995 die Stadtbücherei in den Torkel zu verlegen, in die ehemalige Kelter, ein unter Denkmalschutz stehendes Fachwerkhaus von 1701.