1812 wechselte der Schwarze Adler seinen Namen in „Stadt London“ , später in „Schrammes Hotel“ – geführt von Karl-Friedrich Schramme. Der einstige Bürgermeister verkaufte seinen Betrieb am 21. Mai 1964 an die Schaumburger Brauerei. Wenig später verstarb der als „König Karl“ bekannte Gastwirt.
Familie Lambrecht verbindet eine lange und spannende Geschichte mit dem Haus, denn genau hier fand die Schaumburger Brauerei ihren Ursprung, als Karl Wilhelm Lambrecht I. beim Skatspiel beschloss, eine Brauerei auf seinem Mühlengelände auf St. Annen zu gründen.
Ein sehr bekannter Gast des Hauses war auch Wilhelm Busch, der das eine oder andere Mal mit seinen Skizzen die Zeche zahlte.