Bis vor einigen Jahren war die historische Bedeutung des Hauses nicht bekannt.
1990 stieß der heutige Besitzer Karl Josef Fähndrich beim Abdecken des Daches auf Platten mit mysteriösen Zeichen. Als er 1991 einen hauseigenen Brunnen entdeckte, war der Wissensdurst nun nicht mehr zu stillen, dies veranlasste Ihn, sich auf eine packende Reise in die Vergangenheit zu begeben.

Nach ca. 20 Jahren Recherchen und Studien des Hausbesitzers und zahlreichen Namhaften Fachleuten, wird im Folgenden die Geschichte des Hauses anhand seiner Eigentümer und deren Berufe skizziert.

Das stattliche, spätmittelalterliche Gebäude entstand im 14. Jahrhundert und wurde auf Mauerresten (welche bis heute erhalten sind) eines massiven Steinhauses gebaut.
Das Steinhaus entstand vermutlich in der Frühzeit der Stadt, die im späten 13. Jahrhundert Ihre erste Stadtmauer und das Ravensburger Recht erhielt. 1475 war Klaus Fieger Bürgermeister der Stadt Waldsee.
1534 wurde das Gebäude erstmals schriftlich als das Haus Fieger erwähnt. Die Mitglieder der Familie Fieger wurden in zahlreichen Schriften und Ratsprotokollen zwischen 1475 und 1660 als Bürgermeister, Ammannen, Baumeister und Doktor beiden Rechts erwähnt.

Ab 1616 (sind verschiedene Wirtschaftsnamen in Ratsprotokollen erwähnt: Mohren, Schwarzer Adler, des Küfer Schenkstatt)  beheimatete das Haus das Gewerbe von Gastwirtschaften welche unter den Namen „Mohren“ und „Schwarzer Adler“ betrieben wurden. 1690 besaß Christoph Bogenschütz das Haus nebst Braurecht. Sohn Johannes Bogenschütz, CAUPO ad signum aquila nigra (Wirt des schwarzen Adler), erbte 1719 das Haus.

1731 erbte Friedrich Metzger aus Hagnau, Stiefsohn von Johann Bogenschütz, das Haus. Er erwarb das Brennrecht. Er verstarb 1734. Die Witwe Theresia Metzger heiratete Franziscus Schemmel. Sie bringt Ihrem geliebten Hochzeiter als Heiratsgut Ihr eigentümliches Haus samt Schenkstatt. Er bringt als Heiratsgut 5FL Bargeld, 14 Eimer Wein, 1 Eimer Kirschwasser (1Eimer≜56l), eine angemachte Bäckstatt und eine Kuh. Bis 1765 besaß Sohn Kilian Schemmel, Eichelwirt und Bäcker das Haus (geröstete Eicheln waren damals Ersatz für Kaffee). 1778 verkaufte der Hutmacher Vinzenz Sprenzel das Haus.

Im 19.Jahrhundert haben folgende Personen mit Ihren Familien in diesem Haus gewohnt:
Schreinermeister Muxel,  Wagnermeister Kuhn (dessen Enkel ist der Gründer der Orgelbaufirma Kuhn AG, die heute noch in der Schweiz existiert), Weltpriester Steinhauser, Kornfuhrmann Leins (aus Michelwinnaden), Küfer Klopfer und Kaufmann Buhl.

Seit dem 20. Jahrhundert ist das Haus in Besitz der Familie Fähndrich. 1905 erwarb Joseph Fähndrich das Haus und Betrieb eine Möbel und Schreinerwerkstatt. 1952 betrieb Sohn Josef eine Schneiderwerkstatt und eine Milchtrinkstube. 1978 öffnete Karl Josef Fähndrich die Gaststätte „Beim Josl“ die bis heute besteht. 2010 belebt K.J. Fähndrich die Berufe der ehemaligen Besitzer.