Das A. Paul Weber-Museum wurde im Jahre 1973, also noch zu Lebzeiten des 1980 verstorbenen Künstlers von Bundespräsident Gustav Heinemann durch den Kreis Herzogtum Lauenburg eröffnet. Weber hat sich dem Haus sehr verbunden gefühlt und an der Renovierung und Ausgestaltung des historischen Baues intensiv mitgewirkt. Im Dachgeschoss wurde ihm ein eigenes Atelier eingerichtet, das er aber nur selten nutzte.
Das Museum zeigt in 23 Räumen ca. 300 Exponate aus Webers umfangreichem Werk. Das weitere Angebot reicht von der Nutzung des Archivs und der Fachbibliothek über Sonderausstellungen, Führungen, Vorträge und Unterrichtsgespräche, etwa für Schulklassen, bis hin zu Lithographie-Kursen. Der hohe Anteil der ausländischen Gäste und deren großes Interesse zeigt die überregionale Bedeutung des Künstlers.
Das Haus auf der Dominsel bildet mit den benachbarten Gebäuden des 1764-66 errichteten Herrenhauses, heute das (Kreismuseum Herzogtum Lauenburg), des Domorganistenhauses und des Ratzeburger Domes eine historisch gewachsene Baugruppe, die das Stadtbild prägt.
Der zweigeschossige Walmdachbau wurde um die Mitte des 17. Jahrhunderts als Fachwerk-Bau errichtet und erhielt im späten 18. Jahrhundert eine klassizistische Fassade vorgesetzt. Zur alten Ausstattung gehören heute noch die Türen, Dielenschränke und einige Fußböden.
Bereits in einer Urkunde von 1439 ist von einem Bürgerhaus auf dem Palmberg die Rede, das sich an der Stelle des späteren A. Paul Weber-Museums befunden haben wird. Es ist anzunehmen, daß ein Teil des noch erhaltenen Gewölbekellers aus dem 15. Jahrhundert stammt, der heute als Lithostein-Lager zugänglich ist.
Der erste bekannte Besitzer des Hauses und des dazugehörigen Hofes war um 1642 Domherr Ernst Bünsow; 1762 erhielt der Oberhauptmann von dem Knesebeck hier eine Dienstwohnung. 1773 erwarb Kammerrat Reinhard das Haus und ließ es renovieren. Anfang unseres Jahrhunderts nannte es der Volksmund nach den jeweiligen Besitzerfamilien "Bouchholtsches Haus" und nach dem 2. Weltkrieg "Nonnigsches Haus".
1971 erwarb der Kreis Herzogtum Lauenburg das sanierungsbedürftige Gebäude mit dem 7.000 qm großen öffentlich zugänglichen Grundstück, um den Werken A. Paul Webers eine Heimstatt zu geben.