Acest imobil a fost ridicat în anul 1937 de Mitropolitul Bucovinei, Visarion Puiu, cu cheltuiala Administraţiei Fondului Bisericesc din Bucovina. Aşadar această casă a fost iniţial o reşedinţă episcopală. Visarion Puiu deşi a primit-o în dar de la Administraţia Fondului Bisericesc din Bucovina, Mitropolitul Visarion de comun acord cu Nicodim Munteanu, pe atunci Mitropolit al Moldovei, a hotărât ca ea să rămână în folosul Mitropoliei după trecerea sa la Domnul. Visarion Puiu a locuit în ea doar câţiva ani, iar după plecarea sa în exil casa a rămas în administraţia Mănăstirii Neamţ.
Aceasta a pus-o la dispoziţia scriitorului M. Sadoveanu după 1948 şi astfel e a devenit o reşedinţă de vară cunoscutului scriitor. Motivele acestui gest din partea mănăstirii au fost următoarele: în primul rând Sadoveanu era un om politic foarte influent la acea dată, dar şi pentru faptul că el era legat sufleteşte de Mănăstirea Neamţ de foarte multă vreme. În amintirile sale Sadoveanu amintea că din vara lui 1918 de când a vizitat pentru prima oară Neamţul a rămas îndrăgostit de această mare Lavră muşatină. De aceea vizitarea Mănăstirii Neamţ i-a devenit o obişnuinţă. Practic după 1918 Mănăstirea Neamţ i-a devenit un loc predilect de popas prin pelegrinările sale prin dulcea Moldovă. Poate de aceea Mănăstirea Neamţ şi mulţi călugări de aici au constituit pentru scriitor tot atâtea modele şi teme predilecte din romanele sale. Amintim doar câteva scrieri sadoveniene în care apare Mănăstirea Neamţ: Fraţii Jderi, demonul Tinereţii, Oameni şi Locuri, etc.
Un alt motiv al punerii la dispoziţia scriitorului a acestei case episcopale şi strânsa prietenie între el şi Mitropolitul Moldovei de atunci Nicodim Munteanu, iar mai târziu cu Mitropolitul Iustin Moisescu. Sadoveanu şi-a arătat preţuirea pentru Mănăstirea Neamţ mai ales în anul 1953 când a venit aici cu Gheorghiu Dej şi când a făcut demersuri stăruitoare pe lângă acesta pentru a aloca fonduri în vederea restaurării Mănăstirii Neamţ. Într-un moment de mărturisire sinceră făcută unor rude apropiate Sadoveanu şi-a arătat chiar dorinţa de a fi înmormântat la Mănăstirea Neamţ
Sadoveanu a locuit în casa arhierească a lui Visarion Puiu de lângă Schitul Vovidenia doar câteva luni pe an, de obicei vara. Aici primea mulţi oaspeţi, scriitori, oameni de cultură şi chiar politicieni. Ultima vizită a lui Sadoveanu la Mănăstirea Neamţ a fost în vara lui 1961. După plecarea la Bucureşti, la o lună de zile el va trece în eternitate ( 19 oct. 1961). Casa rămâne închisă până-n 1964 când Mitropolia Moldovei şi Sucevei prin adresa nr.10987 din data de 18.09. 1964, a aprobat punerea casei la dispoziţia Comitetului de Stat pentru Cultură şi Artă Bucureşti care solicitase printr-o adresă trimisă Mitropoliei acest imobil în vederea organizării în el a unui muzeu memorial dedicat lui Sadoveanu. Deci muzeul memorial Sadoveanu funcţionează de 4 decenii la Mănăstirea Neamţ. Nu acest lucru a determinat ca Mănăstirea Neamţ să revendice casa după 1990. Biserica nu este împotriva promovării culturii. Cultura şi literatura română a apărut şi s-a dezvoltat chiar sub „streaşina” Bisericii. Însăşi Mănăstirea Neamţ a fost un puternic şi incontestabil centru de spiritualitate şi cultură românească şi chiar europeană. Nu era singurul caz, când în spaţiul monastic al unei mănăstiri funcţiona un muzeu literar. Mai amintim muzeul memorial Alexandru Vlahuţă de la Mănăstirea Agapia sau cel a lui Gala Galaction de la Cernica ori cel a lui Nicolae Steinhardt de la Mănăstirea Rohia. La Neamţ era nedrept că numele ctitorului casei nu era pomenit, ba mai mult se mistifica realitatea istorică.
După reabilitarea canonică Mitropolitului Visarion Puiu (septembrie 1990) din partea Sinodului Bisericii Ortodoxe Române, Mănăstirea Neamţ revendică acest imobil care i se cuvenea de drept. Abia în 1997 casa a reintrat în proprietatea Mănăstirii Neamţ şi de atunci ea funcţionează tot ca muzeu , dar la iniţiativa IPS Daniel, Mitropolitul Moldovei şi Bucovinei a primit denumirea de „ Casa Memorială Visarion Puiu” , făcându-se astfel o reparaţie morală celui care construit-o şi al cărui nume nu era nici măcar amintit celor ce păşeau pragul acestei case deoarece a fost un înverşunat apărător al demnităţii şi libertăţii poporului român ca să nu mai amintim de dragostea neţărmurită faţă de Biserica străbună şi de valorile autentice ale neamului românesc. De aceea el a trebuit să ia drumul exilului după 1944. Această dragoste a ierarhului Visarion Puiu faţă de neam şi credinţa lui a fost „răsplătită” de conducerea comunistă a ţării din 1947 cu o condamnare la moarte pronunţată de aşa numitul Tribunal al Poporului în contumacie, condamnare abuzivă care nu a fost anulată nici astăzi.
În interiorul casei pe lângă muzeul memorial dedicat lui Sadoveanu s-a organizat şi o amplă expoziţie foto-documentară care oglindeşte fărâme din viaţa şi activitatea acestui „călugăr ostaş” aşa după cum l-a numit Nicolae Iorga pe Mitropolitul Visarion Puiu.