Vanaf de opening is de Hermitage een druk bezochte bestemming. Het gebouw waar het museum is gevestigd, was 324 jaar lang een tehuis voor ouderen. Toen aan het einde van de twintigste eeuw bleek dat zorginstelling Amstelhof niet meer voldeed aan de eisen van de tijd, werd gezocht naar een nieuwe bestemming.
De rijke koopman Barent Helleman overleed op 18 oktober 1680 en had de Diaconie tot zijn enige erfgenaam benoemd. Hij liet zo’n 90.000 gulden na. De Diaconie besloot om daarmee een huis voor ‘oude besjes’ op te richten. Tot die tijd werden hulpbehoevende vrouwen opgevangen door particulieren: duur en inefficiënt. De stad schonk een stuk grond en de bouw kon beginnen. Waarschijnlijk tekende stadsbouwmeester Hans Jansz. van Petersom voor het ontwerp.
Amstelhof was 16 maanden later klaar. Het tehuis bood onderdak aan 400 vrouwen. Dames die hiervoor in aanmerking wilden komen moesten boven de 50 jaar zijn, minstens 10 jaar lid van de kerk en 15 jaar inwoonster van de stad.
De Hermitage is rolstoeltoegankelijk en er is een rolstoeltoilet aanwezig.