Vanaf het begin van de 20e eeuw leek niemand meer naar het Huis om te kijken, en langzaam maar zeker verviel het tot een ruïne.
