Sv. Andreja Svorada a Beňadika, pustovníkov