O Hospital da Luz foi mandado construir para apoiar os peregrinos do santuário no século XVI, tendo sido inaugurado em 1618, com uma capela da invocação de Nossa Senhora dos Prazeres. Apesar de ter sido, na altura, considerado um dos mais modernos hospitais da região, acabou por ser afetado por diversas crises resultantes da má administração. Atualmente, no sítio do antigo hospital, está o Colégio Militar, instalado no início do século XIX, onde estudam os futuros militares do nosso país.