A igreja matriz de Nossa Senhora do Rosário e a capela do Senhor dos Aflitos localizam-se no Centro Histórico de Olhão, tendo a primeira pedra do templo sido lançada a 4 de junho de 1698, no reinado de D. Pedro II.
Já a capela do Senhor dos Aflitos, anexa à igreja matriz, teve origem num ossário que depois foi transformado em oratório e, posteriormente, em capela. O culto ao Senhor Jesus dos Aflitos é bastante forte por parte da comunidade piscatória olhanense.
Alguns dos critérios a que obedece esta proposta de classificação como MIP, cujo processo teve início em 1998 por iniciativa de um grupo de cidadãos olhanenses, são, de acordo com o parecer da diretora regional da Cultura, “o interesse do bem como testemunho simbólico ou religioso de uma comunidade que a ergueu para afirmar a sua independência face à freguesia de Quelfes; o valor estético e técnico do bem, assim como a sua conceção arquitetónica; o interesse do bem como testemunho notável de vivências ou factos históricos da comunidade piscatória devota de Nossa Senhora do Rosário e do Senhor dos Aflitos e a extensão do bem e o que nela reflete do ponto de vista da memória coletiva, como lugar identitário da freguesia de Olhão”.
