Lors du recensement fait le 22 août 1877, l'abbé J.-O Perron du Havre St-Pierre dénombra la présence de 4 familles aux Ilets-Caribou, soient les familles Lévesque, McClure, Beaudin et Jourdain. Ces familles devaient y demeurer depuis au moins 1860, car il est difficile d'établir une date précise de leur arrivée parce que les recensements étaient à tous les dix ans. Dans l'entre-temps, ces familles pouvaient arriver et partir. Lorsque le missionnaire venait faire la mission aux Ilets-Caribou, les gens se réunissaient dans la maison de monsieur Charles Jourdain.

La hûche à pain servait d'autel pour célébrer la messe. Un prêtre aurait dit les paroles suivantes concernant cette hûche a pain, on cite: "Cette hûche ne manquera jamais de farine". Cette hûche fut longtemps conservée par monsieur Léon Jourdain et l’aurait par la suite donnée à la société historique de la Côte-nord en 1968. Lors de la visite de monsieur l'abbé J.-O Perron en 1871, il a fait un rapport à Mgr. Langevin, indiquant le désir de posséder une église. Voici le texte : "Un autre endroit où l'on désire une chapelle est Baie-Trinité. Le nombre de communiants est de 41 et celui des enfants est de 15. Entre le phare de Pointe des Monts et les Ilets-Caribou, j'ai planté un piquet pour indiquer la place d'une chapelle. La pointe de la trinité serait profitable pour le port où viennent tous les vaisseaux, mais il n'y a qu'une famille. Deux lieux plus bas aux Ilets, il y a 6 familles et le port est bon." Le 3 novembre 1871, Mgr Langevin adresse une lettre pastorale à la population de Pointe des Monts à Ilets-Caribou, voici le texte: "Comme vos habitations, nos chers frères s'étendent sur plus de quatre lieux de côte et que votre population comprend déjà plus de trente habitants et environ 20 enfants, nous croyons que dans votre intérêt spirituel, il serait désirable qu'une chapelle fut construite vers le centre de cette étendue. Cet édifice sacré vous fournira le moyen de vous réunir plus facilement pour assister à la sainte messe et entendre la parole divine lors de la visite du prêtre, et en son absence, prier Dieu en commun et chanter ses louanges les dimanches et les jours de fêtes. Nous vous engageons en conséquence à rassembler cet hiver les matériaux nécessaires pour cette chapelle en bois. Cette chapelle sera sous l'invocation de St-Charles dont la fête se célèbre le 4 novembre". La chapelle fut construite à Ilets-Caribou. Les travaux ont débuté en 1872. Elle mesurait 30 pieds de long par 20 de large construite selon les désirs de l'évêque. Une quantité d'articles furent remis à Madame Bilodeau et Pierre Bilodeau pour les besoins du culte.