De 14de eeuw was een bloeiperiode voor de bedevaart naar Halle. Een belangrijke factor in deze groei was de oprichting van het Broederschap van Onze-Lieve-Vrouw van Halle, ergens rond 1340 (1344?). De exacte datum is onbekend. In 1409 werd de oprichting ervan officieel bekrachtigd door kardinaal Pierre d’Ailly, bisschop van Kamerijk (Cambrai) en in 1423 werd het lidmaatschap van de Broederschap begunstigd met aflaten. Dit feit zou het ledenaantal snel doen toenemen.
Als gevolg van dit alles ontstonden er in de daarop volgende eeuwen over heel België en zelfs Europa broederschappen ter ere van Onze-Lieve-Vrouw van Halle.
De oudste broederschappen werden hartelijk ontvangen op de feestdag van Maria’s geboorte op 8 september; de later opgerichte broederschappen kwamen op Sinksen.
De Broederschappen hadden het voorrecht om het beeld te dragen tijdens de processie die later de Weg Om zou genoemd worden vanwege de rondgang rond de stad.