Osada se nacházela na rušné cestě, kudy kromě kupců procházely také procesí při mariánských poutích do Kladska nebo opačným směrem ke klášteru v Bílé Vodě. Později se stal Růženec také hojně navštěvovaným výletním místem a cílem turistů. Návštěvníkům i místním byl k dispozici oblíbený zájezdní hostinec U růžového věnce.

Podle ústí tradice navštívil Růženec císař Josef II., jehož říše jen několik let předtím ztratila ve válkách o rakouské dědictví velkou část Slezska a zdejší osada se kvůli tomu ocitla na nové státní hranici. Později zde měl pobývat také německý básník J. W. Goethe.

Na počátku 19. století byl v Růženci vystavěn kostel sv. Antonína Paduánského, kde se konaly na svátek místního patrona 13. června každoroční poutě. V roce 1945 byl kostel poničen vojáky Rudé armády a na počátku 50. let 20. století zcela zdemolován tehdejšími úřady, aby se zamezilo přetrvávajícím četným návštěvám věřících.