Malá a značně odlehlá osada byla založena pravděpodobně na počátku 17. století u staré kupecké cesty. Místní pohostinské zařízení nabízelo občerstvení pocestným putujícím ze Slezska do Kladska, kam mířili k tamnímu mariánskému obrázku. Většina obyvatel se věnovala zemědělství nebo docházela za prací do okolních obcí. Po zrušení vrchnostenské správy se stal Růženec osadou obce Bílá Voda. Na počátku 19. století se zvýšil počet domů v osadě na deset. Současně zde byla vybudována také kaple zasvěcená Antonínu Paduánskému. Další objekt přibyl roku 1836, kdy počet obyvatel v Růženci čítal 63. Posléze se sice osada rozšířila na dvanáct domů, ale počet obyvatel klesal. Na začátku 20. století činil asi padesát. Obyvatelé pracovali buď v zemědělství, nebo dojížděli do Złotého Stoku, kde nacházeli obživu coby zedníci nebo dělníci. Přes léto se navíc nabízela možnost obživy prací v lesích s dohledem místního fořta.

Po vzniku Československa začali v osadě působit příslušníci finanční stráže. Lokalita tou dobou patřila k výletním místům lidí z okolí i ze sousedního Německa. V roce 1930 zde žilo v 8 domech 31 obyvatel (z toho 26 Němců, 2 Češi a 3 cizinci). Roku 1933, kdy se v Německu dostali k moci nacisté, obsadily jednotky SA státní hranici z německé strany a turistický ruch ustal. Na základě Mnichovské dohody se obec stala součástí Německa a přestala plnit roli hraničního místa.