V obci se nacházel zámek se sídlem lesní správy velkostatku, který 22. srpna 1798 vyhořel. K němu náležel rovněž mlýn, pivovar, pila a lihovar. V letech 183-1918 byla v obci v provozu ještě také slévárna kovů a strojírna založena Karlem Mückem, později přesunutá do Vítkovic.

Barokní kostel sv. Jana Nepomuckého postavený v roce 1728 je zapsán do seznamu kulturních památek. Ke kostelu vedlo z obce dlouhé barokní schodiště kryté šindelovou střechou, ze kterého zbylo po napuštění přehrady jen torzo stojící těsně u kostela.

V roce 2011 se uskutečnilo setkání rodáků a bývalých obyvatel Karlovce. Této obci a dalším vesnicím postiženým zatopením v přehradě Slezská Harta byl věnován také jeden z dílů cyklu České televize „Zatopené osudy“ natočený v roce 2008 (viz Více informací o sídle).