První zmínka o městečku se jménem Goldek je datována k roku 1325, v roce 1448 bylo pojmenováno jako Staré Město. 

Město je položeno ve střední nadmořské výšce 538 m v kotlině, lemované na západě masívem Králického Sněžníku, na severu Travenskou hornatinou, na východě a na jihu Branenskou vrchovinou. Její severojižní osou je řeka Krupá, jejímž údolím vede silnice a železniční trať z Hanušovic do Starého Města.Silnice pokračuje dále k severu do Kladského sedla. Ve Starém Městě z ní odbočuje k východu silnice do Branné, místní význam má silniční spojení na severovýchod podél Vrbenského potoka do Malého a Velkého Vrbna. 

Na západ od města je situována bývalá osada Štěpánov, na východ při silnici do Branné Hajmrlov a nejdále v severovýchodní části areálu je území katastrální obce Malé Vrbno. 

Památkově chráněny jsou domy čp. 4, 25, 68 na náměstí. Dokladem pozdně renesanční architektury je patrová budova radnice s polygonální věží, postavená v roce 1618 a upravovaná poprvé po roce 1725 a podruhé v roce 1895. Farní kostel sv. Anny je pozdně renesanční stavbou z let 1617–1618.