Přírodní památka se vypíná nad údolím Branné a Hučavy a rozhodně není v krajině ojedinělá. Hned vedle Pasáka najdete skalní hřib, kterému se říká Kovadlina. 

Jméno Pasák dostala skalní věž podle staré pověsti, podle níž chtěl chudý pastýř za peníze dát svou sestru panskému úředníkovi, byť ona milovala chudého tkalce. Zamkl ji v komoře a pozval panského floutka, ale sestra nečekala a utekla ke skalám nad vsí. Když ji tam bratr dohonil, proklela jej a on na místě zkameněl.