Кого русские хоронили лицом вниз?
Обычно лицом вниз клали тех, кого боялись больше всего – ведьм, магов, экстрасенсов и колдунов. Они знали умели то, что не умело абсолютное большинство.
https://travelask.ru/
Это и делало их угрозой для всего остального, "нормального" общества. Неудивительно, что им всегда уступали дорогу, были не рады в разного рода в заведениях, а жили они обычно на отшибе, вдалеке от большинства домов, чтобы не пугать остальных разными обрядами, заклинаниями и ритуалами.