廣懷是兩廣交界之地，被重巒大山所封閉，交通的不便使它成了極少有外來者涉足的一方淨土。
這裏山高、林密、人稀，容易隱藏與逃逸，可進可退。換句話說，當時這裏是「山高皇帝遠」的蠻荒之地。
而張少飛棲身的雞嘴岩在高山之巔，岩里有長年不涸的山泉滴水，一望無涯的連綿大山中有數不盡的可以充飢的野果。
這裏也有獨特的人文環境：是瑤族與漢人雜居之地，友好善良，民風淳樸，人與人之間和睦相處。
這裏的山民不像南粵地區對傳統佛教思想的信仰那麼根深蒂固，反而，對張少飛所倡導的頓悟禪學思想更易於接受。
張少飛為人正直善良，樂於助人，不求奢侈榮華，只求清遠淡泊，生活儉樸，與周圍的樵夫、獵人、藥農相處得十分融洽。
村民與山民們有病就上山來找這位「張郎中」，而張少飛則不分白天址：
