乐无异出生于长安富商家庭，其父曾是战功显赫的将军，退隐后从商，很快就富甲一方；无异的亡母据说是一名西域女子，因此他具有一半胡人的血统。而其继母是精擅偃术的南疆偃女族传人，待无异一如己出般疼爱有加。一次机缘巧合之下，无异领略到偃术的魅力，从此对这项古老神秘的技艺产生了浓厚的兴趣，并于此道小有所成。