很早以前，商山人参和商山桔梗都成了“精”，化为人形，而且长像、装扮十分相似。一群身穿绿袄红裤子的幼童，常常追逐嬉戏于商山之麓的花草丛中。
    秦末汉初之际，“四皓先生”为躲避秦始皇焚书坑儒，来到商山隐居。这四个老头，读书多，见识广，一看到这些穿红着绿的幼童，便知道是人参、桔梗变的。更奇的是，他们还能辨得出哪是人参娃娃，哪是桔梗娃娃。从此，商山人参越来越少。好多人参娃娃都被“四皓”吃了。人参娘娘害怕在商山再住下去会断子绝孙，便毅然决然地迁到辽东。此后，东北参便取代商山参成为上乘佳品。人参娘娘率子女搬家前，找桔梗娘娘话别，桔梗娘娘曾对天明誓：“绝不暴露人参搬家秘密，如若违背誓言，就黑心烂肝。”的确几百年间，从未违背诺言。
    到唐代，唐玄宗生病求药，夜梦服了商山土地进献的药草，第二天果然病愈，便要下旨封赏商山土地和所进药材。讵料，唐玄宗误认商山桔梗为商山人参，准备封赏商山人参。这时，商山桔梗娘娘再也沉不住气了，急忙上殿辩白，说治愈陛下贵恙的是商山桔梗，不是商山人参，商山人参早跑到辽东去了。这句话脱口而出，因违背当初诺言，便开始黑心烂肝（今商山桔梗大多黑心）。唐玄宗当时因判不清此案，既没封商山人参，也没封商山桔梗。只封了务药有功的商山土地为“都土地”（相当都城土地神），并赐王者冕服（给予王子王孙的冠带），建庙于商山怀中，与四皓并祀。