相传王昭君在出塞和亲之前，曾回故乡省亲，她路过溪边，在溪流中洗脸时，将一串珍珠失落其中，从此，溪水一年四季清澈见底，芳香扑鼻，故名香溪。 每逢三月香溪河畔桃花盛开，河水中可看到一种淡红色的鱼。此鱼身分四辨，形似桃花，故名桃花鱼。传说中，昭君在回乡省亲后，临别时依依不舍地在船头，昭君手弹琵琶向亲人告别，悠扬婉转的琴声，倾诉着心中的依依眷恋。琴声中，两岸桃花纷纷飘落水中，随着琴声化作桃花鱼。鱼群围着船儿，一直护送昭君远去。 香溪源头，奇峰竞秀，林海深处，云游雾绕，林间奇花异草竞相开放，山中溪沟纵横，伴随着草木的芬芳。可见这幽谷清溪，花香遍野的灵秀之地，才是溪水飘香的真正原因。
