有关香山的历史不少，相传香山在近三百年前，是一处平埔族人开垦的田园，在先人渡海来台垦荒时，称为「番山」。后来又因名称有所争议，将「番」字去掉三划，而成为「香」，「香山」也因此得名。

　　来到香山，除了观海、看夕阳外，母圣宫旁的香山牧场，是国内管理非常完善的牧扬，在配合国立新竹师范学院迁校作业上，牧场划出部份丘陵地提供为校地，随着新竹师院的迁校，香山牧场将更具亲和力，未来可望成为附近居民的新文教地带。