中山国的祖宗白狄
中山国本出于白狄之一部鲜虞，白狄的老家在陕北高原，晋文公重耳最初逃亡的时候，就是从黄河东岸的蒲城（今山西乡宁一带）渡过黄河，西奔白狄的。
白狄主流为姬姓，或是附会，或确实是公亶父以前周人遗落于戎狄中的亲戚。不过《后汉书·地理志》说中山国的祖宗鲜虞是子姓，那么它也有可能与代国一样，都是西周后期武庚邶国在太行山东麓的残余被韩侯击破以后的产物，算得上是殷人残余的残余。
早在那时，白狄也经常跨过黄河去打击吕梁山和晋中地区的赤狄了。白狄人还把从赤狄廧咎如部（今太原、晋中一带）抓回来的女俘虏叔隗、季隗分别分配给重耳和赵衰作为妻妾。
后来的白狄也长期扮演晋国盟友的角色，帮助晋国向东方打击赤狄，向南方讨伐亲楚以后的秦国。晋厉公安排“吕相绝秦”之时，吕相也向秦国人说：“白狄及君同州，君之仇雠，而我之昏姻也”。所以晋国不可能配合秦国讨伐白狄。这时候的白狄，大概还停留在陕北高原地区。
春秋晚期北狄分布
到了晋悼公时代，白狄的主流跨过黄河，迁到了太原盆地地区，其实这也是为了配合晋国打击赤狄。晋大夫魏绛还发现了白狄的致命弱点，就是贪于财货而轻视土地。于是他建议悼公采用和戎的政策，用钱财换取戎狄的土地。
后来白狄就这样送掉了太原盆地一带比较平坦的土地，只得继续向东迁徙，进入太行山之中，或者是跨过太行山，进入从前邢国卫国赤狄占据过的地区。
中山的真正先祖是鲜虞，这个名号始见于鲁昭公十二年（前530年），此时的鲜虞已经迁到冀中平原之上，在今河北正定县一带，这时候冀中平原大部分地区还是池沼遍地，不太适合人类居住，所以白狄人也只能找了这么一处荒凉的地方定居。
另外，鲜虞这支白狄，也有肥（今河北藁城）、鼓（今河北晋州）、仇由（今山西盂县北，在太行山中）三个同出于白狄的小弟，可惜，前两个小弟都在晋昭公时被中行吴（即荀吴）给灭了，后一个地处险要之地，是鲜虞的西大门门卫，但也在晋出公时代被智伯瑶给灭了（前458年），他还以此为基地发动了对赵氏老巢晋阳的攻击。
但鲜虞（中山）本身却不像其余各路出自白狄的小弟那样不经打，虽然荀吴（中行吴）行“东阳攻略”，消灭肥、鼓之时击败过鲜虞。但到了鲁定公三年（前507年，晋定公五年），鲜虞人来了一记反杀，在平中（地望不详，大概是在今河北唐县附近）击败晋军，还俘获了恃勇轻敌的晋大夫观虎。
在夹缝中建国
第二年《左传》的记述中，第一次出现了“中山”这个国号，大概是鲜虞人觉得得了大胜，有必要在诸夏诸邦面前显摆一下，加上鲜虞人有国都内有山峰这个特征，就用了这个略显土鳖的国号。
同年春天，晋国的荀寅（中行寅，荀吴之子）向蔡国索贿大失诸侯之心，同时晋国还发生了水灾与瘟疫，确实显得空虚了一点。另外，与晋国在第二次弭兵之会后媾和的楚国，也在同年被吴国攻破了都城。大概中山国也就是趁着周围强权都处于多事之秋，趁机建国的。
但是，建国的第二年，鲜虞（中山）就又一次被晋国的士鞅（范鞅）围城，结果不详，但想必损失应该不小。
又过了几年，晋国发生了曲沃代晋以后的又一次全面内战。因为赵简子向赵午（邯郸午，赵氏旁支邯郸氏之家主）索取“卫贡五百家”没有到手，杀了赵午，引起了中行氏和范氏的联合进攻（前497年，晋定公十五年，鲁定公十三年），齐、卫两国也参与到这场内战之中，支持范氏-中行氏联军，中山人也作为两国的雇佣军，在前492年（鲁哀公三年，晋定公二十年）进攻过亲晋的卫国公子蒯聩。
在这次内战之中，尽管中行氏从前在“东阳攻略”中是打击太行山与华北平原中各路白狄邦国的先锋，但是失败以后，他们的家主荀寅（中行寅）也只能借路中山，转身逃亡去齐国（前491年，鲁哀公四年，晋定公二十一年）。
大概范氏也有残余投奔中山，所以中山在晋国内战结束以后的前489年（鲁哀公六年，晋定公二十三年），又一次遭到了赵简子鞅的讨伐。除了范、中行两家人员以外，白狄人也有流亡到齐国的，根据《晏子春秋》记载，就有一位“翟王子羊”（银雀山本《晏子春秋》作“翟王子羡”去了齐国，为齐景公驾车。
随后的一段时间里，中山所处的太行山东麓至华北平原中部地区，维持了一段和平。大概是在诛灭中行、范两家卿族以后，晋国残余的四卿也需要休养生息，加上南面吴国越来越猖狂，需要提防，就暂时先把东阳地区放一放了。
中山国势力范围
一直到了吴国破亡以后，由于越国前来向晋国示好，所以晋国的外患也减少了一点，蠢蠢欲动的卿大夫们又开始了对东阳地区的图谋。
智伯瑶先用送钟之计给仇由（今山西盂县）送了终，又占领了“穷鱼之丘”（地在今河北涞水县西，在当时靠近燕国，时在前457年，周贞王十二年），随后赵氏的赵狗（新稚穆子）又攻破了左人、中人二城（均在今河北唐县境内）。
晋国内部，也在随后发生了智韩魏三家围晋阳的事件，大概一是因为智伯瑶看赵氏越来越嚣张很不爽，二也是想要跟赵氏争夺一下东阳地区的土地。
三家灭智氏以后，赵氏和魏氏又开始了对晋国中央控制权的争夺，两家都无暇东顾。于是中山人也借机向东跑到华北平原上去了，在前414年，中山武公建都于顾（今河北定州，后来此地在汉朝成为了中山郡之治所）。
中山第一次灭国
不过，中山人在大平原上的好日子没过几天，就遭到了魏国人的痛击。这会儿魏文侯已经在三家之中提前称侯了，还解决掉了不听话的晋幽公，赵氏的统治也回到了伯鲁一系的赵献子，还把统治中心挪到了中牟，邻近魏氏的东方重镇邺城，看来是对魏氏表示服从了。
中山这边，武公死后，桓公年少初立，面对魏国的两员大将，中山人乐羊（乐氏大概是春秋时代晋大夫乐王鲋的后人，因晋国内乱而投奔中山）与卫人吴起，除了烹了乐羊的儿子，也没什么好办法应对。
在魏攻中山以前，晋国的太史屠余就对周威公说：“中山之俗，以昼为夜，以夜继日，男女切踦，固无休息，淫昏康乐，歌讴好悲，其主弗知恶，此亡国之风也。”男男女女就知道天天享乐不休，在这个大争时代大搞娱乐业，确实很不搭调。
虽然中山也是魏国花了三年打持久战才灭亡的（前408年-前406年），但是中山灭亡前后，三晋内部也出现一点问题。
在中山灭亡以前，赵氏就感觉不大对劲了，赵氏的老臣张孟谈（《中山策》作“常庄谈”）劝赵烈侯（《中山策》作“赵襄子”），说中山亡国，赵氏也维持不下去了，就让赵烈侯把女儿公子倾嫁给了中山国国君（大概是中山武公），魏国攻中山还要从赵氏的地盘上借道，赵烈侯不允（《韩非子》作“赵肃侯”，不确），但他的手下赵刻说，魏氏要是攻不下中山，就会疲乏不堪，不足为患，若是攻下了也守不住。于是赵烈侯就应允了。
但随后魏国还是占领了中山有一段时间，隔开了赵氏-赵国的势力与齐、燕两国的接触。
魏国灭中山以后，魏文侯封子击为中山君（后来的魏武侯），还把功臣乐羊封到了中山故地灵寿（今河北省平山县三汲），中山君击受封以后，三年不与魏文侯相往来，击的老师赵苍唐（此人大概是晋国赵氏之族人）大概是不满于魏文侯弃长立幼（此时的魏国太子是魏击之弟魏诉），也看到了一点父子之间的矛盾，就说应该派使者去文侯一下。
赵苍唐随后又自告奋勇充当了使者，还问魏击魏文侯的嗜好是什么，魏击说：“君好北犬，嗜晨雁。”于是就带了两样礼物前行。苍唐带了礼品见到了魏文侯，文侯还问了一下魏击的情况（“击无恙乎？”）赵仓唐却三问而不答，因为他认为对于封君若是问名，就是不合礼法。文侯又问道：“中山之君无恙乎？”赵仓唐还是后来一个劲儿批评魏文侯不知礼法，总之就是要给中山君图个名分，还引诗以作对。最后魏文侯废了太子诉，立中山君为嗣。
在这前后，魏文侯也在配合赵烈侯敲打齐国，并且在第二年换来了周威烈王对三晋成为诸侯的承认，看来他也得既安内又攘外啊。不过从这几件事情也能看得出来，魏赵之间内部潜藏矛盾很大，魏国内部对于传承君位，也缺少一致意见，魏国延续晋国霸权的背后，也潜伏着不少内外矛盾。
果然，魏文侯一死，魏赵矛盾逐渐激化，前387年，亲魏的赵公子朝投奔了魏国，随后，赵国就北迁邯郸，远离了魏国的东部中心邺。赵国的赵敬侯后来又对魏国小弟卫国频频下手，还在刚平筑城以图谋卫地，在前383年-前379年，与楚国结盟，打击魏国、卫国的同盟。
虽然总体而言，赵敬侯对卫国的攻势没占到什么便宜，但是，亡国接近三十年的中山桓公却趁机复国了，可能这也是赵国在背后谋划的结果。
中山复国的时间，不能确定，但是《赵世家》记载，前377年，中山与赵战于房子，从此可以大概推定，中山复国是在赵魏四年争夺战期间。
复国后的中山，也把国都迁到了灵寿，更靠近太行山山区了，可能这也是为了自保的角度考虑。另外值得一提的是，中山复国的一大的谋臣，还是乐羊的族人乐池。中山复国以后的前378年（魏武侯九年），浍水一带（今山西翼城县一带）的赤狄人（估计降服于晋-魏政权已经很久了）还造起了反，击败了魏军。
中山国的山字形器
复国以后的中山人，也要面临着魏赵重新联合对其加以打击的风险。所以中山人干脆在赵成侯六年（公元前369年），筑起长城抵御赵国。大概也是出于此原因，复国以后的中山，就去寻求齐国帮助去了，在战国的多数时间，都是在充当齐国在西线压制燕赵魏三国的楔子。
中山第二次灭国
中山的下一个高光时刻，发生在公孙衍发动“五国相王”时期（前323年），中山称王以后，齐宣王就表示羞与中山并立为王，要与赵、魏联手教训一下中山，中山王厝就派策士张登去游说齐国相邦靖郭君田婴（孟尝君田文之父）。
张登对田婴说：“贵国要是去压制中山，就象是把中山这头羊赶向了赵、魏一方，还不如让中山自己废掉王号来投靠齐国更好？”田婴说：“那该怎么办？”张登说：“如果您邀请中山君和您会晤，同意他称王，他一定很高兴，便会与赵、魏两国断交。赵、魏一气之下必然进攻中山，中山紧急，又因为您‘羞与中山并称为王’，中山一定十分恐惧，便会为您废掉王号而投靠齐国。中山害怕亡国。这样，您既能使中山废掉了王号，又能控制中山，这比把‘羊’赶往赵、魏那里赶好多了。”田婴就答应了张登的请求。
但是，齐国大夫张丑又对田婴说：“不行。我听说：‘欲望相同的人互相忌恨，患难相同的人互相亲近。’现在五国都互相称王，只有齐国不愿与中山并立称王。五国共同的欲望是互相称王，五国共同的忧患是担心齐国从中干涉。如果您邀请中山君，与他会晤，同意他称王，这就影响了四国称王的厉害关系，对齐国不利。容纳了中山，却断绝了与四国的关系，四国担心，必先和中山一道称王，并故意与它亲近。这样，您控制了中山，却失掉了四国。张登这个人，一向善于给中山君出谋划策，很难相信他会真心为齐国谋利益。”
田婴不听此说，就去会见中山王厝，同意尊他为王。随后张登又去赵、魏两国活动，说，齐国要征伐河东地区，因为齐王羞与中山并立为王，你们要抓紧防备啊！于是，随后中山就走上了亲赵、魏而疏远齐国的道路。
但说到底，齐国与中山，尚有黄河之隔，不容易过来，而赵、魏两邦控制华北平原，对中山的威胁更大。加上中山北面的燕国，一直在诸侯当中是个小透明，容易受欺负。所以到了后来，前315年，中山也伙同齐宣王一道讨伐被“禅让”的燕王子之，期间还攻陷了燕国的重镇，易水之滨的下都。
中山人把缴获的燕国青铜礼器给熔了，铸成了“中山王三器”，中山王厝还在铭文中赞颂中山国相邦司马赒率师伐燕之事，并谴责燕王哙让位于燕相子之，叮嘱嗣王警惕此类事件在中山国发生。中山国对南面的赵国也不手软，引水围鄗，弄得赵武灵王很是头疼。
中山王厝相当彪悍，他的继承者中山王妾茨则受到了周边国家文治风气的影响，常去拜访“岩穴之士”，将他们奉为上宾。赵武灵王从赵国派去的密探李疵那里听到这消息以后，觉得中山王是贤君，不可讨伐，但李疵却不这么看，他说：“不然。夫好显岩穴之士而朝之，则战士怠于行阵；上尊学者，下士居朝，则农夫惰于田。战士怠于行陈者则兵弱也，农夫惰于田者则国贫也。兵弱于敌，国贫于内，而不亡者，未之有也，伐之不亦可乎？”
这个密探的观点其实就是法家那一套“就是干”的逻辑，除了“干”别的都可以无视甚至要消灭。而东亚的大争之世总是劣币淘汰良币，法家的阴魂得以长期游荡，实在是悲剧。
赵国自从赵武灵王“胡服骑射”以后，就成了不亚于秦国的第二号军事强国，也对中山这个亲齐的腰间横杠频频下手，虽说中山在战斗中也涌现过吾丘鸠这种“衣铁甲，操铁杖”的超级英雄，但还是扛不住赵国接二连三的攻势，这会儿中山国的靠山齐国，也被楚国和宋国搞得焦头烂额，没法西顾。
赵武灵王攻中山的攻略过程大抵如下：
前306年，赵侵中山，至宁葭（今河北石家庄市西北），北进几十里。
前305年，赵分二两路进攻中山，武灵王军攻取鄗、石邑、封龙、东垣；牛翦军攻取丹丘、华阳二邑和鸱之塞，进逼中山腹地。中山割四邑求和。
前303年，赵再次发兵进攻中山。
前301年，赵军攻入中山国都灵寿，中山王妾茨逃往齐国。
前300年，赵国连续发兵进攻中山，攻取扶柳，中山东部边地几乎为赵所得，齐国、燕国也跟着赵国痛打落水狗 。同时，赵国还立了一位新君尚（或作“胜”）为傀儡，但他还是不太听赵国话，反而信任魏义、偃长二人。
最终，前296年，赵国人占领了中山本部的全部领土，中山国君被迁到赵国新得的林胡故地肤施（今陕西榆林），在黄土高原上给赵国充当抵御秦国的前方卫士。
赵武灵王彻底消灭中山
成为赵国附庸的新中山国，还曾经参与过一次与齐、魏、赵等国联合的合纵攻秦行动。但最终还是不知所终，大概是被赵惠文王给废了。
中山国之所以能成为春秋时代各路狄人中侥幸存活的一部，主要还是因为晋国自定公以后的六卿纷争以及后来三晋的并立。
从地缘形势上看，中山坐拥华北平原中部之一部分与太行山东麓地区，与三晋中的赵、魏同处华北平原中部地缘板块，自然内部冲突激烈，而隔着黄河的齐国，则与中山没有太大的纷争。
自然，在战国纷争的状态下，中山就会成为齐国在西方的盟友，事实上，春秋后期中山初立国之时，它就是作为齐国的盟友而存在的。
中山的存活，主要还是倚仗于晋国的分裂，假若中行氏能存留得久一些，继续东阳攻略，或者赵襄子死后赵氏内部没有两个派系的纷争，像田氏代齐一般全取晋国，只怕中山是活不到前4世纪的。
总而言之，中山的存活，主要还是利用了赵国在东部地区的地理缺陷。