1951年7月1日隆山、那马两县合成立的马山县正式办公

马山县古属百越之地。秦始皇三十三年（前214年），秦统一岭南地区，设南海、桂林、象郡，马山属桂林郡辖地。

汉高祖元年至元鼎元年（前206年～前116年），为南越国地。元鼎六年（前111年），属交州郁林郡领方县地和增食县地。

三国蜀章武一年至吴天纪四年（221年～280年），属广州郁林郡临浦县和增食县地。

西晋泰始元年至东晋元熙元年（265年～419年）东部属广州郁林郡新林县地，西部属晋兴郡增诩县地。

南北朝宋武帝永初一年至南齐和帝中兴一年（420年～501年），属新林县地和增诩县地；梁武帝天监年至陈后主祯明三年（502年～589年），东部属南定州领方郡地，西部属晋兴郡地。

隋文帝开皇一年至恭帝义宁一年（581年～617年），属郁林郡领方县地及宣化县地。

唐高祖武德一年至天佑四年（618年～907年），属岭南西道邕州都督府羁縻思恩州地。

宋至道三年（997年），属广南西路邕州右江道羁縻思恩州。

元至正二十三年（1363年），属广西两江道宣慰司、广西行中书省田州路思恩土州地。

明洪熙元年（1425年），思恩土州知州岑瑛将州辖地分设13个堡，县境内设有白山、兴隆、乔利、古零、那马、定罗6个堡，是马山县最早的基层政区设置；正统四年（1439年）思恩土州晋升为思恩府；正统六年（1441年）改为思恩军民府，同时知州岑瑛也晋升为该府知府，县境属府辖地；嘉靖七年（1528年），左都御使王守仁奏清朝廷获准，将思恩府治从县境内的乔利拉旧迁到武缘县荒田（今武鸣区府城镇）。将思恩府辖地分置9个土巡检司，县境内设有白山、那马、兴隆、定罗、古零等5个土巡检司，仍属思恩军民府。

清同治六年（1867年），那马土司改那马厅，同治九年（1870年）始委流官，仍属思恩管辖，其他定罗、兴隆、白山、古零土司依旧。

民国元年（1912年），将那马厅改那马县，并撤销罗定土司，将其辖地并入那马县，县治设在石塘，隶属邕南道（后改为南宁道）；民国四年（1915年）八月，将兴隆、白山、古零等3个土司及下旺土司的部分城头、那马的王耿城头、安定土司的奇零地合并成立隆山县，县治设在白山圩，隶属南宁道；民国十六年（1927年），两县直隶广西省政府；民国十九年（1930年）隶属宾阳民团区；民国二十一年（1932年）四月，南宁、宾阳民团区，合并为南宁民团区，两县隶属南宁民团区；民国二十三年（1934年）三月，以8个民团区辖域划分8个行政监督区，两县均隶属南宁行政监督区；民国二十八年（1937年）二月，南宁监督区一分为二，两县均改隶武鸣监督区；民国二十九年（1938年）四月，广西行政监督区排列名次，武鸣区排第八区，两县属第八区行政督察专员兼保安司令公署；民国三十一年（1942年）三月，八、九区合并为第四区，两县隶属第四区行政督察专员兼保安司令公署；民国三十七年（1948年），将原属第四区的隆山、那马等8个县划出设置第十一区。

解放后，两县均属武鸣专区。

1951年2月，撤销武鸣专区，改隶南宁专区（后改称宾阳专区）。

1951年6月，隆山、那马两县合并为马山县，取那马的“马”和隆山的“山”两字合为县名，县治设在隆山县城厢镇（今白山镇），于7月1日正式办公，隶属宾阳专区。