河南蒙古族自治縣位于青藏高原東部，青海省的東南部。東臨甘肅省甘南藏族自治州夏河縣、碌曲縣，南臨甘肅省甘南藏族自治州瑪曲縣，西北與青海省果洛藏族自治州瑪沁縣和海南州同德縣毗連，北與自治州澤庫縣為鄰，是全省唯一的蒙古族自治縣。
秦漢以前，屬羌人牧地。東漢獻帝建安十九年（214年）歸附漢朝。西晉時為吐谷渾轄地，北周建德五年（576年）地屬北周廓州總管府轄。隋朝前期屬吐谷渾轄，后期屬西海郡赤水縣（治今興海縣境）地。唐高宗始為吐蕃管轄。唐玄宗天寶12年（753年）屬唐洮陽郡。五代十國時期為吐蕃、吐谷渾、黨項、羌等勢力各霸一方，無以統屬。北宋時屬中原王朝。南宋時屬金國。元為吐蕃等處宣慰司轄地，屬河州必里萬戶符。明為朵甘行都指揮使司轄地，萬歷后屬河州必里千戶符。清屬循化廳，為和碩特前首旗（俗稱河南親王）牧地。民國初由“青海辦事長官”及“蒙蕃宣慰使”管轄，民國廿四年（1935年），和碩特南左中旗劃同德縣，其余“河南三旗”由河南親王統領，隸省直轄。
