學院前身是新四軍游擊支隊隨營學校，1938年11月26日創建于河南省杞縣傅集，新四軍游擊支隊司令員兼政治委員彭雪楓將軍兼任校長。在殘酷的戰爭環境中，學校艱難辦學，仗打到哪里，學就辦到哪里，為新四軍游擊支隊發展和壯大輸送了許多優秀人才。

隨著形勢發展和抗戰需要，1940年3月18日,隨營學校擴建為抗日軍政大學第四分校， 彭雪楓繼續兼任校長。學校堅持邊教學邊作戰，積極培訓適應抗戰需要的人才，辦學水平不斷提高，培訓規模達到千人，是新四軍成立最早、歷時最長的一所學校。1944年9月11日，彭雪楓在戰斗中不幸犧牲。為了紀念他，1945年3月24日，將抗日軍政大學第四分校命名為雪楓軍政大學，由新四軍第四師師長張愛萍兼任校長；1946年4月，雪楓軍政大學、蘇中公學和華中野戰軍隨營干部學校合并組成華中雪楓大學，由粟裕兼任校長。

抗戰勝利后，為推翻國民黨反動派的統治，完成解放戰爭的偉大任務，1946年11月25日，由華中雪楓大學、山東軍區軍政學校、東江縱隊以及淮南隨營學校和山東軍區通信學校等5個單位統一改編為華東軍事政治大學，并在山東省莒南縣大店舉行了學校成立大會暨第一期開學典禮，中央軍委任命華東軍區副司令張云逸兼任校長，余立金、曾生任副校長。華東軍事政治大學的誕生，翻開了學院發展歷史上新的一頁。她匯聚了從珠江、長江到黃河廣大地區的教育資源，形成了一支強大的教學力量，在短短的3年時間內，先后培養輸送了2萬多名師以下各級軍政干部，為解放戰爭的勝利提供了寶貴的人才支持。