GS.TSKH Phạm Hồng Giang sinh ra trong một gia đình cách mạng, có cha là liệt sĩ chống Pháp. Thời trẻ, với tư chất thông minh ông có thiên hướng về toán học, rồi được Nhà nước cho đi học ở nước ngoài chuyên ngành thủy lợi, dùng toán để giải các bài toán ứng dụng trong thiết kế công trình thủy lợi, thủy điện.