Стю Ангър е роден в еврейско семейство и е отгледан в източната част на Манхатън. Баща му, Исадор Ангър, бил лихвар и държал бар. Социален клуб, който се дублирал с нещо като хазартна зала и въвел Стю в комарджииството още на ранна възраст. Въпреки опитите на Идо да държи сина си настрана от хазарта, след като виждал ефекта върху редовните си клиенти, Стю започнал да играе в турнирите и бързо си създал име.