Ջոն Շերմանը ծնվել է Օհայո նահանգի Լանկաստերե շրջանում՝ դատավոր Չառլզ Ռոբերտ Շերմանի և նրա կնոջ՝ Մերի Հոյթ Շերմանի ընտանիքում։ 1829 թվականին ամուսնու մահից հետո Մերիի և նրա տասնմեկ երեխաների մասին սկսել է հոգ տանել Չարլզի եղբայրը՝ Ուիլյամը։ Ջոնը կրթությունը ստացել է սովորական դպրոցում։ Այն ավարտելուց հետո նա ընդունվել է Օհայո նահանգի ակադեմիան, բայց, աշխատանք ստանալով որպես ալիքների ձևավորման ճարտարագետ, թողել է ուսումը։ Ավելի ուշ սկսել է իրավունք ուսումնասիրել, և 1844 թվականին ընդունվել է փաստաբանների միության անդամ։ 1848 թվականին ամուսնացել է Օհայո նահանգի դատավորի դստեր՝ Սեսիլյա Ստյուարտի հետ։
Ամուսնությունից հետո նա հետաքրքրվել է քաղաքականությամբ։ 1848 թվականին Ազգային համագումարում Վիգերի կուսակցության պատվիրակ է եղել։ 1854 թվականին Ջոն Շերմանը ընտրվել է Պալատում որպես Օհայո նահանգի ներկայացուցիչ։ 1860-1861 թվականներին նա զբաղեցրել է հարկային հանձնաժողովի նախագահի պաշտոնը Ներկայացուցիչների պալատում[5]։
1877 թվականից մինչև 1881 թվականը Ջոն Շերմանը եղել է ԱՄՆ ֆինանսների նախարար։ 1880 թվականին նա հավակնել է ԱՄՆ նախագահի պաշտոնին, սակայն պարտվել է Ջեյմս Գարֆիլդին։ Ֆինանսների նախարարի պաշտոնին վերադառնալուց հետո Շերմանը մնացել է Սենատում։ 1886 թվականից մինչև 1893 թվականը և 1895 թվականից մինչև 1897 թվականը եղել է Սենատի միջազգային հարաբերությունների հանձնաժողովի ներկայացուցիչ։
1885 թվականի դեկտեմբերից մինչև 1886 թվականի հունվարը Թոմաս Հենդրիքսի մահվան պատճառով Ջոնը ժամանակավոր կատարել է ԱՄՆ փոխնախագահի պարտականությունները։