Родился в Турьинских рудниках в семье горного инженера. После смерти отца в 1857—1866 годах учился в Петербурге в Горном кадетском корпусе (к окончанию учёбы Горный институт), впоследствии состоял там же профессором геологии.
По окончании корпуса два года работал на Урале.
В 1886 году избран членом Императорской академии наук.
С 1899 по 1936 — президент Минералогического общества России. Опубликовал работы по палеонтологии, стратиграфии и тектонике, петрографии, геологии и полезным ископаемым Урала. В 1899 году впервые описал геликоприона.
Урна с прахом А. П. Карпинского покоится в Кремлёвской стене. Академик Карпинский — старейший (по дате рождения) из погребённых в этом некрополе.
