Родился 14 (26) августа 1858 г. в городе Яранске Вятской губернии. Детство провёл в городе Котельниче. В 1878 г. окончил мужскую Вятскую гимназию, поступил в Петербургский университет. Ещё в студенческие годы написал первую статью, посвящённую проблеме так называемых «длинных курганов». В кандидатской диссертации отстаивал собственную точку зрения, согласно которой подверг сомнению достоверность основного источника по ранней истории славянской Вятки «Повесть о стране Вятской» (Хлыновский летописец) и, как следствие, заселение Вятского края из Новгородчины (как считалось тогда). Эта теория противоречила традиционным взглядам авторитетных историков (Н. М. Карамзина и Н. И. Костомарова), и кандидатскую диссертацию А. А. Спицыну защитить не удалось, в результате чего он был вынужден выбрать другую тему работы. Спицын написал работу «Каталог древностей Вятского края», в которой впервые систематизировал все известные сведения по археологии Вятского края, в 1882 г. успешно защитил её, получив учёную степень. После окончания университета в течение десяти лет работал учителем литературы и истории в Вятской женской гимназии. Занялся изучением истории, опубликовал несколько статей по истории и археологическим древностям Вятского края. Активно собирал письменные источники по истории края. Составил библиографию «Вятских губернских ведомостей». В 1892 г. А. А. Спицын переехал в Санкт-Петербург, где принял активное участие в работе Российской Императорской Археологической комиссии и Русском археологическом обществе. Проявил себя горячим сторонником развития славяно-русской археологии. В июле 1892 года участвовал в международном конгрессе доисторической антропологии в Москве, где выступил с рефератом «Костеносные городища на Северо-востоке России». По заданию Московского археологического общества провёл ряд экспедиций по исследованию древних памятников Вятской губернии, результатом которых стала книга «Археологические разыскания о древних обитателях Вятского края» (1893). С 1909 г. читал лекции по археологии и русской исторической географии в Петербургском университете. По приглашению известного историка и искусствоведа А. И. Анисимова, А. А. Спицын читал лекции по археологии в Новгородской мужской учительской семинарии. Дальнейшая научная и исследовательская деятельность А. А. Спицына также была тесно связана с Новгородом. Он был избран почётным членом Новгородского общества любителей древности, а летом 1911 г. принял участие в работе XV Всероссийского археологического съезда, проходившего в этом городе. С 1914 г., кроме общего курса по русской археологии, А. А. Спицын читал лекции по исторической географии в университете и в Императорском Петербургском Археологическом институте (ИПАИ). На территории Новгородской губернии А. А. Спицын также проводил археологические раскопки: в селе Бронницы Новгородского уезда, селе Удрай Крестецкого уезда. В 1917 г. вёл археологические наблюдения за работами на Нередицком холме. После Октябрьской революции Спицын стал членом Государственной Академии истории материальной культуры (ГАИМК) со дня её основания (1918). В 1919 г. Спицын заведовал в ГАИМК разрядом русских, финских и литовских древностей, тогда же организовал две комиссии — по изучению русской нумизматики и русской миниатюры. В 1929 году — член-корреспондент Академии наук СССР. А. А. Спицын скончался 17 сентября 1931 г. в Ленинграде и был похоронен на Смоленском кладбище.
В 1898 г. археолог посетил село Ильинское, побывал в гостях в доме-усадьбе Теплоуховых - своеобразном культурном центре строгановской столицы.