Афанасий Петрович Хабаров был младшим сыном владельца галантерейной лавки на Загороднем проспекте Петра Савельевича от второй жены. Старший его сын Егор не жаловал сводного брата из-за разницы в годах и скверного характера. Очень рано Афоня понял, что вряд ли уживется с братом в одном доме. Однако отец дал ему возможность закончить реальное училище, а позднее поставил торговать в лавку. Именно там Афанасий научился наблюдать и оценивать людей, а также вызывать их на откровенные беседы. К 25 годам он полностью вел всю торговлю, но деньгами заведовал Егор. Отец умер зимой, оставив все наследство сыну Егору, который вместе со своей женой начали выживать Афанасия с матерью из дома.