Род Гончаровых уходит своими корнями в допетровскую эпоху. Пращур Натальи Николаевны калужский купец Афанасий Абрамович Гончаров был потомком горшечников, гончаров, чья благородная профессия навечно оставила память о себе в их потомственной фамилии. При Петре I, говоря современным языком, Афанасий Абрамович принадлежал к так называемым «новым русским». Он завел несколько полотняных фабрик, сумел разбогатеть и стать хорошо известным в Петербурге поставщиком корабельного парусного полотна для нужд Адмиралтейства. Знали его и за границей. В XVIII веке в Англии среди моряков была известна поговорка: «Весь английский флот ходит на гончаровских парусах». В 1744 году Афанасий Абрамович получил чин колежского асессора, а в 1789 году Екатерина II возвела Гончаровых в дворянское достоинство.

В жилах матери Натальи Николаевны текла французская кровь. Ее отец, будучи человеком женатым и отцом нескольких детей, уехал однажды за границу и прижил девочку, с которой затем вместе с ее матерью вернулся в Россию. Это и была будущая теща Пушкина. В молодости она — фрейлина императрицы, слыла красавицей, на нее с надеждой заглядывал не один гвардейский офицер. Но это-то будто бы и сыграло с ней злую шутку. Если верить семейным преданиям, в нее влюбился фаворит императрицы Алексей Охотников, и ей дали понять, что лучше покинуть двор. В этой связи любопытна национальная принадлежность Натальи Николаевны по женской линии. Так как ее бабка по матери была француженкой, это обстоятельство дало повод ее сестре Екатерине Николаевне признаться Дантесу в письме накануне их свадьбы, что она «отчасти твоя соотечественница». Видимо, французская кровь повлияла и на дальнейшее поведение матери. По воспоминаниям сестер Гончаровых, она отличалась буйным и необузданным характером, пьянствовала и предавалась самому низкому разврату с собственными лакеями и кучерами.

В начале XIX столетия богатыми Полотняными заводами с приписанными к ним 3450 душами крепостных владел внук Афанасия Абрамовича — Афанасий Николаевич. Однако ко времени женитьбы Пушкина огромное состояние было почти полностью растрачено. Афанасий Николаевич Гончаров умер в 1832 году и оставил после себя долг в полтора миллиона рублей. Отец Натальи Николаевны — Николай Афанасьевич был душевнобольным. Согласно семейным легендам, это произошло после того, как однажды он упал с коня и зашиб голову.