Вивьен Лонгмейер была дочерью единственной сестры Джонатана Карлайона Изабель, сбежавшей из дома с австралийским солдатом после Первой мировой войны. Нил и Изабель Лонгмейер поселились в маленьком поселке лесозаготовщиков на горе Тамборин на юго-востоке Квинсленда. Вивьен была третьим ребенком из четверых. Первые восемь лет своей жизни она вела тихую и мирную жизнь в родном доме, пока ее не отослали в Англию, к дяде по материнской линии, учиться в школе, которую он основал на землях фамильного имения.