Emory blev født i Georgia i 1920. Hendes oldefar var hvid plantageejer og Klanleder. Hendes bedstemor var indianer. Hendes far var så lys i huden, at folk troede, at han var hvid. Og hendes mor var mørk som kaffe. Selv var hun et af seks mælkechokoladebru
