Louis Gaston de Ségur nasceu em Paris a 15 de abril de 1820. Descendentes de uma família nobre, era filho do marquês Eugène de Ségur e da célebre condessa de Ségur, conhecida escritora de livros infantis. Zeloso nos eswtudos, logo que se formou em Direito foi enviado como adido à Embaixada Francesa em Roma, junto à Santa Sé (1842-1843). Perto dos Apóstolos Pedro e Paulo, sentiu o chamado para o sacerdócio e, ao retornar a Paris, ingressou no Seminário de Santo Sulpício, sendo ordenado sacerdote em dezembro de 1847.