Francisco Xavier nasceu no castelo da família em Xavier, no Reino de Navarra, a 7 de Abril de 1506, segundo o registo mantido pela sua família. Filho de famílias aristocráticas navarras, era o filho mais novo de Juan de Jasso (conselheiro da corte do Rei João III de Navarra) e de Maria de Azpilicueta y Xavier, única herdeira de duas famílias nobres de Navarra. Seguindo a tradição basca de atribuição do sobrenome, foi baptizado herdando o nome de sua mãe, de Xavier. O seu nome é correctamente escrito Francisco de Xavier e não Francisco Xavier, já que Xavier provém do nome da terra da qual a família é originária. Nem Francisco Javier, já que essa é a grafia castelhana. Além disso, Francisco de Xavier desempenhou o seu apostolado em território português e essa é a pronúncia portuguesa da mesma palavra.

Em 1512, tropas castelhanas e aragonesas, comandadas por Fadrique Álvarez de Toledo, 2º Duque de Alba, atacam o Reino de Navarra. A família de Francisco está do lado da resistência ao invasor estrangeiro, mas a conquista consolida-se em 1515, quando Francisco tem oito anos. Depois de uma tentativa de reconquista franco-navarra em 1516, na qual os irmãos de Francisco tomam parte, a muralha, os portões e duas torres do castelo da família são destruídos, assim como o fosso que é tapado, a altura da torre de menagem reduzida para metade e as propriedades da família confiscadas. Só a residência da família dentro do castelo é poupada. Os irmãos de Francisco são encarcerados nas masmorras e condenados à morte, tendo no entanto obtido uma amnistia e sido libertados