José Smith nació en Sharon, Vermont, el 23 de diciembre de 1805, el quinto hijo de Joseph Smith y Lucy Mack Smith.Aunque hábil en la hechura de barriles y cubetas, el padre de José generalmente cultivaba la tierra en la década de la niñez del profeta, en los estados de Nueva Inglaterra. Consecuentemente, José recibió instrucción en cuanto a la persistencia a través de las tareas de la granja, sin detenerse aún en los inviernos fríos de Vermont.La bendición que recibió de su padre en 1834 elogia a José por sus relaciones familiares: “has sido un hijo obediente: los mandamientos de tu padre y las reprobaciones de tu madre has respetado y obedecido.”

Las pruebas familiares incluyeron enfermedad y le pérdida de cosechas debido al clima. Este antecedente ayuda a explicar la educación limitada de José. Como la pobreza de la familia requería trabajo duro de todos los miembros de la familia, él explicó: “apenas se me enseñó a leer y escribir, y se me impartieron algunos conocimientos básicos de aritmética.”Joseph Smith enseñó en la escuela común por varios inviernos mientras la familia Smith vivía en el lugar de nacimiento del profeta. Pero el joven José no estaba listo para recibir instrucción regular hasta después de que su familia se había mudado a Royalton Township. El nombre de Joseph Smith aparece en los registros de impuestos de 1809 a 1811. Una nieta del diácono Jonathan Kinney, de Royalton, dijo que él, “a menudo repetía,” que “Yo le enseñé a José Smith, el profeta mormón, a leer mientras enseñaba en la escuela en Dewey Hill entre 1810 y 1815.”