El mayor de tres hermanos, Von Neumann nació en una familia judía adinerada. Su padre era Neumann Miksa (Max Neumann), un abogado que trabajaba en un banco. Su madre era Kann Margit (Margaret Kann).
Fue un niño prodigio, con una gran memoria fotográfica y una gran habilidad para los idiomas. A los 10 años ingresó en el Colegio Alemán Luterano Fasori Gimnázium, en donde destacó por su talento para las matemáticas. Ingresó en la universidad de Budapest en 1921 para estudiar matemáticas. Recibió su doctorado en matemáticas (y de manera secundaria en física experimental y química) en la Universidad Pázmány Péter, en Budapest con 22 años. Simultáneamente, obtuvo su diploma en ingeniería química en la ETH de Zurich en Suiza. Entre 1926 y 1930, fue profesor en la Universidad de Berlín, el más joven de su historia. A los 25 años, había publicado diez documentos importantes, y con 30, casi 36.
Al comenzar la Segunda Guerra Mundial comenzó a trabajar para el Gobierno de los EE.UU. Hacia 1943 empezó a interesarse por la computación para ayudarse en su trabajo. En aquellos años había numerosas computadoras en construcción, pero con la que Von Neumann se involucró fue el ENIAC. Una vez finalizada y viendo sus limitaciones se enfrascaron en el diseño y la construcción de una computadora más poderosa, el EDVAC (Electronic Discrete Variable Arithmetic Computer). Pero hubo problemas legales con la titularidad y von Neumann regresó a Princeton con la idea de construir su propia computadora.
Von Neumann se casó dos veces. La primera de ellas fue con Mariette Kovesi en 1930. Tuvieron una hija (la única hija que tuvo Von Neumann, Marina. Actualmente es una distinguida profesora de comercio internacional y política pública en la Universidad de Michigan). La pareja se divorció en 1937 y en 1938, Von Neumann se casó con klari Dan.
En los años 50 construyó la computadora IAS. Colaboró en el libro "Cibernética: control y comunicación en el animal y en la máquina" junto con Norbert Wiener, en donde se explica la teoría de la cibernética. En 1954 empezó a trabajar para la Comisión de Energía Atómica. También recibió en 1956 el premio Enrico Fermi de la Comisión de Energía Atómica por sus "notables aportaciones" a la teoría y diseño de las computadoras electrónicas. En 1955, von Neumann fue diagnosticado de cáncer de páncreas. Un año y medio mas tarde, Von Neumann muere sumido en un gran dolor.
Von Neumann escribió 150 artículos que fueron publicados mientras vivía, 60 de matemáticas puras, 20 de física, y 60 de matemáticas aplicadas. Su último trabajo, publicado en forma de libro como "El ordenador y el Cerebro", da una indicación de la dirección de sus intereses en el momento de su muerte.
