Tanenbaum nace en la ciudad de Nueva York (Estados Unidos) aunque creció en Whit Plains. Se licencia en física en el Instituto Tecnológico de Massachusetts (más conocido como MIT), en 1965.

En 1971 consigue el doctorado en física en la Universidad de California, Berkeley. Posteriormente se traslada a los Países Bajos para vivir con su esposa, pero aún conserva la ciudadanía estadounidense. En 1987 crea el sistema operativo Minix, una réplica gratuita de UNIX con propósitos educativos, que posteriormente inspiró Linux. En 1992 participó en Usenet en un encendido debate con Linus Torvalds, el creador de Linux, sobre los méritos de la idea de Linus de utilizar un núcleo monolítico en vez de los diseños basados en un micronúcleo que Tanenbaum creía que serían la base de los sistemas operativos futuros.

Desde 2004 es profesor de Arquitectura de ordenadores y sistemas operativos en la Universidad Libre de Amsterdam (Vrije Universiteit Amsterdam) donde lidera un grupo de sistemas de computación. Tanenbaum es el autor, junto a otros miembros de la Universidad Libre de Amsterdam, del sistema operativo distribuido de investigación Amoeba, basado en una arquitectura de micronúcleo. Tanenbaum también es el creador de Globe, un software que provee una infraestructura para un sistema distribuido a nivel mundial.