Físico y matemático, destacó en su época en tales materias a pesar de no haber estudiado en la universidad debido a la mala situación económica de su familia. Por causa de una enfermedad, Oliver era casi sordo. Ya desde joven demostró un gran interés por la ciencia, estudiando de forma autodidacta. Trabajó como radiotelegrafista en la línea submarina existente entre Dinamarca y Newcastle gracias a su tía, casada con el famoso Charles Wheastone. Esta época de su vida fue decisiva en su carrera posterior, gracias a los estudios que realizaba acerca de los problemas que surgían en la línea.

Entre sus trabajos fundamentales, destacó su estudio de la Transmisión de Señales, en concreto de la distorsión producida en la señal en medios submarinos y subterráneos. Se basó en la teoría de Kelvin, que explicaba este fenómeno como consecuencia de la capacitancia y resistividad del cable, a lo que Heaviside añadió las pérdidas de línea (las cuales nombró como “perditancia”) y la autoinducción. La autoinducción provocaba una serie de oscilaciones iniciales hasta lograr la estabilidad de la señal.

Oliver también destacó por su estudio y desarrollo de las teorías de Maxwell, conocidas como "Las cuatro leyes de Maxwell", que fueron perfeccionadas en un trabajo primero independiente y luego conjunto de Oliver y Hertz. Como matemático pretendió elaborar el análisis vectorial como un álgebra independiente de manera que cumpliese sus ideales pedagógicos y sistemáticos. A pesar de ello sus matemáticas eran calificadas de excéntricas, alejándose de una mayor simplicidad que él mismo buscaba. Su personalidad matemática se basaba en la búsqueda de la solución de ideas físicas y no abstractas y demostrativas de las matemáticas puras. También fue uno de los creadores del cálculo operacional tan utilizado en ingenierías.

A pesar de sus descubrimientos, Oliver no obtuvo demasiados reportes económicos, ya que prefería una vida de libertad para sus investigaciones. En sus últimos años de vida, la calidad de sus estudios bajó notablemente debido a sus problemas de salud, hasta morir finalmente en 1925 en Torquay, tras haber llevado una vida cada vez más excéntrica y solitaria.