Nacido en Dundee, Escocia, era el tercer hijo de un ministro de la Iglesia Libre de Escocia (nombre que recibe la iglesia establecida por un grupo de más o menos 450 ministros que se separaron de la Iglesia de Escocia en 1843). Fue educado en la "West End Academy" y la "High School of Dundee" donde recibió su formación preuniversitaria. Ewing mostró desde temprana edad interés en la ciencia y la tecnologia, dedicandose a las máquinas y experimentos en el ático de la casa donde vivía con su familia, cuyos principales intereses eran religiosos y literarios.
Ewing estudió ingeniería en la Universidad de Edinburgh bajo el tutelaje de William Thomson (o Lord Kelvin) y Peter Guthrie Tait. En esta institución colaboró con dos de sus profesores, Fleeming Jenkin y William Thomson, en trabajos de ingeniería relacionados con proyectos de instalación de cables telegráficos submarinos. Esta relación fue duradera, ya que conjuntamente publicaron diferentes trabajos científicos y fueron coautores de varias patentes.
En 1878, siguiendo la recomendación de Fleeming Jenkin, Ewing fue contratado para ayudar en la modernización del Japón de la Era Meiji como uno de los o-yatoi gaikokujin (extranjeros contratados), trabajando como profesor en la universidad de Tokio, donde ejerció de profesor de ingeniería mecánica. Sus investigaciones sobre terremotos y magnetismo fueron fundamentales en la fundación de la sismología en Japón. En esta universidad, Ewing hizo dos importantes amigos al poco tiempo de llegar: Basil Hall Chamberlain y el teniente Thomas Henry James R.N. que enseñaba navegación. Además, también mantuvo relaciones con Henry Dyer y William Edward Ayrton del "Colegio Imperial de Ingeniería de Japón" (Kobu Dai Gakko).
En Tokyo, Ewing enseñaba sobre mecánica y motores térmicos a los estudiantes de ingeniería, y sobre electricidad y magnetismo a los estudiantes de física. Ewing llevó a cabo durante su estancia en Japón muchos proyectos de investigación en magnetismo, descubriendo y dando nombre al fenómeno de la histéresis. Además, sus investigaciones sobre sismología le llevaron a colaborar con T. Lomar Gray y John Milne del Colegio Imperial de Ingeniería en el desarrollo del sismógrafo. Los tres trabajaron como un equipo en la invención y uso de los sismógrafos, aunque Milne es generalmente reconocido como el inventor del primer sismógrafo moderno de péndulo horizontal.
En 1883, Ewing regresó a Escocia para trabajar en la Escuela Universitaria de Dundee, donde conmocionado por las condiciones de vida demuchas de las áreas más pobres de la ciudad, colaboró con el gobierno local y la industria para mejorar los servicios públicos, principalmente los sistemas de alcantarillado, y reducir la tasa mortalidad infantil.
En 1890, Ewing aceptó un puesto de profesor de mecánica aplicada en la Universidad de Cambridge. Primero trabajó en el "Trinity College", sin embargo, más tarde se trasladó al "King's College". Durante sus investigaciones en Cambridge, Ewing desarrolló sus primeros trabajos sobre las propiedades magnéticas de los metales. Al mismo tiempo, su amistad con Charles Algernon Parsons le llevaron a colaborar con él en el desarrolló de la turbina de vapor, participando en pruebas en el mar de "Turbinia". Ewing también investigó la estructura cristalina de los metales y, en 1903, fue el primero en proponer que los fallos por fatiga se originaban en defectos microscópicos en los materiales.
En 1903, Ewing se convirtió en el director de educación naval en el Ministerio de Marina y un año más tarde, en 1904, junto Louis H. Walter, patentó un nuevo tipo de detector magnético de señales radiotelegráficas. El principio de funcionamiento de este detector se basaba en los cambios de la histéresis de un hilo de acero por el que circulaban las señales al ser detectadas. Estos cambios eran medidos entre un devanado fijo de hierro y un campo magnético rotativo.
En 1916 Ewing aceptó una invitación para ser el vice canciller de la Universidad de Edinburgh, realizando una extensiva serie de reformas, puesto que ocuparía hasta su jubilación en 1929. Entre 1914 y mayo de 1917, Ewing administró la habitación número 40, que era el departamento de criptoanálisis de la inteligencia del Ministerio de Marina, responsable principalmente de la desencriptación de los mensajes interceptados a la marina alemana. En este puesto, Ewing alcanzó cierta notoriedad en la prensa popular cuando la habitación número 40 descrifró el "Telegrama de Zimmermann" en 1917 (que sugería los planes de Alemania de asistir a Mexico en anexar el sudoeste de los Estados Unidos). Este y otros éxitos hicieron que fuese conocido como "The Cipher King" y "The U-boat Trapper".
Sir James Alfred Ewing murió en 1935, habiendo sido miembro de la "Royal Society of Edinburgh" desde 1878 (y su presidente de 1924 a 1929); miembro de la "Royal Society" desde 1887; y presidente de la "British Association for the Advancement of Science" en 1932. Tras su muerte en 1938, la Institución de Ingenieros Civiles (Institution of Civil Engineers) introdujo un premio en su nombre: la Medalla de James Alfred Ewing por investigación en ingeniería (James Alfred Ewing Medal for engineering research).
