Dos semanas después de volver a casa, los recién casados fueron detenidos, juzgados y condenados por el delito de casarse siendo de razas distintas. Para evitar un año de cárcel tuvieron que abandonar el estado de Virginia. Sólo podrían volver si lo hacían por separado.

Exiliados en Washington DC con sus hijos y desarraigados de sus respectivas familias, decidieron escribir al fiscal general Robert Kennedy, que los puso en contacto con la Asociación de Defensa de los Derechos Civiles. Allí, dos de sus jóvenes abogados, Bernard S. Cohen y Philip J. Hirschkop, se hicieron cargo del caso, conscientes del desafío que suponía en un país que, en su mayoría, defendía la segregación racial y la 'pureza' de las razas.

Durante más de 5 años estuvieron volcados en el caso de los Loving y, tras perder en varias instancias judiciales, lograron llevarlo hasta la Corte Suprema de EE UU, que finalmente, y tras dos meses de audiencia, dictó sentencia a favor de los Loving el 12 de junio de 1967, consiguiendo abolir la prohibición del matrimonio interracial en 16 de los estados que aún la mantenían.

Richard Loving dio quizás el argumento más firme de todos para lograr ese veredicto: "Decidle a la Corte Suprema que amo a mi mujer y que es injusto que no pueda vivir con ella en el Estado de Virginia".