Urodził się w Paryżu 18 marca 1858 roku w rodzinie niemieckich emigrantów. Dopiero w wieku 12 lat wysłany został do ciotki mieszkającej w Augsburgu, gdzie także zaczął uczyć się niemieckiego.
W 1880 roku ukończył studia politechniczne w Monachium z najlepszym wynikiem w historii uczelni. W okresie studiów pracował w Fabryce Silników Sulzera w Winterthur, a po ich ukończeniu studiach pracował dla prof. Carla Linde przy konstrukcji nowoczesnych chłodziarek i wytwornic sztucznego lodu. Po roku został dyrektorem wytwórni lodu.
Projekt nowego rodzaju silnika ogłosił w lutym 1892 i opatentował go 28 lutego 1893. Jednak swój pierwszy w pełni udany silnik wysokoprężny zbudował w roku 1897, pracując w zakładach MAN AG w Augsburgu. W kwietniu 1900 roku przedstawił na wystawie światowej w Paryżu silnik swojej konstrukcji napędzany olejem arachidowym z orzeszków ziemnych.
Pierwszy samochód osobowy z silnikiem wysokoprężnym – Mercedes-Benz 260D – trafił do produkcji w 1936 roku i znacznie różnił się od jednostek współczesnych, które w ostatnich dziesięcioleciach przeszły prawdziwą rewolucję i stały się najbardziej oszczędnymi.
Rudolf Diesel zaginął podczas podróży promem SS Dresden do Anglii przez kanał La Manche w dniach 29-30 września 1913 roku. Jego ciało zostało wyłowione przez straż przybrzeżną, ale okoliczności utonięcia do dzisiaj nie wyjaśniono. Były różne teorie. Samobójstwo ze względu na długi oraz zabójstwo przez nienieckich agentów w celu niedopuszczenia do sprzedaży za granicę licencji na jego silniki. Żadna z tych hipotez nie znalazła jednoznacznego potwierdzenia.