Rudolf Koller ist schon von Jugend an mit der Eisenbahn verbunden, da bereits sein Vater als Schaffner und Zugsführer bei den Österreichischen Bundesbahnen tätig war.
Er absolvierte das Studium der Elektrotechnik an der Technischen Universität Wien und war ab 1979 bei den ÖBB tätig, zunächst in den Bereichen Bau- und Elektrotechnik sowie Controlling. 2002 entdeckte er sein Interesse an der internationalen Dimension des Eisenbahnwesens und war ab dann als Leiter Internationale Beziehungen in der ÖBB-Holding und in der ÖBB-Infrastruktur tätig. In diesen Funktionen erwarb er vielfältiges internationales Bahn-Know-how, insbesondere durch Funktionen beim Internationalen Eisenbahnverband (UIC) in Paris, bei der Community of European Railways (CER) in Brüssel sowie durch langjährige Kontakte und Aktivitäten zu den europäischen Eisenbahnunternehmen.
Nach seiner 2015 erfolgten Versetzung in den Ruhestand bei den ÖBB ist er als Lehrbeauftragter an der Fachhochschule St. Pölten (Department Bahntechnologie und Mobilität) mit Vorlesungen zu internationalen Themen wie „Transeuropäisches Verkehrsnetz (TEN-T)“, „Europäische Bahnkorridore“ sowie „Internationale Behörden und Gremien im Eisenbahnwesen“, etc. tätig. Er fotografiert seit 1975 weltweit Eisenbahnen und Straßenbahnen und ist auch Verfasser von zahlreichen Artikeln zum Eisenbahn- und Straßenbahnbereich in verschiedenen Fachzeitschriften.