Родился в дворянской семье. Окончил 2-ю киевскую гимназию, где получил первоначальные навыки в рисовании под руководством Н. М. Сошенко. Пользовался советами Т. Г. Шевченко. В 1861-1868 учился в ИАХ у А. П. Боголюбова. За период учебы получил все существовавшие академические награды: в 1862 – малую серебряную медаль за пейзажи, в 1863 – большую серебряную медаль, в 1866 – малую золотую медаль. Летом 1864 и 1865 уезжал в Крым на этюды. В 1866 изучал памятники московской архитектуры. В 1867 совершил поездку в Киевскую и Таврическую губернии, в 1868 побывал в Финляндии. В 1868 за три пейзажа с видами Крыма был награжден большой золотой медалью, получил звание классного художника 1-й степени и право пенсионерской поездки за границу сроком на три года.
В 1869-1872 – пенсионер ИАХ во Франции и Швейцарии. В 1872 возвратился в Петербург, получив от Совета Академии разрешение на продление срока пенсионерского содержания в России еще на три года. В 1874 за картины "Перед шквалом", "Закат солнца", "Болото", "В степи", "Вечер", "Посев", "Лесной сруб", "Пески" был удостоен звания академика. В 1875 совершил поездку в Италию. В 1876 за картины "Сенокос", "Мол в Поццуоли", "Утро на берегу Неаполитанского залива" и "На море перед грозой" утвержден в звании профессора пейзажной живописи. Среди его учеников: Н. С. Самокиш, П. А. Левченко и другие. С 1878 – сверхштатный член Совета ИАХ.
В 1881 предпринял поездку на Кавказ, в 1880-х – 1890-х периодически бывал в Крыму. В 1900-1902 жил в Киеве, где принимал активное участие в работе Киевской рисовальной школы им. Н. И. Мурашко; входил в художественный совет Школы. Стал одним организаторов Киевского художественного училища, открытого в 1901.
Экспонировал свои произведения на выставках в залах ИАХ (1868-1888, с перерывами), Общества выставок художественных произведений (1876-1882), Санкт-Петербургского общества художников (1891-1904), на Всемирных выставках в Филадельфии (1876) и Париже (1878), Всероссийской художественно-промышленной выставке в Москве (1882).
С 1909 жил в Италии (похоронен в Киеве).
В 1916 в Москве состоялась мемориальная выставка Орловского (совместно с Н. К. Пимоненко).
Орловский – один из крупнейших русских пейзажистов второй половины XIX века, представитель академизма. Произведениям художника присущи строгость композиционного построения, тщательность проработки деталей, пристальное внимание к эффектам естественного освещения.
