Окончив в 1888 г. университет, молодой ученый решил специализироваться по кавказоведению; в этой области на факультете у него не оказалось сильных конкурентов. При этом с самого начала он не ограничивался грузинской филологией, занявшись и Арменией, позже он включил в сферу интересов и другие языки и культуры Кавказа. К тому времени его национальные симпатии сменились общекавказскими (уже в годы Гражданской войны правившие в Грузии меньшевики предложили Марру стать ректором нового Тбилисского университета, он отказался, поскольку создавался чисто грузинский университет, а он настаивал на межнациональном университете с грузинским, армянским и азербайджанским факультетами). И уже в ранние годы у него были любимые идеи, которые он отстаивал, даже если они противоречили научно установленным фактам. Одной из них была идея о великом историческом прошлом кавказских народов. Другой – усвоенный с детства тезис об особой близости грузин и армян, который хотелось подкрепить доказательством родства их языков. Но сравнительно-историческое языкознание к тому времени установило, что армянский язык входит в обширную индоевропейскую семью, с грузинским же языком ясности не было, но, во всяком случае, он никак не мог считаться индоевропейским. Уже это вызвало недовольство молодого ученого.
Но пока еще Марр в основном следовал канонам своей профессии. Выдвинулся он не как языковед, а как филолог, затем как археолог (хотя в это время он написал и лучшие свои лингвистические работы, в том числе грамматику родственного грузинскому лазского языка, и сейчас ценимую специалистами). В ранний период своей деятельности он совершил несколько путешествий на Кавказ, на Афон и Синай, где изучал библиотеки православных и армяно-григорианских монастырей, найдя там ценные древнегрузинские и древнеармянские рукописи, которые издал. Видный немецкий богослов А. Гарнак после этого писал, что Марр доказал принадлежность грузин к «великой греко-христианской семье народов древности». Все эти памятники были церковными, сам Марр в те годы был старостой грузинской церкви в Петербурге и принимал участие как эксперт в канонических спорах. Кто мог тогда представить, что он единственным из членов Императорской академии наук вступит в партию большевиков? А как археолог Николай Яковлевич достиг еще больших успехов. В основном он раскапывал армянские памятники, прежде всего, древнюю столицу Армении Ани. В связи с этим его имя до сих пор окружено почетом в Армении (намного больше, чем в его родной Грузии).
Но и в начале ХХ в. Марр был популярен. Вехи его биографии уже в дореволюционные годы – неуклонный путь вверх: с 1891 г. приват-доцент, с 1899 г. магистр, с 1900 г. экстраординарный профессор, с 1902 г. доктор и ординарный профессор, с 1909 г. адъюнкт Академии наук, с 1911 г. – декан восточного факультета, с 1912 г. академик. Он быстро вошел в когорту знаменитых русских востоковедов. Позже его ученик академик И. А. Орбели скажет: