Литовские послы Ян Щит и Богуш прибыли в Москву 3 октября 1517 года. Посредником в переговорах выступал Герберштейн. Московский государь торжественно заявил, что готов примириться с Сигизмундом ради своего «брата» Максимилиана и из-за того, чтобы «рука бесерменская не высилася и государи бы бесерменские вперед не ширились, а христианских бы государей над бесерменством рука высилася и государства бы христианские ширились». Эта расплывчатая формулировка о «бесерменских государях» вообще давала русским дипломатам возможность интерпретировать ее так, как им выгодно, и одновременно создавала впечатление готовности России вступить в антитурецкую лигу.
Гораздо труднее приходилось обеим сторонам, когда нужно было от деклараций переходить к рассмотрению конкретных условий мира. Василий III заявил, что Сигизмунд «неправдою» держит «отчину» русских князей – Киев, Полоцк и Витебск. Справедливость русских требований фактически была признана по договору 1514 года России с империей, и, когда русские дипломаты сослались на этот договор, Герберштейну ничего не оставалось, как заявить, что договор заключен «не по государя нашего велению».
Со своей стороны литовские послы говорили о том, что им издревле принадлежит не только Смоленск, но и Новгород, Псков, Вязьма и Северщина. Разговор, словом, велся на столь различных языках, что о взаимопонимании не могло быть и речи. Прояснила, но не облегчила ситуацию позиция, занятая Герберштейном. Он высказался за передачу Смоленска Литве, сославшись на пример Максимилиана, отдавшего Верону ее гражданам. Но отказываться от старинного русского города, присоединенного с таким большим трудом, Москва не собиралась.
Не возражая в принципе против продолжения переговоров, московские дипломаты решительно отклонили предложения Герберштейна. Ему ничего не оставалось, как покинуть Москву. 22 ноября он вместе с московским послом дьяком В.С. Племянниковым отбыл к имперскому двору.
Итог первой миссии Герберштейна в Москву не принес желаемого результата. Тем не менее отношения Московии с империей, прерванные после Венского конгресса, были возобновлены.
Осенью того же года австрийский посол возвратился в Вену. Видимо, здесь, в столице империи, в кружке венских гуманистов, внимавших его рассказам о далекой и необычной Московии, у Герберштейна впервые возникла мысль написать книгу о своем путешествии. Немаловажную роль могли сыграть и дневники, которые вел Герберштейн во время путешествия. Но прошло еще много лет, прежде чем эта идея осуществилась.
В 20–30-е годы XVI века Герберштейн был одним из руководителей делегации, посланной для приглашения