Но язычники быстро расправились и с новыми монахами и тогда Пётр-Гаштольд, обсудив с женой положение дел, решил, что варварское Вильно ещё не созрело для того, чтобы услышать и принять слово Божье. Супруги отказались от дальнейших миссионерских попыток и стали тратить свои деньги уже не на монастыри, а на благоустройство своего замка в селении Гранёны. В дальнейшем этот замок стал главной резиденцией рода Гаштольдов.
В 1370 году западная часть Волыни, четыре года назад отданная Польше, вновь вернулась в состав Великого княжества Литовского и с этих пор остаётся в княжестве. К этому времени большинство исконных земель древней Киевской Руси оказалось объединено под властью великих литовских князей. Не вошли тогда в Литву лишь те удельные княжества, которые оказались под непосредственной властью татар.
В 1370 году в Польше прекратилась королевская династия Пястов и престол перешёл к французскому принцу Людовику Анжуйскому, который затем передал свою польскую корону дочери Ядвиге. В том же году литовские князья Ольгерд и Кейстут, чтобы прекратить постоянную мелкую партизанскую войну с Орденом, затеяли поход на столицу крестоносцев, но не дошли до неё, встретив на полпути войско Ордена. В результате последовавшего сражения у Рудавы погибли великий маршал Ордена и три комтура, но литовцы потерпели поражение. Партизанская война продолжилась.
И опять же в том насыщенном событиями году московский князь Димитрий Иванович начал военные действия против своего давнего врага тверского князя Михаила Александровича, и разорил Тверскую землю. Тверской князь призвал на помощь князя Ольгерда и смоленского князя Святослава. В войске Ольгерда находился и его наследник князь Ягайло. В декабре союзники осадили Москву, но, как утверждали московские летописцы, не взяв Кремль и простояв под ним восемь дней, отступили, подвергнув разорению окрестности. Повторилась прежняя ситуация.
Но ведь Ольгерд обладал не только огромным военным опытом, но и одной из самых мощных армий в Восточной Европе, которая, например, в недавней битве у Синей Воды разгромила три орды. Если бы он трижды впустую ходил бы на маленький город и не решался даже его штурмовать, над ним смеялись бы не только его воины, но и московские куры. Так что сообщения московских историков вызывают большое сомнение и подозрения в их предвзятости.
«Хроника Быховца» говорит: «И было у великого князя Ольгерда двенадцать сыновей. У Кейстута было семь сыновей. А из всех сыновей своих любил князь великий Ольгерд сына своего Ягайла, а князь великий Кейстут – сына своего Витовта, и постановили