Чтобы закрепиться на Амуре, царь возымел намерение образовать особое Амурское воеводство. Устроителем его был назначен енисейский воевода Пашков. 18 июля 1656 года в сопровождении трехсот казаков тот выступил из Енисейска. Однако он пошел не тем путем, по которому ходили его предшественники, – не через Илимск, Олекму и Тугир, а отправился по Ангаре и через Байкал, вышел в Забайкалье, где за три года до него уже побывал отряд сотника Петра Бекетова, построившего там несколько русских острогов, в том числе у устья реки Нерчи – Нерчинский городок, который стал главной опорой для занятия и освоения Амура. Местное бурятское и тунгусское население добровольно признало власть московского царя и стало выплачивать ясак. В окрестностях Нерчинска казаки и прибывшие следом за ними переселенцы-крестьяне начали поднимать пашню и сеять хлеб.
В 1658 году Пашков послал из Нерчинска на Амур тридцать ратников искать Степанова, чтобы объявить ему о своем назначении начальником Амурского края. Но тем так и не удалось с ним встретиться.
Однако вскоре отряд Бекетова, спустившись на Амур по Шилке, все же сумел установить связь со Степановым, после чего Приамурье от верховьев и до самого устья реки со всем его левобережным населением вошло в состав Русского государства.
Маньчжуров такое соседство не устраивало. Ведь они сами мечтали о широких завоеваниях. Попытались было помешать русским их продвижению на восток, но поражение в битве при Ачан-городке надолго охладило их пыл. Тогда они перешли к другой тактике – начали насильственное переселение дауров и дючеров в Маньчжурию. Сжигая их посевы, разрушая и уничтожая селения, маньчжуры стремились превратить Приамурье в пустыню. Не имея возможности добывать себе продовольствие, русские-де не смогут долго прожить на этой земле.
К 1657 году даурские и дючерские селения были полностью уничтожены. Амур обезлюдел. Не с кого царевым слугам стало брать ясак, и не у кого было получать продовольствие. Своих пашен покамест было мало, хлеба не хватало, и казаки Степанова вынуждены были совершать набеги на маньчжурские селения в низовьях Сунгари. В одном из таких походов в июне 1658 года отряд Степанова попал в засаду и был разбит. Часть его людей сумела прорвать вражеское кольцо и уйти в верховья Амура. Сам же Степанов, а с ним двести семьдесят казаков погибли в бою.
Почуяв силу, маньчжуры усилили свои набеги на русские городки, выросшие на берегу Амура. Некоторые из них им удалось взять приступом, а затем сжечь и разрушить. Среди этих городков были Албазинский и ближайший к нему Кумарский. Часть оставшихся в живых казаков вынуждена была вернуться на Лену, остальные ушли к Нерчинску.
Безлюдье воцарилось на амурских просторах. Лишь развалины поселений свидетельствовали о бывшей здесь некогда жизни.
Вот таким и увидели Амур Никифор Романович Черниговский и его товарищи, когда они в зиму с 1665 на 1666 год прибыли в эти края. Однако уходить отсюда они не собирались, ибо лучшего места для постройки крепости