А. Н. Бекетов в научной работе «География растений» (1896) впервые сформулировал понятие биологического комплекса как суммы внешних условий, установил связь особенностей анатомического и морфологического строения растений с их географическим распространением, указал на значение физиологических исследований в экологии. Им же были детально разработаны вопросы межвидовых и внутривидовых взаимоотношений организмов.
В конце 70-х гг. XIX в. параллельно с данными исследованиями возникло новое направление. Немецкий гидробиолог К. Мебиус в 1877 г. на основе изучения устричных банок Северного моря обосновал представление о биоценозе, как о глубоко закономерном сочетании организмов в определенных условиях среды. Биоценозы, или природные сообщества, по Мебиусу, сформированы длительной историей приспособления видов друг к другу и к исходной экологической обстановке. Он утверждал, что всякое изменение какого-либо одного фактора биоценоза вызывает изменения в других факторах. Его работа «Устрицы и устричное хозяйство» положила начало биоценологическим исследованиям в природе.
Изучение сообществ в дальнейшем обогатилось методами учета количественных соотношений организмов.
Учение о растительных сообществах обособилось в отдельную область ботанической экологии. Значительная роль в этом принадлежит русским ученым С. И. Коржинскому и И. К. Пачоскому, назвавшим новую науку фитосоциологией, переименованную позднее в фитоценологию, а затем в геоботанику.
К этому же периоду относится деятельность знаменитого русского ученого В. В. Докучаева (1846–1903). В своем труде «Учение о зонах природы» он писал, что ранее изучались отдельные тела, явления и стихии – вода, земля, но не их соотношения, не та генетическая вековечная и всегда закономерная связь, какая существует между силами, телами и явлениями, между мертвой и живой природой, между растительными, животными и минеральными царствами, с одной стороны, и человеком, его бытом и даже духовным миром – с другой. Учение Докучаева о природных зонах имело исключительное значение для развития экологии. В целом его работы легли в основу геоботанических исследований, положили начало учению о ландшафтах, дали толчок широким исследованиям взаимоотношений растительности и почвы. Идея Докучаева о необходимости изучения закономерностей жизни природных комплексов получила дальнейшее развитие в учении В. Н. Сукачева о биогеоценозах.
К началу XX в. оформились основные экологические школы гидробиологов, фитоценологов, ботаников и зоологов, в каждой из которых развивались определенные стороны экологической науки.
В 1910 г. на III Ботаническом конгрессе в Брюсселе экология растений разделилась на экологию особей и экологию сообществ. По предложению швейцарского ботаника К. Шретера экология особей была названа аутэкологией