Встречаться с Иноземцевым в обществе Пирогов не любил. В двадцать лет хотелось «блистать», но скромная внешность Николая, отсутствие у него светской легкости, изящества, умения поддерживать приятный разговор не позволяли ему этого добиться. Он даже с девушками говорил об анатомии, препаратах, операциях. Понятно, что те предпочитали Иноземцева, умевшего выбрать более привлекательные для них темы для разговора.
Гостей Иноземцева, приходивших в их комнату, Пирогов недолюбливал. Они раздражали его звонкими голосами, табачным дымом, шелестом сдаваемых карт. Для соседа комната была местом отдыха после работы, а для Пирогова – рабочим кабинетом. Он и жалованье-то все тратил на подопытных телят и баранов, а потом в конце месяца сидел без копейки денег, ходил обедать к Мойеру, а дома пил пустой кипяток.
Позже в своих воспоминаниях Пирогов так описывал Иноземцева и свои отношения с ним: «Ф. И. Иноземцев был, как и я, по хирургии, с тем только различием от меня, что, во-первых, это был уже человек лет под 30, не менее 27-ми, 28-ми, а во-вторых, он был несравненно опытнее меня и более, чем я, приготовлен. В Харьковском университете в то время учил весьма дельный профессор хирургии – Н. И. Еллинский. Иноземцев не только ассистировал ему при разных операциях, но и сам уже делал одну операцию (ампутацию голени). Это разом ставило его головою выше меня и в моих глазах, и в глазах других товарищей. Иноземцев и с внешней стороны был гораздо представительнее меня. Высокий и довольно ловкий брюнет, с черными блестящими глазами, с безукоризненными баками, одетый всегда чисто и с некоторой претензией на элегантность. Иноземцев легко делался вхожим в разные общества и везде умел заслуживать репутацию любезного и милого человека, доброго товарища и отличного парня. Немудрено, что я начал ему завидовать. Это скверное чувство особливо выражалось в моем дневнике, который я некоторое время вел тогда очень аккуратно».
В дневнике Пирогова описана такая ситуация: «…однажды – я жил тогда еще у Мойера – я простудился и заболел. Мойер приходит навестить меня и намекает мне довольно ясно, что я порчу себя питьем водки; после такого намека я, взволнованный и еще больной, являюсь к Екатерине Афанасьевне Протасовой и говорю, что я не могу долее оставаться в их доме, так как я заподозрен в пьянстве.
Старушка ахнула:
– Откуда это, батюшка, такое взял?
Я рассказал. Потом вышло, что Иноземцев стороною намекнул что-то, где-то, как-то, что я склонен к злоупотреблению спиртными напитками. Действительно, Иноземцев видел меня раза два навеселе вместе с Шуманским, от которого я в первый раз и узнал вкус водки. Долго я не мог простить Иноземцеву этой сплетни. Мы жили в течение четырех с лишком лет вместе в одной (довольно просторной) комнате