Вот что сам Скотт пишет о своей семье:
«У моих родителей было очень много детей, я думаю – не менее двенадцати; из них некоторые были весьма способны, хотя только пятеро пережили раннее детство. Мой старший брат Роберт был моряком в королевском флоте и принимал участие в большей части битв Роднея. Он отличался смелостью и гордостью, и в его обхождении со мною проглядывало капризное самовластие. Он имел большую склонность к литературе, читал стихотворения со вкусом и толком и сам писал стихи, которые весьма ценились его товарищами. Роберт очень приятно пел (талант, которого я никогда не проявлял), имел сведения по практической механике и, будучи в хорошем расположении духа, умел отлично рассказывать о своих похождениях и о пережитых им опасностях. В дурном расположении он заставлял нас практически знакомиться с дисциплиною военного корабля и беспощадно дрался.
Джон Скотт, мой второй брат, года на три старше меня, находился на военной службе.
У меня была только одна сестра Анна, которую судьба избрала как бы мишенью для своих ударов. Детство ее отличалось тем, что она с трудом спасалась от самых необыкновенных случайностей и опасностей. Я помню, как калитка в Сен-Джорджском сквере, захлопнувшись от ветра, едва не раздавила ей руку. В другой раз она едва не утонула в пруду, или яме с водою, в том же сквере. Но самым несчастным случаем, произошедшим с нею в то время, когда ей только что минуло шесть лет и, тем не менее, бывшим впоследствии причиною ее смерти, было то, что однажды загорелся ее чепчик. Она находилась одна в комнате, и раньше, чем могла подоспеть помощь, ей сильно опалило голову. После продолжительной и опасной болезни она выздоровела, но никогда уже больше не была вполне здорова.
В 1801 году бедная Анна умерла после скоротечной болезни. Ее нрав, как и характер братьев, отличался некоторыми особенностями; она, пожалуй, была даже страннее других – вследствие оказываемой ей снисходительности. Будучи в сущности любящей и доброй девушкой, не лишенной способностей и нежных чувств, она жила в идеальном мире, созданном ее воображением. Анна была на год моложе меня. За нею следовал брат Томас. Последний и самый несчастный из нашей семьи был мой младший брат, Даниэл. Отличаясь тем же отвращением к труду, или, лучше сказать, тою же упорною беспечностью, что и все мы, он не обладал ни быстротою ума, могущею заменить недостаток прилежания, ни гордостью, заставляющею предпочитать зависимости и пренебрежению самый ненавистный труд. Его жизнь была настолько печальна, насколько этого следовало ожидать при таком грустном сочетании условий; после нескольких попыток пристроиться он умер по возвращении из Вест-Индии