Иван Евменьевич Цветков, скромный служащий банка (постепенно выдвинувшийся в его руководители), заинтересовался русским искусством и, движимый примером П.М. Третьякова, решил собирать произведения русских художников. Но, не обладая возможностями Третьякова, он был вынужден ограничиться покупкой более доступных ему вещей – в его собрании было немало этюдов и подготовительных работ. Начал собирать он в 1880-х гг. и первые свои приобретения помещал в доме в Кривоарбатском переулке (№ 5). С ростом галереи Цветков задумался о постройке для нее специального здания и осенью 1898 г. приобрел на Пречистенской набережной пустопорожнее место, занятое складом мебельной фирмы «Тонет», «чудное по своему положению на берегу Москвы-реки, близ Кремля, близ храма Спасителя и близ шумного водопада бабьегородской плотины». Сам Иван Евменьевич в своих воспоминаниях, оставшихся неизданными и хранящимися в архиве, рассказывал, что он много лет изучал архитектуру русских зданий XVII в., надолго ездил в Ярославль и Ростов Великий, советовался с известными московскими архитекторами, но, в конце концов, «план дома и расположение комнат я составил себе сам, – вспоминал Цветков, – по своему вкусу и по своим потребностям, внешний же вид, все его четыре фасада сделаны по рисункам и указаниям моего доброжелателя художника В.М. Васнецова, по его же рисункам и указаниям сделаны все украшения дома, как изразцы, так и раскраска».
Техническую часть проекта и самого строительства, оконченного в мае 1901 г., обеспечивал, как видно, архитектор Б.Н. Шнауберт (или В.Н. Башкиров).
В 1909 г. И.Е. Цветков пожертвовал все свое собрание городу. В нем тогда насчитывалось почти 1500 рисунков и свыше 300 картин, но общедоступным музеем собрание стало только после кончины владельца (16 февраля 1917 г.). В доме сделали ремонт, и 16 августа 1917 г. комиссия городской думы во главе с И.Э. Грабарем приняла 429 живописных полотен, 1499 рисунков и 38 скульптур. В советское время, когда перетрясали всю систему музеев, цветковское собрание расформировали и передали экспонаты в различные музеи, а в доме разместили Музей восточных культур (до 1929 г.).
Современники неоднозначно отзывались и о доме, и о самом собирателе. Вот рассказ передвижника Я.Д. Минченкова о посещении галереи: «Дом Цветкова в русском стиле, дородный и тяжелый, олицетворял своего хозяина. Когда вы входили в вестибюль, навстречу появлялся сам Иван Евменьевич и ожидал вас на площадке лестницы, ведущей на второй этаж. На нем бархатный камзол, вроде боярского, а на голове расшитая золотом тюбетейка. Совсем Борис Годунов. Вечером хозяин зажигал электрический свет в люстрах второго этажа, показывая гостю свою галерею и давая объяснения». Известны и неблагоприятные отзывы М.В. Нестерова и И.Э. Грабаря, а восторженный и увлекающийся Илья Ефимович Репин воскликнул: «Еще один драгоценный