Проте з появою Yahoo та AOL у мережі накопичувалися мільярди та мільярди бітів і байтів інформації, що потребувало збільшення пам’яті й потужності обчислень, щоб дати їм раду. І люди взялися сполучати комп’ютери. З’єднання двох комп’ютерів дає змогу зберегти вдвічі більше інформації й удвічі швидше її обробити. Через здешевлення завдяки закону Мура дисків і процесорів ПК бізнес-спільнота зрозуміла, що можна спорудити будинки завбільшки з футбольне поле, заповнити їх процесорами та твердими дисками від підлоги до стелі та одержати дата-центри.
Проблема полягала в тому, сказав Каттінг, як сполучити диски та процесори, щоб вони скоординовано зберігали велику кількість даних та обчислювали весь масив даних за спільної паралельної роботи всіх процесорів. Важливо також було зберегти надійність. Якщо у вас один ПК, то збій на ньому може відбутися раз на тиждень, а якщо у вас 1000, то й збоїв буде в 1000 разів більше. Для цього й знадобилася одна програма, яка бездоганно з’єднає комп’ютери, а інша – щоб робити пошук у морі даних та виявляти патерни й ідеї. Інженери у Кремнієвій долині в таких випадках кажуть, що «залишається проблемка з програмуванням», наприклад: «Усі апаратні засоби в нас є – залишається тільки проблемка з програмуванням».
Ми можемо подякувати Google за те, що він надав обидві програми для масштабування пошукової справи. Справжня геніальність Google, за словами Каттінга, полягала «в описі системної пам’яті, що подавав тисячу дисків як один, і вихід із ладу одного не був помітний», а також у пакеті ПЗ для оброблення даних, що були в пам’яті, щоб уможливити їхнє подальше використання. Розробляти все це Google доводилося самотужки, бо тоді не було комерційної технології, що могла б задовольнити його запити щодо збереження, оброблення й пошуку світової інформації. Тобто Google довелося стати новатором, щоб створити потрібний світові пошуковий механізм. Проте ці програми він використовував лише для своєї справи, нікому не видаючи на них ліцензії.
Однак, за освяченою часом традицією програмістів, Google, пишаючись своїм витвором, вирішив поділитися основами з громадськістю. Тож він опублікував дві праці, у яких окреслював дві ключові програми, що давали змогу одночасно накопичувати стільки даних і здійснювати в них пошук. У першій, що вийшла в жовтні 2003 року, описано розподілену файлову систему Google GFS (або Google File System). Це була система керування й доступу до великих масивів даних у кластерах на твердих дисках дешевих серійних комп’ютерів. Оскільки Google хотів організувати всю світову інформацію для збереження й доступу, ішлося про петабайти або й ексабайти (у кожному випадку це приблизно 1 квінтильйон, або 1 000 000 000 000 000 000 байтів даних).
І це привело до наступного винаходу Google – оприлюдненого у грудні 2004 року Google MapReduce. Google описує свій винахід як «програмну модель та програмний каркас для оброблення й генерування великих наборів даних… Програми, написані в цьому функціональному стилі, автоматично паралелізуються й виконуються