Мікрочипи, як ми вже зазначали, є зібранням дедалі більшої кількості транзисторів. Ці транзистори можна запрограмувати для обчислення, передавання даних або для пам’яті. Чипи пам’яті є двох основних різновидів: ДОП, або динамічна оперативна пам’ять, яка тимчасово порядкує бітами даних у процесі їхнього оброблення, та флеш-пам’ять, яка постійно зберігає дані при натисканні на «зберегти». У випадку чипів пам’яті закон Мура спрацьовує: ми постійно монтували дедалі більше транзисторів, що запам’ятовували більше на кожному чипі за менші гроші та споживали менше енергії. Сьогодні камера пересічного стільникового телефона має 16 гігабайтів пам’яті, що означає збереження 16 млрд байтів інформації (байт = 8 бітам) на чипі флеш-пам’яті. Десять років тому щільності флеш-пам’яті було недостатньо, щоб зберегти одну світлину в телефоні, – настільки все це прискорилось, прискоривши своєю чергою багато чого іншого.
«Без закону Мура тут не було б великих даних, – сказав старший науковий співробітник Intel Марк Бор. – У нас з’явилося більше пам’яті, інтенсифікувалося обчислення, а також ми одержали більше потужності, ефективності й надійності, потрібних центрам даних для забезпечення певної потужності обчислення. Якби ті центри користувалися ще вакуумними трубками, то для обслуговування одного центру знадобилася б гребля Гувера11».
Проте не лише апаратні засоби роблять великі дані великими. Ішлося також про новаторство у програмному забезпеченні, що стало найважливішим досягненням за минуле десятиріччя, про яке ви й не чули. Це ПЗ дозволило мільйонам комп’ютерів з’єднатися та працювати як одна машина, а пошук даних зміг вийти на рівень пошуку голки в сіні. Цього досягла компанія, яку її засновник назвав Hadoop «на честь» улюбленого іграшкового слоненяти свого дворічного сина, щоб зручніше було запам’ятовувати. Тож запам’ятайте назву: Hadoop. За потужної допомоги Google ця компанія взяла участь у змінюванні світу.
Батьком маленького хлопчика й засновником Hadoop був Дуґ Каттінг, який називає себе каталізатором у модернізації ПЗ. Каттінг зростав у сільській окрузі Напа в Каліфорнії й уперше побачив комп’ютер, коли 1981 року вступив до Стенфорду; там, щоб учитися, йому довелося позичити в інституту гроші. Дуґ вивчав лінгвістику, але прослухав курси з комп’ютерних наук і навчився програмувати, що йому «припало до душі». Він, крім того, побачив, що завдяки програмуванню зможе повернути борги за навчання. Тож до аспірантури він не пішов, а почав працювати в легендарному науково-дослідному центрі компанії Xerox у Пало-Алто, де його долучили до групи лінгвістів, які працювали над штучним інтелектом і відносно новою цариною, що називалася «пошук».
Люди забувають, що «пошук» як царина запитів був задовго до Google. Xerox пропустив бізнес-ринок ПК, хоча ідей на фірмі було чимало, розповідав