Die Ehefrau von Hans Jakob, Elisabeth Bünzli aus Bäretswil, stirbt bereits mit 45 Jahren. Von den fünf Kindern überleben drei, Sohn Heinrich (1830–1907) übernimmt das väterliche Erbe. In einem umfangreichen Auskaufsvertrag wird das Erbe detailliert aufgelistet. Die beiden Schwestern werden mit je 500 Franken für ihren Verzicht auf die Realteile entschädigt. Der vergleichsweise stattliche Hof bleibt also ungeteilt – eine gute Voraussetzung für die Zukunft der bescheidenen Existenz. Kommt hinzu, dass der junge Bauer in den Folgejahren Torfland und kurz darauf ein Stück Ackerland zukaufen kann.
Doch dieses gedeihliche Fortkommen hin zu einem bescheidenen Wohlstand findet in der Nacht vom 20. auf den 21. April 1870 ein jähes Ende. Die Bewohnerinnen und Bewohner von Herschmettlen haben sich an diesem Mittwochabend nach dem Schulexamen und dem anschliessenden Umtrunk in den beiden Dorfwirtschaften noch kaum schlafen gelegt, als um halb 12 Uhr nachts das Feuerhorn ertönt. Im Oberdorf steht eine kleine Scheune in Flammen. Ein Anwohner hat das Feuer gelegt, wie sich später herausstellt. Angefacht durch einen kräftigen Westwind breiten sich die Flammen in Windeseile aus. Zuerst fängt das angrenzende Dreifamilien-Flarzhaus Feuer, in dessen mittlerem Teil «s’Zäche Felixe» wohnen. Sie können bloss ihr Leben retten, sonst aber fast nichts. Auch die hinter dem Haus stehende, noch nicht versicherte Scheune geht in Flammen auf. Das Vieh kann bis auf zwei Schweine mit nachbarlicher Hilfe gerettet werden. Noch bevor die auswärtigen Feuerwehren eintreffen, brennen vier weitere Häuser, und das oberste im Dorf beginnt ebenfalls Feuer zu fangen. Es findet in den alten, hölzernen Häusern mit ihren Schindeldächern allzu leichte Nahrung, und zu allem Übel dreht plötzlich der Wind. Ein kräftiger Föhn bläst das Flammenmeer und die herumfliegenden Holzstücke in Richtung Mittel- und Unterdorf. Bis über den zwei Kilometer entfernten Rebberg am Bernet hinaus seien brennende Teile in Richtung Oberottikon geflogen, berichten Augenzeugen. Erst als die grossen Pumpenspritzen aus Hombrechtikon, Rüti, Hinwil und Wetzikon eintreffen, kann das Feuer wirksam bekämpft werden. Der Doppelflarz im Mitteldorf, in dem später Jakob Zollingers Familie wohnen wird, beginnt ebenfalls zu brennen, kann dann aber vor der gänzlichen Zerstörung bewahrt werden.
Am Morgen bietet sich in Herschmettlen ein schreckliches Bild: 13 Wohnungen und 9 Scheunen liegen in Schutt und Asche. 42 Menschen fehlt das Dach über dem Kopf. Im ganzen Oberdorf stehen nur noch drei Häuser. Die Habseligkeiten sind fast alle verloren. Die beiden Söhne Heinrich Zollingers, Jakob und Rudolf, haben trotz ihrer Wache nicht verhindern können, dass gerettete Gegenstände während der Wirren der Nacht verschwanden: vertauscht, verloren, gestohlen. In den folgenden Wochen sammelt der Gossauer Pfarrer Kägi in den Nachbargemeinden Hilfsgelder für die Geschädigten. Bis Ende Juni kommen 4221 Franken zusammen, die an die Opfer des Brands verteilt werden. Auch Kleider und Lebensmittel werden gespendet. Die Schilderung dieser Brandnacht und von deren Folgen hat Jakob Zollinger in einem Kapitel seiner Herschmettler Chronik festgehalten. Er hat dazu zeitgenössische Dokumente und Zeitungsartikel beigezogen. Vor allem aber hat er in jungen Jahren noch mit einem Augenzeugen sprechen können. Rudolf Rüegg (1859–1951) hat die Brandnacht als Elfjähriger miterlebt.
All die obdachlos gewordenen Bewohnerinnen und Bewohner von Herschmettlen beginnen nach dem verheerenden Brand, eine neue Existenz aufzubauen. Die Familie Zollinger bezieht für mehrere Monate die Wohnung des Schulhauses im Mitteldorf. Die Brandreste werden abgetragen, die Fundamente entfernt. Keines der zerstörten Häuser wird am alten Standort wiederaufgebaut. Nur fünf der geschädigten Familien bleiben im Dorf, darunter «s’Zäche Felixe». Trotz einer nur geringen Versicherungsleistung gelingt es dem mittlerweile vierzigjährigen Heinrich, ein neues Haus mit Scheune aufzubauen. Er kauft dafür zwei Grundstücke, die sein eigenes umgeben. Wegen der finanziellen Notlage muss beim neuen Haus an allen Ecken und Enden gespart werden. Es wird vom Dürntner Baumeister Johann Jakob Hess gebaut und kostet lediglich 5500 Franken. Trotzdem muss es Heinrich sogleich an den Baumeister verpfänden. Auch in den Folgejahren ist Heinrich gezwungen, Schulden zu machen. Einmal sind es 200 Franken, zweimal sogar 1100 Franken.
Trotz der prekären Lage ist das Ehepaar Zollinger im Dorf sehr beliebt. Besonders Heinrichs Gattin, Esther Baumann (1828–1906), wird als gütige, liebevolle und intelligente Frau hochgeachtet. Sie schenkt den Nachbarskindern Trauben und Äpfel, und wenn Metzgete ist, werden Bittsänger – sogenannte Chrumbbeisänger – niemals abgewiesen. In ihren alten Tagen sitzt die rundliche Esther gern an der Sonne vor dem Haus. Dort gibt es Sträucher mit «Chruselbeeri» (Stachelbeeren) und «Sante Hanse Beeri» (Johannisbeeren), von denen sie im Herbst jeweils an die Kinder verschenkt, die es niemals wagen würden, von den Beeren zu stehlen.
In der Stube des neu gebauten Hauses stehen zwei Webstühle. An Wintertagen arbeiten daran Esther und ihr älterer Sohn Jakob. Vater Heinrich besorgt derweil zusammen mit dem jüngeren Sohn Rudolf das Vieh. Er ist ein ruhiger, zurückhaltender Mann, der sich aber durch Fleiss und grosse Gewissenhaftigkeit auszeichnet – Eigenschaften, die er seinen Nachkommen weitergibt und die bis tief ins 20.Jahrhundert hinein so etwas wie das weitherum bekannte und geschätzte Zollinger-Ethos bilden. Um die drückenden finanziellen Sorgen der Familie zu lindern, arbeiten die beiden Söhne nicht nur auf dem Hof. Rudolf hilft auf der Post Ottikon aus. Wegen unglücklicher Umstände verpasst es der hochintelligente junge Mann jedoch, nach dem Rücktritt von Statthalter Schaufelberger dessen Nachfolger auf der Post zu werden. Auch eine Försterstelle im Sennwald, die ihm ein festes Einkommen gesichert hätte, bekommt er nicht. Rudolf stirbt früh. Sein älterer Bruder Jakob arbeitet auf dem Landwirtschaftsbetrieb von Baumeister Hess in Dürnten. Weil er sich mit Reben bestens auskennt, wird ihm die Aufsicht über den Weinberg anvertraut. Besonders geschickt sind die beiden Zollinger-Brüder beim Turpen, dem Stechen von Torf. Zusammen mit dem Nachbarn Jakob Baumann, Stutze Schaagg genannt, kauft Vater Heinrich ein Stück Turpenland bei Betzholz. Doch kommt es bald schon zu Streitigkeiten, weil Stutze Schaagg angeblich immer die hochwertigeren Stücke an sich reisst. Die beiden Zollinger-Brüder führen ihr Brennmaterial mit einem Kuhgespann nach Hombrechtikon und Stäfa, wo sie es verkaufen. Aber auch das Herschmettler Schulhaus wird mit zollingerschen Turpen warmgehalten, wie eine Rechnung aus dem Jahr 1875 belegt.
Dank Fleiss und Geschicklichkeit kommt die Familie langsam aus ihrer finanziellen Bredouille heraus. Vater Heinrich kann an die Zukunft seiner beiden Söhne denken. 1891 kauft er im Herschmettler Mitteldorf gegenüber der Weinschenke für 10 500 Franken ein kleines Heimwesen dazu. Neben einem Flarzhausteil mit Stall und Scheune umfasst es mehrere kleine, weit verstreute Stücke Acker-, Wies- und Riedland. Es wird 1907 von Sohn Jakob übernommen und bleibt für vierzig Jahre die Heimat der Zollinger. Das nach dem Brand von 1870 neu erbaute, aber stark verschuldete Haus im Oberdorf hingegen wird verkauft, weil Rudolf es nicht übernehmen will. Esther und Heinrich sterben mit einem Jahr Abstand 1906 und 1907. An der Abdankung für Heinrich in der Kirche Gossau erinnert Pfarrer J.J. Frei an den schweren Schicksalsschlag von 1870 mit den Worten: «Weinend und händeringend standen sie am Tag nach dem Unglück am Grab ihrer Habe.»
Das