Im Chastenloch überquert der alte Kirchweg von Rehetobel nach Trogen die Goldach. Er bildete für die Leute aus Rehetobel von 1459 (Bau der ersten Kirche in Trogen) und 1669 (Bau der Kirche in Rehetobel) den kürzesten Weg zum Besuch des Gottesdiensts.
Die Gebäude auf den beiden Bachseiten waren bis 1847/1880 Getreidemühlen und Bäckereien. Die Zu- und Abtransporte erfolgten über das Gern in der Gemeinde Speicher. Die Mühle auf der Trogner Seite wurde 1724 erbaut und um 1880 liquidiert. Die Wasserkraft der Goldach wurde bis ins frühe 20. Jahrhundert intensiv genutzt. Allein auf dem Appenzeller Abschnitt drehten sich 13 Wasserräder. Mit ihrer Hilfe wurden Getreide gemahlen, Baumstämme zersägt, Fäden gesponnen und gezwirnt, Stoffe gewoben und gewalkt, Gewehrläufe gezogen, Metallteile geschmiedet und geschliffen, Rinden und Anderes gestampft, Obst vermostet und Heilwasser gepumpt.
Die zeitweise auch eine Sägerei umfassende Mühle auf der Rehetobler Seite wurde 1663 erstellt. Hier wurde die Müllerei aufgegeben, nachdem im Juni 1847 ein Erdschlipf das Gebäude zerstört hatte. Die Bewohner konnten im letzten Moment entkommen. Gebacken wurde bis 1948, gewirtet bis 1983. Die letzte Wirtin erzählte, dass sie als Kind jeweils am Morgen rund 30 Pfund Brot ins Dorf trug und nach der Schule an die Kunden verteilte. Sie verliess das Chastenloch 2002, nachdem ein Hochwasser den Garten vor dem Haus zerstört hatte. Acht Jahre später eröffnete ihr Sohn Kurt die Wirtschaft wieder.
Einer Felsspalte am rechten Bachufer entsprang im Chastenloch lange Zeit eine schweflige Quelle. Sie wurde noch 1859 besonders im Mai, wenn ihre Schüttung am grössten war, genutzt. «Am frühen Morgen und des Abends vereinigten sich dabei oft 40 bis 50 Personen um zu trinken und Flaschen zu füllen.» Man empfahl das Wasser bei Kropf, Haut- und Harnleiden.
