Het artikel bespreekt het concept van langdurige toewijding en iteratie aan één specifiek idee om tot een meesterwerk te komen. Dit wordt geïllustreerd aan de hand van twee voorbeelden:
- Stephen Robertson: De computerwetenschapper die decennia besteedde aan het verfijnen van informatie-ontsluiting. Vanuit vroege inzichten in 1976 over de relevantie van unieke zoektermen, ontwikkelde hij via diverse tussenstappen uiteindelijk in 1994 het BM25-algoritme.
- Hokusai (Kanagawa): De kunstenaar die veertig jaar lang de structuren van de natuur bestudeerde voordat hij op 73-jarige leeftijd 'De Grote Golf van Kanagawa' schilderde, waarbij hij geloofde dat echt begrip en meesterschap pas op zeer hoge leeftijd worden bereikt.
Mensen die decennia lang aan hetzelfde idee werkten
1. BM25 en Stephen Robertson
Stephen Robertson is een computerwetenschapper die bekend staat om zijn werk aan probabilistische informatie-ontsluiting, wat uiteindelijk leidde tot BM25. In 1976, toen onderzoekers de relevantie van een document voor een zoekopdracht wilden bepalen, was de heersende intuïtie dat een document met een hoger aantal zoektermen relevanter was. Robertson en Sparck Jones toonden aan dat de relevantie van een document voor een zoekopdracht sterker afhankelijk is van of het woord onderscheidend is en uniek aanwezig is in relevante documenten.
Stel dat er 10 documenten zijn waarvan er 4 relevant zijn voor een zoekopdracht over elite marathonlopers zoals Kipchoge. Alle 10 documenten bevatten het woord "de". Alleen de 4 relevante documenten bevatten het woord "Kipchoge". Volgens hun artikel uit 1976 zou de term "Kipchoge" een zwaarder gewicht hebben dan "de", omdat het onderscheidend aanwezig is in de relevante documenten.
Het berekenen van het termgewicht vereiste destijds dat men vooraf wist welke documenten relevant waren, en hield geen rekening met de termfrequentie of de lengte van de documenten.
Uiteindelijk publiceerden Robertson en Walker in 1994 BM25, wat bestaat uit IDF × termfrequentie, gecorrigeerd voor lengte. Het neemt het concept van termgewichten uit 1976 over en voegt de aanname toe dat relevante documenten een fractie van een totale set zijn.
Er zaten tussenstappen in; er was bijvoorbeeld een artikel uit 1981 waarin hij termfrequentie incorporeerde. Al met al besteedde hij decennia aan het nadenken over zoekalgoritmen en informatie-ontsluiting.
2. De Grote Golf van Kanagawa
Weinig schilderijen hebben de tand des tijds zo goed doorstaan als de Grote Golf van Kanagawa. Het kostte Kanagawa 40 jaar voordat hij de golf schilderde waar hij het meest om bekend staat. Op 73-jarige leeftijd zei hij dat hij eindelijk de "onderliggende structuur van vogels en dieren, insecten en vissen, en de manier waarop bomen en planten groeien" begreep.
Hij voegde eraan toe: "Dus als ik mijn inspanningen voortzet, zal ik op mijn 80ste een nog beter begrip hebben, en op mijn 90ste zal ik tot de kern van de dingen zijn doorgedrongen. Op mijn 100ste bereik ik wellicht een niveau van goddelijk begrip, en als ik daarna nog decennia leef, zal alles wat ik schilder — stip en lijn — tot leven komen."
De ontwikkeling verliep over een lange periode:
- Op 33-jarige leeftijd (1792)
- Op 44-jarige leeftijd (1803)
- Op 46-jarige leeftijd (1805)
- Op 73-jarige leeftijd (1832)
Mensen die decennia lang aan hetzelfde idee werkten
1. BM25 en Stephen Robertson
Stephen Robertson is een computerwetenschapper die bekend staat om zijn werk aan probabilistische informatie-ontsluiting, wat uiteindelijk leidde tot BM25. In 1976, toen onderzoekers de relevantie van een document voor een zoekopdracht wilden bepalen, was de heersende intuïtie dat een document met een hoger aantal zoektermen relevanter was. Robertson en Sparck Jones toonden aan dat de relevantie van een document voor een zoekopdracht sterker afhankelijk is van of het woord onderscheidend is en uniek aanwezig is in relevante documenten.
Stel dat er 10 documenten zijn waarvan er 4 relevant zijn voor een zoekopdracht over elite marathonlopers zoals Kipchoge. Alle 10 documenten bevatten het woord "de". Alleen de 4 relevante documenten bevatten het woord "Kipchoge". Volgens hun artikel uit 1976 zou de term "Kipchoge" een zwaarder gewicht hebben dan "de", omdat het onderscheidend aanwezig is in de relevante documenten.
Het berekenen van het termgewicht vereiste destijds dat men vooraf wist welke documenten relevant waren, en hield geen rekening met de termfrequentie of de lengte van de documenten.
Uiteindelijk publiceerden Robertson en Walker in 1994 BM25, wat bestaat uit IDF × termfrequentie, gecorrigeerd voor lengte. Het neemt het concept van termgewichten uit 1976 over en voegt de aanname toe dat relevante documenten een fractie van een totale set zijn.
Er zaten tussenstappen in; er was bijvoorbeeld een artikel uit 1981 waarin hij termfrequentie incorporeerde. Al met al besteedde hij decennia aan het nadenken over zoekalgoritmen en informatie-ontsluiting.
2. De Grote Golf van Kanagawa
Weinig schilderijen hebben de tand des tijds zo goed doorstaan als de Grote Golf van Kanagawa. Het kostte Kanagawa 40 jaar voordat hij de golf schilderde waar hij het meest om bekend staat. Op 73-jarige leeftijd zei hij dat hij eindelijk de "onderliggende structuur van vogels en dieren, insecten en vissen, en de manier waarop bomen en planten groeien" begreep.
Hij voegde eraan toe: "Dus als ik mijn inspanningen voortzet, zal ik op mijn 80ste een nog beter begrip hebben, en op mijn 90ste zal ik tot de kern van de dingen zijn doorgedrongen. Op mijn 100ste bereik ik wellicht een niveau van goddelijk begrip, en als ik daarna nog decennia leef, zal alles wat ik schilder — stip en lijn — tot leven komen."
De ontwikkeling verliep over een lange periode:
- Op 33-jarige leeftijd (1792)
- Op 44-jarige leeftijd (1803)
- Op 46-jarige leeftijd (1805)
- Op 73-jarige leeftijd (1832)
Groetjes,