Questo è interessante.

Questa settimana, Reddit si è mosso per bloccare i motori di ricerca che non si chiamano Google dal crawling del suo sito, tramite un aggiornamento del file robot.txt che blocca i loro crawler.

Bing di Microsoft ha ora smesso di effettuare il crawling di Reddit, dopo un aggiornamento del file robots.txt della piattaforma avvenuto il 1° luglio, che essenzialmente rifiuta l’accesso a tutti i motori di ricerca non approvati, il che significa che i risultati di Reddit non verranno visualizzati da altri motori di ricerca.

Tranne, ovviamente, Google.

A febbraio Reddit ha firmato un accordo con Google per la fornitura di dati per un valore di 60 milioni di dollari all’anno, il che ha permesso a Google di aumentare il traffico verso le sue pagine e sembra che questo accordo abbia dato a Reddit la possibilità di stabilire un precedente per l’accesso ai dati, in quanto cerca di espandere il suo potenziale di guadagno.

Tuttavia Reddit afferma di non essere specificamente legato all’accordo con Google.

Secondo Reddit:

“Questo non è assolutamente legato alla nostra recente partnership con Google. Abbiamo discusso con diversi motori di ricerca. Non siamo riusciti a raggiungere un accordo con tutti, poiché alcuni non sono in grado o non sono disposti a fare promesse vincolanti per quanto riguarda l’uso dei contenuti di Reddit, compreso l’uso per l’IA”

L’addestramento dell’IA è stato un grande obiettivo per Reddit e X (ex Twitter), con molti dei primi progetti di IA che hanno sfruttato entrambe le piattaforme per ottenere input creati dall’uomo per i loro LLM. Sia X che Reddit hanno ora aumentato il prezzo dell’accesso alle loro API, al fine di garantire che i progetti di IA non traggano profitto dalle loro intuizioni, il che consente loro di avere un maggiore controllo sui progetti di IA a cui permettono di utilizzarle per le loro iniziative.

La mossa di Reddit di limitare l’accesso ai search scraper è in linea con lo stesso principio: Reddit sta cercando di implementare maggiori controlli sui propri dati per massimizzare i propri profitti.

Il che ha senso. Reddit, che ora è un’entità quotata in borsa, sta cercando di aumentare il valore per i suoi azionisti, come può, e costruire il suo business, attraverso vari mezzi, è fondamentale per la sua redditività a lungo termine.

I dati di Reddit sono molto preziosi, in quanto le sue comunità coprono una serie di argomenti di nicchia, fornendo approfondimenti umani e risposte a domande comuni sul web. Questo può aiutare a migliorare i chatbot e i sistemi di intelligenza artificiale, motivo per cui Google ha deciso di pagare Reddit per accedervi.

Sembra che Reddit stia cercando accordi simili con altri motori di ricerca e che, se questi non glieli forniranno, li taglierà fuori. Ciò danneggerà in qualche modo il traffico di Reddit, riducendo i link di riferimento, ma Reddit ha ovviamente deciso che tale impatto vale il rischio, al fine di attribuire un valore più elevato ai suoi dati.

Sarà interessante vedere se altre piattaforme seguiranno l’esempio e se Google e altri saranno costretti a fare accordi sui dati per mantenere l’accesso agli scraper. L’azienda con i dati più preziosi vincerà nella corsa all’intelligenza artificiale e Reddit ha sicuramente alcuni dei dati di migliore qualità disponibili; sarà interessante vedere se altre piattaforme ed editori cercheranno di valorizzare il loro accesso nello stesso modo.

Se ciò accadrà, molti progetti di IA più piccoli saranno esclusi dal mercato, in quanto i grandi player si assicurano preziose partnership sui dati e gli altri sono potenzialmente costretti ad addestrare e riaddestrare i loro modelli sui risultati generati dall’IA.

Questo porterà a risultati di qualità peggiore e a un minore utilizzo e, in definitiva, sembra che piattaforme come Reddit, Meta e X, che hanno un flusso costante di input da parte degli utenti, abbiano le carte in regola in questa gara.

Vedremo come andrà a finire.