La nuova BBS è in fase Alpha. I post precedenti al 22 luglio 2024 potrebbero non essere trasferibili, ma rimarranno disponibili per la lettura su /old/.

Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.

Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).

Today in web crawler development:

2 Post 2 Autori 5 Visualizzazioni

Effettua l'accesso per rispondere

A Questo utente è esterno a questo forum

amin@polymaths.social
ultima modifica di
Today in web crawler development:
- XHTML is now supported as a webpage type
- Links to blocked domains are properly skipped instead of throwing errors
- I rolled my own sitemap parser because the library I had used was slooooooow and just using lxml is so much faster, particularly with such a simple task
Only six TODO comments remaining on the crawler!
S 1 Risposta Ultima Risposta
Rispondi Cita 0
S Questo utente è esterno a questo forum

steffo@a.junimo.party @amin@polymaths.social
ultima modifica di

@amin XHTML pages still exist? :O
1 Risposta Ultima Risposta
Rispondi Cita 0

1 / 1