TOC

Update
Story
Janitor
scraper
WebGrep
Alt
Headless
OutilspourMD
Annoter
Linkscheckers
Tunnels
Archive
indexserveur
Textpocessing
via

Update

Dernière version ( #2024 )
https://liens.vincent-bonnefille.fr/?Jxnufg
( dncorpus )
j'ai mis au point un fichier #cli_bash
pour GRAV ( #grav_wordpress )
qui va chercher les liens dans les pages (sous-dossiers)

• EX/ A => B
  puis chercher le fichier/la page en question (liée) ( B )
  et indique dans la page ( B ) que ( A ) pointe vers elle
• https://gitlab.com/bonnebulle/grav_dn/-/blob/main/user/recursiv_mod.sh?ref_type=heads

Story

Je reprends ma prise de notes avec #dendron / #Zettelkasten
J'en suis pas à mon premier essai {bulle}
article de référence sur cette méth. de prise de notes

Je veux automatiser la mise en prod / publication
Je veux ajouter quelques fonctions "de base" qui font d'un (b)log un jardin...
... tel les /Backlinks/ (liens entre articles.notes connexes)
... ce que propose {cet article.lien.bulle}
--> https://sebastiandedeyne.com/adding-backlinks-to-a-github-wiki/
... avec le script /Janitor/

Backlinks, or bi-directional links, are becoming table-stakes for productivity apps since they’ve been popularized by Roam. It’s a simple …

Janitor

• https://github.com/andymatuschak/note-link-janitor
  -> forks https://www.npmjs.com/search?q=note-link-janitor
  -> FR : https://www.npmjs.com/package/@arthurperret/note-link-janitor-fr !

• https://github.com/whateverforever/zettelcon

Quelques alternatives et autres outils...
pour se balader de liens en liens,
de sites en sites
...

scraper

Un scraper c'est une automatisation de taches programmables permettant de visiter et inte agir avec une page web, sa structure ou des données. On peut ainsi simuler un clic, copier du contenu tel des liens (d'images ou hypertextes), faire une capture écran, etc.

Plusieurs approches...

WebGrep

va chercher du texte à la façon de /grep/
on pourrait ainsi lister les liens
se balader de l'un à lautre...

• https://webgrep.readthedocs.io
• (=) https://github.com/dhondta/webgrep
• (=) https://pypi.org/project/webgrep-tool/

(=/=) des variants

• https://github.com/LLazarek/webgrep

  wgrep.py

  -u URLS, --urls URLS Regexp for urls to search. By default all urls are searched.

wg (an other)

• https://github.com/JustinLovinger/webgrep

Alt

Recursive by rounds -R

• https://github.com/sichanghe/scraper

Spider

• https://github.com/spider-rs/spider

Headless

des navigateurs 'sans tête'
on intéragis sans afficher à l'écran la page
on a un accès textuel / via du code
( possible par terminal #cli_bash )

• https://github.com/lbarnkow/no_browser
• https://lib.rs/crates/surf
• https://lib.rs/crates/longboard
• https://github.com/http-rs/surf

Je suis aussi tombé sur des outils qui vont me servir dans la création des pages (et leurs interactions par backlinks...

Outils pour MD

toc

• https://github.com/KevinGimbel/mktoc

tag search <3

• https://lib.rs/crates/tagsearch

like dendron linked notes

• https://github.com/dj8yfo/meudeus

Annoter / pdf

extraire annotations pdf -> md <3

• https://github.com/0xabu/pdfannots

Hypothesis direct dans vsc

• https://open-vsx.org/extension/RavenscroftSoftware/md-hypothesis-sync

Search in PDF
pdfgrep

• https://pdfgrep.org

rga

• https://phiresky.github.io/blog/2019/rga--ripgrep-for-zip-targz-docx-odt-epub-jpg/

Links checkers

Vérifier la validité des liens
peut être utilile avec le scraper

chker

• https://github.com/lycheeverse/lychee

chker status

• https://lib.rs/crates/webpage-cli

Tunnels

Rendre accessible un site en devellopement local
au reste du web en créant un tunel

tunnels

• https://lib.rs/crates/tunnelto
• https://lib.rs/crates/localtunnel-server

Archive

Sauvegarde, téléchargement de pages

archive / dwl pages

• https://github.com/bcmyers/urls2disk
• https://github.com/mattgathu/duma
• https://lib.rs/crates/shirodl

index_serveur

afichier le contenu d'un dossier
mise en place d'un micro-serveur
j'utilisais http-server

• https://lib.rs/crates/dufs
• https://github.com/http-server-rs/http-server
• https://github.com/svenstaro/miniserve

Text pocessing

-> https://lib.rs/text-processing

• https://lib.rs/crates/textwrap
• https://lib.rs/crates/termimad
• https://lib.rs/crates/printpdf

via

• https://lib.rs/text-processing
• https://wiki.dendron.so/notes/2l54qrzcil50bufntojzbpo/

Cet outil me sert { ici, sur #shaarli } et dans ma #veille pour créer des aperçus de pages web.
Des captures écran (ou "instantanés") qui sont ensuite redimensionnées (thumbnails)

Me sert (et peut servir) : pour de la #sauvegarde / #archive :: #archéologie_num .

Mises à jour . ajouts
MAJ : ajout de détection des liens vidéo Youtube / Invidious #2021
MAJ : ajout d'une sauvegarde de 5 versions (par URL-page)
MAJ : ajout d'une version datée-titrée (incorporé à l'image)
MAJ : ajout de conversion img.jpg (+ base64) #2022
MAJ : gestion des accents, dé/en.codage (partiellement)
MAJ : ajout d'un lien incitatif de YT vers #.invidious
MAJ : gestion pour img.jpg, conv. selon dimensions

MAJ : fullpage + crop + thumb
https://liens.vincent-bonnefille.fr/?l3HsUg

Outils . fonctionnement
Mon serveur utilise #nodejs avec #Puppeteer ( #bot_scraper )
Pour éviter Chrome j'ai aussi essayé cutycapt
Je me suis inspiré de https://addons.mozilla.org/fr/firefox/addon/searchpreview/ ...

Limites
J'ai observé pas mal de modules se rapportant à /Puppeteer/ étaient liés à /PhantomJS/ ( dont le dev. est en pause et surtout l'installation sur Raspberrypi un poil unofficial (bidouille, build manuel...) pas top en matière de #durée_de_vie ...
Du coup j'ai repris une mini étude de marché des logiciels de "scrapping" permettant d'explorer le web #bot .... et je suis retombé sur : https://scrapy.org #<3 ( capture plus bas ) ... que j'avais utilisé en #2017 pour explorer le Darknet Tor... Du coup c'est une nouvelle piste, un autre angle d'attaque-recherche.

Résultats avec {cet} "outil maison"

! Awsome list #alternativeto
https://github.com/duyet/awesome-web-scraper

ArchiveBox (alternative)
(prêt à l'emploi) (un archive.org auto-hébergé/local)
Pour une offre prête à l'emploi (avec même une version application -avec Electron-) vous pouvez utiliser ArchiveBox https://liens.vincent-bonnefille.fr/?VvYV3w ...
Moi je l'utilise à nouveau pour de la sauvegarde de sites web
(ça crée une archive Warc / html avec ressources / pdf / capture partielle / ...)

Archivebox + Pupet

• Add ability to run JS scripts during archiving with Playwright/Puppeteer
  https://github.com/ArchiveBox/ArchiveBox/issues/51
  ( cacher modals / popups / cookies )

• Autoscroll before before archiving and take full-height screenshots
  https://github.com/ArchiveBox/ArchiveBox/issues/80

Aller plus loin (notes pupet)
Pistes plein écran ( auto scroll sur la hauteur )
https://blog.rasterwise.com/Puppeteer-Screenshot-Full-Page-Not-Working-Possible-Fixes-and-Alternatives
https://docs.browserless.io/blog/2018/02/22/large-images.html
https://www.titanwolf.org/Network/q/5c0608d1-34ae-4c37-ae1d-2192cbbc1cd0/y
https://zxc0328.github.io/2018/02/12/hdchrome-long-capture/

"Dans le jargon de la sécurité informatique, un honeypot est une méthode de défense active qui consiste à attirer, sur des ressources, des adversaires déclarés ou potentiels afin de les identifier et éventuellement de les neutraliser."

Projet de lutte contre le spam
https://www.projecthoneypot.org/

HP en #français, leur fonctionnement, les stratégies, quelques tutos #ressources
http://igm.univ-mlv.fr/~dr/XPOSE2009/botnets/honeypot.html

Liste d'HP en anglais
https://github.com/paralax/awesome-honeypots
https://www.smokescreen.io/practical-honeypots-a-list-of-open-source-deception-tools-that-detect-threats-for-free/

Original website http://www.no-home-like-place.com [DEAD]
--> Git https://nonlinearnarrative.github.io/no-home-like-place/

Airbnb is a global hotel filled with the same recurring items. Bed, chair, potted plant, all catered to our cosmopolitan sensibilities. We end up in a place that's completely interchangeable; a room is a room is a room.

An algorithm finds these recurring items and replaces them with the same items from other listings. By clicking them, you can jump between rooms and explore the global hotel. There are many homelike places.

Open-source
You can find the source code for the various tools we created and used to make this website on Github.

Workshop
Outcome of a week-long web scraping workshop led by Jonathan Puckey at Non-Linear Narrative, a masters programme at the Royal Academy of Art The Hague. "

GIT : https://github.com/nonlinearnarrative/no-home-like-place
GIT : https://github.com/nonlinearnarrative/scrape-airbnb ( scrape-airbnb )

Cours : Master #@Non_Linear_Narrative :
https://www.kabk.nl/en/programmes/master/non-linear-narrative
( #@Royal_academy_of_art_the_hague )

" Led by #@Jonathan_Puckey " :
https://puckey.studio #UX
( où il relate des projets aussi fun que pointer-pointer [Bulle] )

Je l'ai aussi retrouvé ici https://work.bnjmnearl.eu/projects/no-home-like-place/
( un site d'artiste #web.créatif ... avec plein de projets #fun )

Étrange de redécouvrir cet appartement infini en cette ère du #covid

A project by #@Joana_Moll

" Typically, a tracker is a piece of code placed within a particular website that allows to monitor and collect data on user behavior. For instance: a tracker can automatically know where a user is based, which computer they’re using, which sites have been visited before accessing a particular site, and which webpages will be accessed in the future – among other more detailed and personal information. The US is currently enforcing embargoes and sanctions against Cuba, Iran, North Korea, Sudan, Syria, and the Ukrainian region of Crimea. "

" This project has been developed as part of the web residency program — Blowing the Whistle, Questioning Evidence - curated by Tatiana Bazichelli for Solitude & ZKM. "

Web #résidence du ZKM

• http://webresidencies-solitude-zkm.com
• https://schloss-post.com/algorithms-allowed/ ( article )

J'aime beaucoup ce projet,
la mise en valeur des données, le scraping avec #tor

• Crée de la confusion à l'endroit de la propriété des données et de l'information
  à l'endroit des États représenté en ligne #www
• Ils ont en communs d'avoir leur code "occupé" par Google, en "sortant"
• Cela pose des questions de gouvernance #.p

quotes ( homepage project )

" a tracker can automatically know where a user is based, which computer they’re using, which sites have been visited before accessing a particular site "
" American IT giant, have been found within several websites owned by countries under US embargo "
" US is currently enforcing embargoes and sanctions against Cuba, Iran, North Korea, Sudan, Syria, and the Ukrainian region of Crimea "
" It is important to remember that these websites are stored inside hard disks placed in physical territories "
" "ALGORITHMS ALLOWED" unfolds as an ongoing investigation that reveals the many US tracking and online services embedded in websites representing US embargoed countries, thereby exposing the ambiguous relationship between code, public policy, geopolitics, economics, and power in the age of algorithmic governance. "

J'aime beaucoup ce que nous raconte les artistes dans cette vidéo
Elle révelle surtout la géométrie variable avec laquelle les "Darknets" sont traité... ou plutôt le principe de l' #obfu_secret fondamental aux banques et super-marchés connectés.
De tous ces espaces fermés, heureusement secrtes-privés...
ces réseaux réservés qui appartienet au DeepWeb parcequ'effectivement on ne peut les indexer, en tirer des données (au moins de la part de la concurence et certains #bot_scraper ( on omet un peu vite les traitements de données internes aux entreprises qui voudraient faire fructifier les données dormantes ou darkdatas... ). Mais oui, en effet le bot de Gogle ne va pas où il veut et c'est bien comme ça.
Bon bin des fois l'errreurrr est humaine et les portes s'ouvrent...

Que se passe t il quand on laisse les clefs de son compte banquaire à Internet ?
Quand on fait de cet espace symboliquement le plus privé et sécurisé, un espace de #intrusion_vulnérabilité volontaire ? Un #espace_public dans le #cyber_espace ? C'est ce que nous racontent ces deux artistes.
@Ferenc_Gróf and @Jean-Baptiste_Naudy

installation pour les RIAM 06 à Marseille en #2009
http://www.riam.info/06/indexb379.html
alt.vidéo : https://www.youtube.com/watch?v=qF1qPgM-WUo
( leur site est .dead http://www.societerealiste.net )