<< parle des extensions :   Readability > permet d’extraire manuellement le texte d’une page web et du concept général
et aussi
https://wydden.com/10-outils-pour-scraper-des-donnees-sans-coder-ou-presque/ (services en ligne, plugin, cadriciel)

# Web_scraping
https://fr.wikipedia.org/wiki/Web_scraping

# Solutions / cadriciels
https://fr.wikipedia.org/wiki/Scrapy (ligne de commande et Phyton) https://github.com/scrapy/scrapy
https://fr.wikipedia.org/wiki/Weboob (sites préréglés) http://weboob.org/modules http://planet.weboob.org/

https://linuxfr.org/news/weboob-sort-une-nouvelle-version-qui-va-vous-porter-chance
https://linuxfr.org/news/weboob-une-version-1-1-pour-son-sixieme-anniversaire
https://linuxfr.org/news/weboob-sort-une-nouvelle-version-qui-va-vous-porter-chance
https://www.pycon.fr/2017/programme.html#la-puissance-du-scraping-web-avec-weboob
https://www.pycon.fr/2017/programme.html#weboob-le-navigatueur

L'utilisateur qui cherche une boîte à outils s'oriente vers scrapy, et celui que veut du clé-en-main va vers weboob.
https://linuxfr.org/users/lebouquetin/journaux/extraction-de-donnees-du-web-introduction-a-scrapy-journal-bookmark (parle des deux dans les commentaires, Tuto, XPATH )
https://linuxfr.org/users/lebouquetin/journaux/pyjobs-un-job-board-pour-les-agreger-tous
https://fr.wikipedia.org/wiki/XPath (langage d'exploration)

https://fr.wikipedia.org/wiki/OutWit_Hub
https://pypi.org/project/scraperwiki/
https://pypi.org/user/scraperwiki/ (service en ligne uniquement ?)

# Navigateur web sans tête (sans interface graphique) scriptable utilisé pour automatiser des interactions avec des pages web
https://fr.wikipedia.org/wiki/Navigateur_sans_t%C3%AAte
https://fr.wikipedia.org/wiki/PhantomJS Le projet est abandonné en  2017 du fait de l'ajout du mode sans tête dans Chrome 59 et 60.
https://developer.mozilla.org/fr/docs/Mozilla/Firefox/Headless_mode

https://www.youtube.com/watch?v=JvaQ7kS2hEM&t=197s
https://www.automation-facile.fr/

https://fr.wikipedia.org/wiki/Selenium_(informatique)
https://en.wikipedia.org/wiki/Katalon_Studio https://github.com/katalon-studio
https://en.wikipedia.org/wiki/Comparison_of_GUI_testing_tools

# Extension navigateur
https://addons.mozilla.org/fr/firefox/search/?platform=Linux&q=Scraper&sort=users&type=extension
https://addons.mozilla.org/fr/firefox/addon/web-scraper (c'est aussi un service en ligne)
https://addons.mozilla.org/fr/firefox/addon/datascraper/
https://data-miner.io/ (Chrome)


# Autres
https://pypi.org/search/?q=scrap
https://pypi.org/search/?q=scrappe
https://pypi.org/search/?q=scrapper
https://pypi.org/search/?q=scraping
https://pypi.org/search/?q=scrapping

https://gitlab.com/search?search=scrap
https://gitlab.com/search?search=scrappe
https://gitlab.com/search?search=scrapper
https://gitlab.com/search?search=scraping
https://gitlab.com/search?search=scrapping

https://korben.info/extraire-des-donnees-structurees-partir-dun-pdf.html
https://fr.wikipedia.org/wiki/Aspirateur_de_site_web
https://fr.wikipedia.org/wiki/HTTrack
https://github.com/OWASP/Amass (liste les adresses d'un site)

Autre : http://jekyllrb.com/

# Voir aussi CMS sans config

GRAV  (import RSS fichiers opml uniquement)
https://framalibre.org/content/grav
https://github.com/getgrav/grav

Toutes les données sont stockées dans des fichiers xml. Une simple copie de fichiers permet de déplacer votre site sur une clé usb
https://pluxml.org/

# Autres
https://framalibre.org/tags/cms

# A Strasbourg  RSS
https://forum.arn-fai.net/t/flux-rss/527
https://liens.azqs.com/azqs/?searchtags=agenda
https://actu.azqs.com/strasbourg/p/i/?rid=65b78d32a0d79
https://liens.azqs.com/GeekNik/?searchtags=rss
https://liens.azqs.com/GeekNik/?searchtags=podcast

# Logiciels
https://framalibre.org/tags/lecteur-de-flux-rss
https://framalibre.org/content/p%C3%A9trolette
http://www.pearltrees.com/geeknik/applications-collection/id30907777
https://liens.azqs.com/azqs/?searchtags=rss  : Sélection des logiciels web à tester pour une éventuelle installation sur AZQS
http://atlasflux.saynete.net/index.htm (annuaire de flux)

# Autres
https://fabrica.inria.fr/index.html%3Fp=1113.html (Norme OPML)
https://zestedesavoir.com/articles/1947/comment-sorganise-ma-veille/
http://liens.azqs.com/GeekNik/?searchtags=rss
https://linuxfr.org/users/ysabeau/liens/ajouter-son-fil-mastodon-a-un-site-ou-blog-je-n-ai-pas-encore-essaye (RSS + fedivers)



# Concepts proches de la syndicalisation de données

Scraping (extraction de données) https://liens.azqs.com/GeekNik/?searchtags=scraping
Mqqt (internet des objets - iot) https://liens.azqs.com/GeekNik/?searchtags=mqtt
API :  https://liens.azqs.com/GeekNik/?searchtags=api
Web Sémantique (RDF - XML - URI - OWL -  DocBook - GML - ...)  https://liens.azqs.com/GeekNik/?searchtags=semantique

Fediverse : https://liens.azqs.com/GeekNik/?searchtags=fediverse

RSS https://liens.azqs.com/GeekNik/?searchtags=RSS
ical https://liens.azqs.com/GeekNik/?searchtags=ICAL
https://fr.wikipedia.org/wiki/Web_des_objets#Web_social
https://liens.azqs.com/GeekNik/?searchtags=sociaux

## Shaarli

# Rubrique picture Wall ou image
- Mots clef cliquable dans l'imagettes (pop up ?)
- Lien vers article, pas vers lien partagé (choix dans la Conf ?)
- Filtre mot clef via formulaire en haut
- Possibilité de trier par liste de site (permet de séparer rapidement les types de contenus : exemples Viméo, Dalymotion, LesTubes = Vidéo)
- Trier par types de format (image,vidéo,texte,pdf)
- Bug : Vimeo
- Vignette auto

# Copie
- Bouton archive.org (enregistrer et voir)
- Bouton Vers Peerltrees
- Bouton vers agrégateur
- Bouton réseaux sociaux

# intégration web
- Menu configurable pour intégration dans site (menu tout en haut avec possibilité de bannière )
- Unifier ou créer habillage pour Sharli / lecteurs rss / annuaires de liens

# Mots clefs
- Bug Javascript en HTTPS : Plus de présentation des anciens mots clefs lors du remplissage
- Classement complet des Tags Cloud : nombre d’occurrence, alphabétique, majuscules
- Mots clefs en standard bibliothèque ?
- Rubrique spéciales auto-proposées (max 10) elle seraient ensuite affichées dans un menu (via conf ou si plus de 20) -
ou par mots clefs en majuscule RUBRIQUE et sous rubrique majuscule et _SOUSRUBRIQUE
- Lecture auto texte distant ou/et local et proposition de mots clef
- Edition mots clef rapide (dans la barre du bas)


# Sélection détentions à tester

https://github.com/immanuelfodor/shaarli-custom-css
https://github.com/Kdecherf/shaarli-hacker
https://github.com/ilesinge/shaarli-related
https://github.com/kcaran/shirley-template
https://github.com/kcaran/shaarli-plugin-colorscheme

##  Fresh RSS
https://github.com/FreshRSS/FreshRSS/issues/created_by/filougeeknick
- A demander
Créer 5 niveaux d'articles : privé/minimisé/normal/surligne/entête (puis utilisation en mise en page )

# voir aussi
http://liens.azqs.com/azqs/?searchtags=rss

Et aussi
# annonces Média
http://www.liberation.fr/futurs/2017/04/15/mastodon-le-charme-des-endroits-d-internet-ou-on-arrive-en-premier_1562805 (Plus grand publique avec liste de hub/instances)
https://framablog.org/?s=mastodon
https://www.blog-nouvelles-technologies.fr/?s=mastodon

# Liste actualisés de hub
https://instances.social/list/old
Liste des Chatons
https://www.chatons.org/search/by-service?service_type_target_id=All&field_alternatives_aux_services_target_id=All&field_software_target_id=266&field_is_shared_value=All&title=
https://joinmastodon.org/
https://joinmastodon.org/servers

# Documentation
https://docs.framasoft.org/fr/mastodon/index.html (utilisateurs)
https://github.com/mastodon/mastodon (DEV)
https://github.com/YunoHost-Apps/mastodon_ynh (YNH DEV)
https://fr.wikipedia.org/wiki/Mastodon_%28r%C3%A9seau_social%29 (généralités)

# Info plus
http://liens.azqs.com/GeekNik/?searchtags=fediverse
https://fr.wikipedia.org/wiki/Microblog
https://fr.wikipedia.org/wiki/Fediverse
https://linuxfr.org/news/alternatives-pour-un-reseau-social-familial  (différentes solutions de cloud pour communiquer, échanger avec les autres membres de sa famille.)

"Le serveur (noyau et ses plugins) est développé en PHP, les interfaces peuvent être développées de plusieurs
manières avec plusieurs langages tant qu’elles respectent le protocole JSON du serveur.
Le serveur utilise une base sqlite (fichier unique) et peux fonctionner sous apache, lighttpd ou nginx,...
Le serveur communique avec les clients par socket sur le port 9999 par défaut"
http://blog.idleman.fr/du-nouveau-chez-yana/

# Autres trucs
>Zoneminder est une solution open source efficace de vidéosurveillance, acceptant des sources vidéo analogiques (connectées via une carte d'acquisition), des webcams ou encore des caméras réseau. Il est capable d'envoyer les images capturées sur un serveur déporté via FTP ou SMTP (mail)
http://doc.ubuntu-fr.org/zoneminder
> Motion est un logiciel de détection vidéo et qui permet de diffuser un flux vidéo via internet par le protocole HTTP
http://doc.ubuntu-fr.org/motion
> ça discute
http://forum.hardware.fr/hfr/HardwarePeripheriques/webcam-camera-ip/logiciels-camera-gratuit-sujet_58445_1.htm

Voir aussi
https://www.abavala.com/matrix-voice-plate-forme-de-reconnaissance-vocale-open-source/

# Test du système tls/ssl du navigateur
https://www.ssllabs.com/ssltest/viewMyClient.html

# Tentatives de sécurisation
https://addons.mozilla.org/fr/firefox/addon/dnssec-validator/
https://addons.mozilla.org/fr/firefox/addon/ssleuth/
https://addons.mozilla.org/fr/firefox/addon/certificate-patrol/
Petite liste tiré d'ici :
https://blog.imirhil.fr/2015/12/08/extensions-vie-privee.html

# OVH s’engage auprès de Let’s Encrypt pour la fourniture gratuite de certificats SSL
https://www.ovh.com/fr/news/cp2056.ovh_sengage_aupres_de_lets_encrypt_pour_la_fourniture_gratuite_de_certificats_ssl#xtor=ES-4-[news]-20151208-[hosting-guide-btn]

ATTENTION :
Ne change pas votre IP et pas utile contre les boites noirs qui sniffent les protocoles DPI.
Cette extension est a utiliser avec d'autres techniques.

L'extension génère aléatoirement des infos comme la résolution d'écran, l'OS, la timezone ou encore la langue, mais vous pouvez aussi préciser vous-même si vous souhaitez que la liste des plugins soit désactivée ou si vous acceptez ou pas d'utiliser les polices du système pour le rendu des pages web.

# Pour vous protéger des réseaux sociaux et de Google et Bing et des boites noir françaises il faut :

- Ne jamais surfer sur le même navigateur
(cookies, numéro de série du navigateur si Chrome, services "aides" à la navigation espions, antivirus curieux et  autres méthodes peut connues https://liens.azqs.com/GeekNik/?esC50Q )
- Utiliser un VPN pour changer l'IP
- Le plus simple est de faire les préréglage dans des SESSIONS différentes. Ce qui est de toute façon pratique pour la gestions de ses liens spécifiques. DONC : deux vies deux sessions, trois vies trois sessions.
-  ET à utiliser AVEC les outils du site ayant les mots clefs - masque ou masquage discret.

# Voir aussi l’extension Useragent Switcher
https://mybrowseraddon.com/useragent-switcher.html#faq

# Puis tester avec les services en ligne
https://liens.azqs.com/GeekNik/?v37mwQ

# N’oubliez pas
Il faut être DISCRET, se CAMOUFLER, se MASQUER, POUR être ANONYME
Pour se faire aider à  Strasbourg : http://azqs.com/GeekNik/2018/10/18/selbst-gemacht-2018-reprendre-la-main-sur-son-informatique-via-les-logiciels-et-os-libres/

<< Tester son anonymat  en ligne (web)
# IP simple (suffisant pour une protection via les proxy )
http://www.localiser-ip.com/ ( + Répertoire de serveurs proxy )
http://www.mon-ip.com/
>> Test de contournement via la france
https://www.youtube.com/watch?v=imRQCr5xNZM

# IP + info sys  (pour les VPN et TOR)
https://ipleak.net/
http://ipduh.com/anonymity-check/ + outils résaux
https://amiunique.org

# P2P
http://nextwarez.com/vpn-fonctionne-correctement-doileak/

> Test Fingerprinting web
http://fingerprint.pet-portal.eu/?lang=en
https://panopticlick.eff.org/

## Outils d'analyse du trafic réseaux sous linux
https://liens.azqs.com/GeekNik/?CEaOXg

## N’oubliez pas
Il faut être DISCRET, se CAMOUFLER, se MASQUER, POUR être ANONYME

< Licence, localisation, techno
Autre liste avec petits commentaires
http://www.jebossedansleweb.com/15-moteurs-recherches-alternatifs-google/
# Et Aussi liste de moteurs alternatifs
> Framabee, le (méta-)moteur qui va vous butiner le web ( à base de Searx )
+ liste de moteurs alternatifs
http://framablog.org/2015/05/05/framabee-le-meta-moteur-qui-va-vous-butiner-le-web/
> Article sur Seeks (méta-moteur en p2p )
http://tuxicoman.jesuislibre.net/2011/01/seeks-vers-un-moteur-de-recherche-libre.html
>> liste en bas du site, des moteurs partenaires de cet annuaire
http://www.dmoz.org/World/Fran%C3%A7ais/Informatique/Internet/Recherche/R%C3%A9pertoires/DMOZ/
https://fr.wikipedia.org/wiki/DMOZ