<< parle des extensions :   Readability > permet d’extraire manuellement le texte d’une page web et du concept général
et aussi
https://wydden.com/10-outils-pour-scraper-des-donnees-sans-coder-ou-presque/ (services en ligne, plugin, cadriciel)

# Web_scraping
https://fr.wikipedia.org/wiki/Web_scraping

# Solutions / cadriciels
https://fr.wikipedia.org/wiki/Scrapy (ligne de commande et Phyton) https://github.com/scrapy/scrapy
https://fr.wikipedia.org/wiki/Weboob (sites préréglés) http://weboob.org/modules http://planet.weboob.org/

https://linuxfr.org/news/weboob-sort-une-nouvelle-version-qui-va-vous-porter-chance
https://linuxfr.org/news/weboob-une-version-1-1-pour-son-sixieme-anniversaire
https://linuxfr.org/news/weboob-sort-une-nouvelle-version-qui-va-vous-porter-chance
https://www.pycon.fr/2017/programme.html#la-puissance-du-scraping-web-avec-weboob
https://www.pycon.fr/2017/programme.html#weboob-le-navigatueur

L'utilisateur qui cherche une boîte à outils s'oriente vers scrapy, et celui que veut du clé-en-main va vers weboob.
https://linuxfr.org/users/lebouquetin/journaux/extraction-de-donnees-du-web-introduction-a-scrapy-journal-bookmark (parle des deux dans les commentaires, Tuto, XPATH )
https://linuxfr.org/users/lebouquetin/journaux/pyjobs-un-job-board-pour-les-agreger-tous
https://fr.wikipedia.org/wiki/XPath (langage d'exploration)

https://fr.wikipedia.org/wiki/OutWit_Hub
https://pypi.org/project/scraperwiki/
https://pypi.org/user/scraperwiki/ (service en ligne uniquement ?)

# Navigateur web sans tête (sans interface graphique) scriptable utilisé pour automatiser des interactions avec des pages web
https://fr.wikipedia.org/wiki/Navigateur_sans_t%C3%AAte
https://fr.wikipedia.org/wiki/PhantomJS Le projet est abandonné en  2017 du fait de l'ajout du mode sans tête dans Chrome 59 et 60.
https://developer.mozilla.org/fr/docs/Mozilla/Firefox/Headless_mode

https://www.youtube.com/watch?v=JvaQ7kS2hEM&t=197s
https://www.automation-facile.fr/

https://fr.wikipedia.org/wiki/Selenium_(informatique)
https://en.wikipedia.org/wiki/Katalon_Studio https://github.com/katalon-studio
https://en.wikipedia.org/wiki/Comparison_of_GUI_testing_tools

# Extension navigateur
https://addons.mozilla.org/fr/firefox/search/?platform=Linux&q=Scraper&sort=users&type=extension
https://addons.mozilla.org/fr/firefox/addon/web-scraper (c'est aussi un service en ligne)
https://addons.mozilla.org/fr/firefox/addon/datascraper/
https://data-miner.io/ (Chrome)


# Autres
https://pypi.org/search/?q=scrap
https://pypi.org/search/?q=scrappe
https://pypi.org/search/?q=scrapper
https://pypi.org/search/?q=scraping
https://pypi.org/search/?q=scrapping

https://gitlab.com/search?search=scrap
https://gitlab.com/search?search=scrappe
https://gitlab.com/search?search=scrapper
https://gitlab.com/search?search=scraping
https://gitlab.com/search?search=scrapping

https://korben.info/extraire-des-donnees-structurees-partir-dun-pdf.html
https://fr.wikipedia.org/wiki/Aspirateur_de_site_web
https://fr.wikipedia.org/wiki/HTTrack
https://github.com/OWASP/Amass (liste les adresses d'un site)

https://fr.wikipedia.org/wiki/Magasin_de_musique_en_ligne
https://fr.wikipedia.org/wiki/Podcasting
https://fr.wikipedia.org/wiki/Catégorie:Webradio/

https://fr.wikipedia.org/wiki/R%C3%A9seau_de_diffusion_de_contenu ( Pour une auto distribution massive)
https://fr.wikipedia.org/wiki/Mod%C3%A8le:Palette_Plateformes_de_distribution_en_ligne ( Distribution via plateformes externes)
https://fr.wikipedia.org/wiki/Distribution_num%C3%A9rique

# Son (podcast et musique)

! https://podcloud.fr/ ? "podCloud est principalement reconnu pour son imposant catalogue de podcasts francophones, notamment de radio à la demande" https://fr.wikipedia.org/wiki/PodCloud
"Les podcasts créés sur podCloud sont compatibles avec 100% des applications et plateformes de podcast, et diffusés automatiquement sur celles-ci après leur référencement."

! https://anchor.fm/ - ((hébergement + stat + diffusion (Spotify, Apple Podcasts, Pocket Casts, Overcast) ) - https://siecledigital.fr/2020/12/04/anchor-spotify-podcasts/
https://www.breaker.audio -
https://open.spotify.com - https://siecledigital.fr/2021/10/27/spotify-q3-2021/

! https://www.acast.com/fr (Hébergement + régie pub + stat + hébergement + diffusion Apple Podcasts, Amazon Music, Spotify, Soundcloud, YouTube ) https://www.blogdumoderateur.com/tools/acast/
! https://simplecast.com - (hébergement + stat + diffusion Apple Podcasts, Spotify ou encore Google Podcasts ) https://www.blogdumoderateur.com/tools/simplecast/
! https://fr.ausha.co  (hébergement + stat + diffusion)  https://www.blogdumoderateur.com/tools/ausha/

# Principalement musique

https://hearthis.at/ - https://fr.wikipedia.org/wiki/Hearthis.at
https://www.mixcloud.com - https://fr.wikipedia.org/wiki/Mixcloud
https://soundcloud.com - https://fr.wikipedia.org/wiki/SoundCloud#Articles_connexes
Audius https://cryptonaute.fr/audius-audio-le-projet-crypto-qui-explose/ (payement via Cryptomonnaie)

https://podcasts.apple.com ( uniquement un agrégateur ? )
https://castbox.fm ( uniquement un agrégateur ? )
https://podtail.com  ( agrégateur)
https://podmust.com/fr/ ( agrégateur)
https://podcasts.google.com (agrégateur)
https://podcasteo.fr/podcast/ (Agregateur de podcast féministe)
https://podcastfrance.fr/podcasts/ (agrégateur)
https://podcastaddict.com (agrégateur)
https://radiopublic.com - (uniquement agrégateur ? plutôt de langue anglaise)
https://www.pocketcasts.com - (uniquement agrégateur ? plutôt de langue anglaise)

https://www.audible.fr  ( Livres audio )
https://sybel.co/fr/  ( Livres audio )
https://www.lecture-audio.fr/ (Livres audio de philosophie libres et gratuits)
https://www.nextory.com/fr/  ( Via conseil sponso youtube)
https://nextory.com/fr ( Livres audio, ebooks, BD, journaux, magazines et séries audio )
https://liens.azqs.com/docteuruthe/?searchtags=podcast+site

# Musique Petit labels / libres
> Jamendo : Son catalogue musical est en écoute et en téléchargement gratuit et légal. vente de licences d'utilisation commerciale
https://fr.wikipedia.org/wiki/Jamendo
> Dogmazic est un site Web d'écoute et de téléchargement de musique libre, distribuée sous licence de libre diffusion. Il est géré par l'association française Musique Libre !
https://fr.wikipedia.org/wiki/Dogmazic
> Bandcamp est un magasin de musique en ligne qui s'adresse principalement aux artistes indépendants.
https://fr.wikipedia.org/wiki/Bandcamp

A tester
https://www.arteradio.com/

# autres infos podcast

https://www.lesinrocks.com/arts-et-scenes/5-plateformes-de-streaming-qui-vont-changer-votre-vie-133262-07-02-2018/
http://www.topito.com/top-15-des-meilleurs-sites-de-musique-gratuite
https://m.media-amazon.com/images/G/08/AudibleFR/fr_FR/img/site/mt/newsroom/Infographie_Audible_Opinionway_20170323._CB530686593_.jpg?pf_rd_p=e390cf2b-4b5c-443d-90e2-0c49b79b370f&pf_rd_r=KGT0MA7XE9M2VA3QEJQH&;

https://www.parispodcastfestival.com/
https://www.strategies.fr/actualites/marques/4054607W/le-boom-creatif-du-marche-du-podcast.html
https://www.strategies.fr/actualites/marques/4068204W/podcasts-une-plateforme-payante-pour-federer-une-offre-eparpillee.html (sybel.co)
https://larevuedesmedias.ina.fr/en-11-dates-cles-une-breve-histoire-du-podcast


# Réseaux sociaux et podcasts : le social audio :
https://siecledigital.fr/2021/04/15/social-audio-reseaux-sociaux-et-podcasts-les-nouveaux-enjeux/
https://www.agorapulse.com/fr/blog/audio-social/

"Un tel dynamisme est surtout imputable à trois labels de production qui ont pour point commun d'avoir été fondés et/ou d'être dirigés par des femmes"
https://www.strategies.fr/actualites/medias/4058600W/les-podcasts-une-affaire-de-femmes.html

Podcast natif ?
Quand on parle de podcasts, on a d’abord en tête les podcasts radio, ces émissions de réécoute de programmes diffusés à l’antenne. Le podcast natif, lui, n’a jamais été diffusé en radio. Il s’agit de programmes audio créés par des sociétés de médias ou des indépendants diffusés directement sur le web via des plateformes dédiées (source Audible )

# Ici et pas loin

https://liens.azqs.com/GeekNik/?searchtags=multimedia
https://liens.azqs.com/filoumascarade/?searchtags=site+musique (contenu)
http://liens.azqs.com/filoumascarade/?searchtags=son+SITE (contenu)
https://liens.azqs.com/filoumascarade/?searchtags=webradio (contenu)
https://liens.azqs.com/docteuruthe/?searchtags=podcast+site (contenu XY)

# Diffusion Numérique ?

https://fr.wikipedia.org/wiki/Distribution_num%C3%A9rique
https://fr.wikipedia.org/wiki/Vidéo_à_la_demande
https://fr.wikipedia.org/wiki/R%C3%A9seau_de_diffusion_de_contenu ( Pour une auto distribution massive)
https://fr.wikipedia.org/wiki/Mod%C3%A8le:Palette_Plateformes_de_distribution_en_ligne ( Distribution via plateformes externes)
https://en.wikipedia.org/wiki/Comparison_of_video_hosting_services

## Auto distribution via plateformes externes

# p2p multi sites (peerTube)
https://liens.azqs.com/GeekNik/?searchtags=peertube

# P2P mono sites
https://d.tube/ (Blockchain ? protocole IPFS)
https://odysee.com/ (LBRY  protocole utilisé pour construire la blockchain.) https://fr.wikipedia.org/wiki/Odysee
https://www.bitchute.com/ (anglophone et p2P centralisé) https://fr.wikipedia.org/wiki/BitChute

# Vidéo : Auto diffusion centralisée -  Distribution via plateformes externes
http://youtube.fr (le leader)
https://vimeo.com/fr/ (vidéo privative possible - artistes)
Dailymotion : https://www.dailymotion.com/fr (France - actu et autre)
Flickr : https://fr.wikipedia.org/wiki/Flickr (vidéos d'une durée maximale de 90 secondes. )
https://www.facebook.com/watch
https://crowdbunker.com (...)

Twitch : https://fr.wikipedia.org/wiki/Twitch (USA - Direct / live publiques - Amazon)
Dlive https://en.wikipedia.org/wiki/DLive (Directe live publique)

https://odysee.com/ - https://en.wikipedia.org/wiki/LBRY (P2P centralisateur)
https://rumble.com/ (Canada) https://en.wikipedia.org/wiki/Rumble_(website)
https://www.bitchute.com (USA - P2P centralisateur )
https://fr.wikipedia.org/wiki/Gettr ( plate-forme de médias sociaux )

https://fr.wikipedia.org/wiki/Discord_(logiciel)

## Voir aussi

# Ici et pas loin

https://liens.azqs.com/GeekNik/?searchtags=SITE+fediverse (infos technique)
https://liens.azqs.com/filoumascarade/?searchtags=site+vidéo (contenu)
http://liens.azqs.com/GeekNik/?searchtags=p2p  ( autres solutions p2p)

# Commande Réseau (sensible à la case)
ping - coucou c'est bon ? -  Windows/Linux

ipconfig - mon réseau et gestion cache DNS -  Windows
ifconfig - mon réseau et gestion cache DNS - Linux
nslookup sitewww - ip DNS local  + ip du sitewww -  Windows/Linux
dig - Permet de diagnostiquer les dysfonctionnements dans la résolution de nom.- Linux
host - test serveur DNS - Linux

traceroute   - par ou ça passe  - Linux
tracert  - par ou ça passe - Windows
arp - affiche la correspondance entre l' IP et l'adresse MAC - Windows/Linux
route - liste les interface réseaux et table itinéraires IP - Linux/Windows
netstat - tester la configuration du réseau, visualiser l'état des connexions - Windows/Linux

arp - affiche la correspondance entre l' IP et l'adresse MAC - Windows/Linux
nmap  quel IP sont ouvertes. Exemple pour le SSH :  nmap -p 22 192.168.XXX.XXX/24

netcat - Appelé le « couteau suisse du TCP/IP »
www-browser -  lance le navigateur ligne de commande installé
# Info + : Les outils de l'administrateur réseau
http://www.linux-france.org/prj/edu/archinet/systeme/ch03s03.html

# Outils d'analyse du trafic réseaux sous linux
https://liens.azqs.com/GeekNik/?CEaOXg

## Service réseaux en ligne
https://ipduh.com/
Test complet anonymat : https://liens.azqs.com/GeekNik/?v37mwQ

# Autres commandes
Récupération de fichiers : https://liens.azqs.com/GeekNik/?RRZ72g
Doublon de fichiers : https://liens.azqs.com/GeekNik/?6v6KcA
Commandes réseau : https://liens.azqs.com/GeekNik/?3GNULA
Analyse wifi : https://liens.azqs.com/GeekNik/?CEaOXg
Info Linux de base : https://liens.azqs.com/GeekNik/?0fXGkw

<<
" A l’origine de cette « communauté de certificats par défaut », les plateformes de développement fournies par les fabricants de composants, qui sont utilisés « tel que » par quasiment tous les producteurs de routeurs. "
../..
"L’étude énumère une sinistre ribambelle de risques : « Impersonation, man-in-the-middle or passive decryption attacks ». "
http://www.cnis-mag.com/routeurs-soho-troues-by-design.html

# Problème possible dans les Bios
- Exemple de Computrace
http://korben.info/computrace-lojack-absolute.html
- Routeur de marque Linksys ou Netgear, backdoor présente sur le port TCP/32764
http://korben.info/le-port-32764-ouvert-sur-les-routeurs-linksys-et-netgear-est-une-backdoor.html
- D-Link backdoor : remplacer le User Agent de votre navigateur par la chaine suivante : xmlset_roodkcableoj28840ybtide
Puis d’accéder à l'interface d'admin du routeur.
http://korben.info/backdoor-les-routeurs-d-link.html
- Tenda
paquet UDP reçu sur l'interface interne via le réseau filaire ou sans-fil et commençant par la chaîne w302r_mfg suivie du caractère nul = l'exécution privilégiée de n'importe quelle commande sur le système.
http://sid.rstack.org/blog/index.php/598-router-backdoor-reloaded

# moteurs de recherche (scan de ports,route, certificats)
>> Shodan
https://www.shodan.io (papa : John Matherly)
http://www.liberation.fr/futurs/2014/05/11/objets-connectes-tous-hackes_1015008
>> Censys
https://censys.io
Censys est un moteur de recherche qui collecte toutes les données qu'il peut sur les appareils connectés en IPv4 sur le net. Pour cela, il utilise le scanner de ports open source ZMap (+ ZGrab) et stocke tout ce qu'il récupère dans une base de données, qui est ensuite accessible via l'interface web, une API ou carrément des listings en texte brut à télécharger.
http://korben.info/moteur-de-recherche-objets-connectes.html

#cas concrets
>> Piratage de feux rouges, en 2006, à Los Angeles.
http://korben.info/piratage-de-voiture-de-telephones-et-de-feux-rouges.html
>> Le fabricant d’équipements réseau Juniper a détecté du «code non autorisé» dans un de ses systèmes d’exploitation. Des failles inquiétantes pour les clients. Explications.
Les failles affectent ScreenOS, le système d’exploitation qui équipe les routeurs pare-feu des gammes NetScreen, ISG et SSG.
http://www.liberation.fr/futurs/2015/12/21/espion-es-tu-la_1422269
http://www.zataz.com/oups-un-code-malveillant-dans-les-firewalls-juniper-networks/

#outils
- Wireshark : Analyseur de trafic  : dissecteurs de nombreux protocoles. Ces dissecteurs permettent de décoder les trames brutes du réseau afin de présenter les informations des protocoles dans un format humainement lisible.
- Portspoof est capable de simuler plus de 8000 fausses signatures
http://korben.info/embrouiller-les-scans-de-ports.html

# Import export et entubage
Journaliste américain Glenn Greenwald : la NSA piège de nombreux routeurs vendus par des firmes américaines (Cisco, Juniper, Dell) et destinés à l'export. D'autres équipements sont aussi concerné...
http://www.numerama.com/magazine/29353-nsa-routeurs-serveurs-backdoor.html

<< infos Wikipedia
YaCy (pour Yet another Cyberspace, homophone anglais de ya see (vous voyez)) est un moteur de recherche libre fonctionnant selon le principe d'un réseau pair à pair (P2P). Ce logiciel est développé en Java
Site officiel : http://yacy.net/fr/
# Critiques
http://www.numerama.com/f/118777-t-alternative-a-google-2-yacy.html
# infos installation
> http://philippe.scoffoni.net/yacy-un-moteur-de-recherche-peer-to-peer-sous-licence-libre-pour-remplacer-google/
> http://azqs.com/GeekNik/2016/01/03/test-du-moteur-de-recherche-yacy/
> Sous linux : http://doc.ubuntu-fr.org/yacy
Installation + Gestion des performances + Travailler avec plusieures instances :
http://www.christopher.compagnon.name/techno/yacy.html
> Ca parle français sur le forum officiel
http://www.yacy-forum.org/viewtopic.php?f=2&t=242&start=30
> Explications techniques
http://www.balluche.fr/?283/YACY-L-architecture-d-un-moteur-de-recherche-P2P


> Truc tompeur : http://www.yacy.fr

< Liste des "instances" Searx, Avec outils de vérification des certificats SSL
Sélection
https://searx.laquadrature.net/ (propose une recherche dans tor)
https://trouvons.org/ (par framasoft)
Explications détaillées : http://framablog.org/2015/05/05/framabee-le-meta-moteur-qui-va-vous-butiner-le-web/
#seeks
http://philippe.scoffoni.net/2-moteur-recherches-decentralises-libres-seeks-yacy-2/
> Installation d'une instance sous Linux
http://doc.ubuntu-fr.org/seeks
#Attention
https://tuxicoman.jesuislibre.net/2016/10/moteur-de-recherche-anonymes-attention-au-proxy-dimages.html

< description et configuration de Shaarlie

En ce qui concerne les possibilités de configuration, elles sont multiples. Tout se déroule dans data/options.php (le fichier n'existe pas, vous devez le créer) et s'organise de cette manière ../..

> http://www.framablog.org/index.php/post/2014/10/07/degooglisons-internet
> https://caliopen.org/about
> Cité : https://protonmail.ch/ il en parle : http://lesmoutonsenrages.fr/2014/06/19/proton-mail-enfin-un-service-email-garanti-100-sans-nsa/

<< Article explicatif + liste de testeur de serveurs proxy
Autre explications : https://fr.wikipedia.org/wiki/Proxy

# Les greffons conseillés par l'article pour configurer des serveurs proxy
https://addons.mozilla.org/fr/firefox/addon/foxyproxy-standard/
https://chrome.google.com/webstore/detail/proxy-switchysharp/dpplabbmogkhghncfbfdeeokoefdjegm?hl=fr

# Sites de liste de serveurs proxy testés régulièrement.
http://www.freeproxylists.net/fr/
http://www.ip-adress.com/proxy_list/
http://www.proxy4free.com/list/webproxy1.html
http://letushide.com/

# Web Proxy (service en ligne)
Moins efficaces, mais permets de contourner quelques restrictions géographiques sur certains sites. Ne marche pas si site en flash ou affichage Javascrips
Liste mise à jours ici  http://proxy.org
Explications détaillées : https://fr.flossmanuals.net/comment-contourner-la-censure-sur-internet/les-proxys-web/

# Tester son ip/proxy
http://liens.azqs.com/GeekNik/?v37mwQ

## Utilisateurs avancés

Si vous êtes Webmestre installez sur votre serveur l'un des script suivants :
SabzProxy : https://fr.flossmanuals.net/comment-contourner-la-censure-sur-internet/sabzproxy/
MiniProxy (hyper facile) : https://github.com/joshdick/miniProxy
PHProxy : http://sebsauvage.net/wiki/doku.php?id=phproxy
Et pour les sys admin : https://en.wikipedia.org/wiki/Tinyproxy (voir la liste en fin de wiki)

#Avoir sont détecteur de proxy actifs en ligne
http://www.seoblackout.com/2009/08/29/proxy/
http://korben.info/trouver-proxy.html

# Utiliser une machine perso distante (en ssh) pour faire un proxy
http://tuxicoman.jesuislibre.net/2015/03/proxy-web-avec-ssh.html

#N’oubliez pas
Il faut être DISCRET, se CAMOUFLER, se MASQUER, POUR être ANONYME