English
Deutsch
Nederlands
Español
Français
Comment Usenet transporte les fichiers
Usenet a été conçu en 1980 pour de courts messages texte, et les serveurs de news font toujours tout transiter sous forme de texte. Une photo, un programme ou tout autre fichier est constitué de données binaires, et non de texte : avant de pouvoir voyager, il doit donc être converti en caractères pouvant circuler sans risque comme du texte. C’est pourquoi on appelle souvent les fichiers d’Usenet des binaires, et les groupes qui les transportent, des groupes binaires.
Pourquoi les gros fichiers sont découpés en de nombreux articles
Les serveurs de news limitent la taille d’un article, si bien qu’un gros fichier est réparti sur de nombreux articles, parfois des centaines, voire des milliers. Chaque morceau est publié séparément, avec son propre Message-ID et un numéro de partie dans sa ligne d’objet, comme « (12/240) », et votre lecteur de news remet les morceaux dans l’ordre. Grâce à ce découpage, une coupure de connexion ne vous fait perdre qu’un petit morceau, et non le fichier entier.
Petite histoire des fichiers sur Usenet
Au début, on encodait les fichiers avec uuencode, écrit par Mary Ann Horton à l’université de Californie à Berkeley en 1980, puis avec Base64, issu de la norme MIME pour les e-mails. Dans les deux cas, un fichier grossit d’environ un tiers. En 2001, Jürgen Helbing a publié yEnc, qui n’ajoute que 1 à 2 %, et dès 2003, il s’était imposé comme la méthode standard pour publier des fichiers sur Usenet.
Retour au sommaireEncoder les fichiers avec yEnc
L’encodage remplace chaque octet d’un fichier par des caractères qui voyagent sans risque sous forme de texte. yEnc y parvient avec un surcoût minime : un fichier de 100 Mo donne environ 101 à 102 Mo d’articles, contre 133 Mo ou plus avec les anciennes méthodes. Votre lecteur de news encode les fichiers quand vous publiez et les décode quand vous téléchargez : vous n’avez donc jamais à manipuler yEnc vous-même.
Les articles yEnc peuvent aussi contenir une somme de contrôle, appelée CRC32, qui permet à votre lecteur de news de repérer un morceau endommagé en cours de route.
En savoir plusÀ quoi ressemble yEnc dans un article
Ouvrez un article yEnc en texte brut : vous verrez une ligne commençant par =ybegin avec le nom et la taille du fichier, de nombreuses lignes de caractères qui semblent aléatoires, puis une ligne de fin =yend. Ces caractères sont les octets du fichier, décalés d’une valeur fixe pour pouvoir être envoyés sans risque sous forme de texte, et quelques caractères spéciaux sont marqués pour que les serveurs ne les interprètent pas de travers.
Réparer les fichiers avec PAR2
Parfois, quelques articles n’arrivent jamais. Ils ont pu expirer, être supprimés ou ne jamais atteindre le serveur de votre fournisseur. Les fichiers PAR2 (pour « parity archives », c’est-à-dire archives de parité) résolvent ce problème. La personne qui publie un fichier y joint un ensemble de fichiers de récupération, et votre lecteur de news peut s’en servir pour reconstruire les morceaux manquants ou endommagés.
PAR2 découpe les fichiers d’origine en blocs et s’en sert pour créer des blocs de récupération. Tant que vous disposez d’au moins autant de blocs de récupération que de blocs manquants, les fichiers peuvent être réparés. Les personnes qui publient ajoutent en général assez de données de récupération pour compenser une faible proportion de pertes, et votre lecteur de news n’en télécharge que ce dont il a besoin. Parchive, le système sur lequel repose PAR2, a été créé pour fiabiliser le partage de fichiers sur Usenet, et sa deuxième version a été publiée en septembre 2002.
Les outils de réparation
SABnzbd et NZBGet vérifient et réparent automatiquement les téléchargements. Si vous devez un jour réparer des fichiers vous-même, MultiPar pour Windows (le successeur de l’ancien QuickPar) et par2cmdline, qui fonctionne sous Windows, macOS et Linux, sont gratuits.
À retenir
yEnc fait tenir les fichiers dans des articles presque sans gaspiller de place, et les fichiers de récupération PAR2 peuvent reconstruire les morceaux perdus : quelques articles manquants ne gâchent donc pas un téléchargement.
Le rôle des fichiers NZB
Vous découvrez les fichiers NZB ? Notre tutoriel sur les fichiers NZB montre pas à pas comment en ouvrir un.
Un fichier NZB est un petit fichier texte au format XML qui liste le Message-ID de chaque article appartenant à un fichier publié. Il ne contient pas le fichier lui-même, seulement les indications pour le retrouver, un peu comme une liste de courses. Votre lecteur de news lit cette liste et demande chaque article au serveur de votre fournisseur grâce à son Message-ID.
Avant les fichiers NZB, il fallait télécharger les en-têtes de tout un groupe et sélectionner chaque partie à la main. Avec un fichier NZB, votre lecteur de news saute cette étape, ce qui est plus rapide et consomme beaucoup moins de données.
Les fichiers NZB proviennent généralement de la personne qui a publié les fichiers, et les outils de publication peuvent en créer un automatiquement. N’utilisez que des fichiers NZB issus de sources de confiance, pour des fichiers que vous avez le droit de télécharger.
En savoir plusLes éléments d’un fichier NZB
| Élément | Ce qu’il contient |
|---|---|
| file | Un fichier publié, avec le nom de la personne qui l’a publié, la date et l’objet du message |
| groups | Les newsgroups dans lesquels le fichier a été publié |
| segment | Un article : sa taille en octets, son numéro de partie et son Message-ID |
Notre vue d’ensemble présente un exemple schématique de fichier NZB complet.
Comment votre lecteur de news télécharge un fichier
- Lire le fichier NZBVotre lecteur de news dresse la liste de tous les articles dont il a besoin.
- Récupérer les articlesIl les télécharge chez votre fournisseur par plusieurs connexions simultanées.
- Décoder et vérifierChaque morceau est décodé depuis yEnc et vérifié pour repérer d’éventuels dommages.
- Réparer et extrairePAR2 comble les éventuelles lacunes, puis les fichiers sont extraits et prêts à l’emploi.
La vitesse de téléchargement dépend de votre ligne Internet et du nombre de connexions qu’ouvre votre lecteur de news ; Fast Usenet en autorise jusqu’à 50. La présence de tous les morceaux dépend de la rétention et de la complétion de votre fournisseur, deux notions que notre vue d’ensemble explique dans la partie serveurs, rétention et complétion.
Rassembler les morceaux
Avant de publier, on regroupe souvent les fichiers dans une archive, parfois découpée en plusieurs morceaux numérotés. Les logiciels de téléchargement comme SABnzbd et NZBGet les extraient automatiquement après une éventuelle réparation : vous retrouvez les fichiers d’origine, et le ménage est fait dans les morceaux restants.
Extraire les fichiers à la main
Si votre lecteur de news n’extrait pas les fichiers automatiquement, un outil d’archivage gratuit comme 7-Zip sous Windows peut ouvrir la plupart des formats d’archive.
Retour au sommairePublier vos propres fichiers
La publication de fichiers fonctionne de la même façon, mais dans l’autre sens. Un outil de publication, ou un lecteur de news capable de publier des fichiers, les encode avec yEnc, les découpe en articles, ajoute des fichiers de récupération PAR2 et publie le tout dans un groupe binaire adapté. Beaucoup d’outils créent aussi un fichier NZB que vous pouvez partager, pour que d’autres puissent télécharger votre publication en une seule étape.
On s’en sert pour partager des fichiers qu’on a le droit de partager, comme ses propres photos et projets, des logiciels open source et des contenus du domaine public. Chez Fast Usenet, la publication est activée sur demande pour éviter les abus : contactez d’abord notre équipe d’assistance, puis faites un petit essai avant toute publication volumineuse. Notre guide sur la publication et la nétiquette présente les règles de savoir-vivre.
Retour au sommaireQuestions fréquentes
Qu’est-ce qu’un newsgroup binaire ?
Un newsgroup consacré aux fichiers plutôt qu’à la discussion. Le nom de ces groupes contient généralement « binaries », et leurs messages sont des fichiers encodés sous forme de texte et répartis sur de nombreux articles.
Qu’est-ce que yEnc ?
L’encodage qu’Usenet utilise pour les fichiers depuis le début des années 2000. Il transforme un fichier en caractères pouvant circuler sans risque comme du texte, en n’augmentant sa taille que de 1 à 2 %.
À quoi servent les fichiers PAR2 ?
À réparer. Si certains articles d’un téléchargement manquent ou sont endommagés, votre lecteur de news peut utiliser les fichiers de récupération PAR2 publiés en même temps pour reconstituer les morceaux manquants.
Pourquoi un téléchargement échoue-t-il parfois ?
Généralement parce que certains articles manquent : ils sont peut-être plus anciens que la rétention de votre fournisseur, ou n’ont jamais été entièrement reçus. PAR2 peut réparer de petites lacunes, mais s’il manque trop de données, le fichier ne peut pas être reconstitué.
Quel lecteur de news utiliser pour les fichiers ?
Un logiciel de téléchargement conçu pour les fichiers NZB, comme SABnzbd ou NZBGet, tous deux gratuits et open source, ou GrabIt pour Windows, fourni aux membres de Fast Usenet avec la recherche incluse. Notre page consacrée aux lecteurs de news les compare.