Tribunal de la sécurité sociale du Canada

Évaluer la lisibilité des décisions du Tribunal de la sécurité sociale

Méthodologie

Sur la base de la formation suivie par les membres, l’équipe de l’Évaluation du Tribunal a mis au point une méthode pour évaluer la lisibilité de décisions sélectionnées, en mettant l’accent sur la qualité de la structure des différents composants d’une décision et sur la façon dont celle-ci contribue à la lisibilité. Dans le cadre de cette étude, nous avons utilisé trois méthodes pour recueillir et analyser les données sur la lisibilité. D’abord, l’équipe de l’Évaluation a créé un tableau de pointage composé de 16 questions (15 questions dans la version française) visant à cerner et à analyser des éléments influençant la lisibilité qui, pour la plupart, avaient été abordés lors de la formation suivie par les membres. Le tableau de pointage était divisé en trois catégories (aperçu, structure et style), lesquelles comprenaient des éléments plus précis (voir les annexes A et B pour les tableaux de pointage complets). Le pointage a été calculé selon une échelle de pointage propre à chaque élément1.

L’équipe de l’Évaluation et les Services linguistiques du Tribunal ont travaillé ensemble pour lire et noter les décisions sélectionnées. L’équipe de l’Évaluation a ensuite analysé les données pour en dégager des tendances et des éléments communs, et pour comparer différents sous-groupes de membres (division, volet, langue officielle) et différentes périodes (avant et après la formation). L’étude n’a pas examiné de décisions interlocutoires et n’analysait pas la justesse des décisions.

En complément au tableau de pointage, un sondage a été envoyé en octobre 2020 à tous les membres afin de connaître leurs points de vue et leurs expériences par rapport à la rédaction en langage clair. L’annexe D présente le sondage et les réponses obtenues.

Enfin, l’étude a utilisé le test de lisibilité Flesch-Kincaid, une formule automatisée fréquemment utilisée pour mesurer la lisibilité d’un document. Cette formule ne calcule que des paramètres liés à la longueur des phrases et des mots et, pour cette raison, n’influence pas beaucoup les conclusions de l’étude, si ce n’est qu’elle attribue un niveau de lecture théorique à chaque décision.

L’échantillon

Répartition de l’échantillon

Au total, 189 décisions ont été analysées. Ces décisions faisaient partie des diverses catégories indiquées dans le tableau ci-dessous. (Une seule décision peut faire partie de plusieurs catégories.)

Catégorie Nombre de décisions
Anglais 140
Français 49
Division d’appel 21
Division générale – sécurité du revenu 101
Division générale – assurance d’emploi 67
Appelants représentés 76
Appelants non représentés2 113
Avant la formation 103
Après la formation 86

L’étude a analysé un échantillon de 189 décisions rendues en 2019 et 2020.

Deux décisions ont été choisies au hasard pour chaque membre anglophone, l’une rendue avant la plus récente séance de formation sur le langage clair de novembre 2019 et l’autre, après.

Du côté francophone, quatre décisions ont été choisies au hasard pour chaque membre, dont deux rendues avant la séance de formation sur le langage clair de février 2020, et deux après.

Nous avons tenté de prendre des échantillons de tous les membres. Toutefois, il se peut que nous n’ayons pas pu prendre d’échantillons de certains membres en raison de congés, de la disponibilité ou de la fin d’un mandat.

Résultats globaux

Diagramme en barres montrant les résultats globaux de l’évaluation de la lisibilité des décisions du Tribunal.
Version textuelle
Des scores plus bas indiquent des décisions difficiles à lire. Des scores plus élevés indiquent des décisions faciles à lire. La lettre « n » fait référence au nombre d'échantillons de décisions.

Pourcentage de décisions ayant obtenu moins de 5 points : 7 % (n = 14)
Pourcentage de décisions ayant obtenu entre 5 et 7 points : 22 % (n = 42)
Pourcentage de décisions ayant obtenu entre 8 et 10 points : 27 % (n = 51)
Pourcentage de décisions ayant obtenu entre 11 et 13 points : 27 % (n = 51)
Pourcentage de décisions ayant obtenu entre 14 et 17 points : 16 % (n = 31)

Une décision évaluée à l’aide du tableau de pointage pouvait obtenir un maximum de 17 points (16 dans la version française) et un minimum de -6 points3. Sur les 189 décisions, 16 % (n=31) étaient faciles à lire et ont obtenu un score de 14 à 17 points. Près de 30 % (n=55) étaient difficiles ou frustrantes à lire et ont obtenu un score de 7 points ou moins (voir tableau ci-dessus).

Quelles étaient les caractéristiques des décisions les plus faciles à lire? Puisque cette méthode est nouvelle, aucun objectif ou indice de référence n’ont été établis avant le début de l’étude. Ces décisions ont toutefois montré une compréhension claire des difficultés auxquelles font face les parties appelantes non représentées4, et pour les surmonter, elles présentaient un aperçu clair et simple et utilisaient un style d’écriture qui aidait le lecteur du début à la fin.

Ces 31 décisions faciles à lire n’avaient aucune corrélation avec un sous-groupe de membres en particulier. Elles ont été rédigées par 22 différents membres de chacun des trois volets, dans les deux langues officielles, et ont été communiquées à des parties appelantes qui étaient représentées et non représentées. Une analyse plus approfondie révèle des différences importantes en ce qui a trait à la lisibilité entre ces sous‑groupes selon les questions du tableau de pointage.

L’aperçu

Ce que nous avons mesuré

Chaque décision commençait avec une section Aperçu distincte, que nous avons évaluée selon quatre indicateurs :

  • A1. L’essentiel du récit est-il clair?
  • A2. La question principale que doit trancher la ou le membre est-elle énoncée de façon claire et précise?
  • A3. Des détails inutiles ont-ils été inclus?
  • A4. La décision ou le résultat sont-ils clairs?

Pourquoi nous avons évalué ces critères

Les membres du Tribunal ont suivi de la formation sur la rédaction selon une structure claire et logique. Au début de la structure de la décision se trouve l’aperçu. Un aperçu efficace prépare le lecteur à lire la décision rendue par la ou le membre en fournissant des faits contextuels et des renseignements essentiels.

Ce que les résultats indiquent

Tableau montrant les résultats de l’évaluation de l’aperçu.
Version textuelle
A1. L’essentiel du récit est-il clair? Oui, pour une personne non initiée
58%
Oui, pour une avocate ou un avocat
35%
Non
6%
A2. La question principale que doit trancher la ou le membre est-elle énoncée de façon claire et précise? Oui, pour une personne non initiée
42%
Oui, pour une avocate ou un avocat
25%
Non
32%
A3. Des détails inutiles ont-ils été inclus? Non
89%
Oui
10%
A4. La décision ou le résultat sont-ils clairs? Oui, pour une personne non initiée
69%
Oui, pour une avocate ou un avocat
19%
Non
13%

Forces

Diagramme en barres montrant le niveau de lisibilité des décisions en fonction des parties appelantes non représentées et des parties appelantes représentées.
Version textuelle
Parties appelantes représentés Parties appelantes non-représentés
A1: L’essentiel du récit est-il clair? 50% 64%
A2: La question principale que doit trancher la ou le membre est-elle énoncée de façon clair et précise? 34% 47%
A3: Des détails inutiles ont-ils été inclus? 85% 91%
A4: La décision ou le résultat sont-ils clairs? 67% 70%

Nous avons constaté que les aperçus rédigés après la formation sur le langage clair ont obtenu de meilleurs résultats que ceux rédigés avant la formation par une différence notable, voire importante, de 4 à 14 %, selon la question. Les membres semblent avoir confirmé cette tendance en affirmant unanimement dans le sondage que leurs motifs étaient maintenant plus faciles à lire (60 % beaucoup plus faciles à lire, 40 % plus faciles à lire) depuis leur formation.

De façon semblable, les aperçus rédigés pour les parties appelantes non représentées ont obtenu des notes légèrement meilleures que ceux qui avaient été rédigés pour des parties représentées par une différence de 6 à 14 %, selon la question (voir le tableau à droite). Une comparaison entre le sous-groupe de décisions rédigées pour les parties appelantes non représentées avant la formation et le sous‑groupe de décisions rédigées après montre que les aperçus écrits après la formation étaient plus clairs et plus complets. Cette constatation correspond aussi aux commentaires des membres, selon lesquels tous se seraient améliorés après la formation et la moitié adapteraient désormais le niveau de langage de leurs motifs à leur lecteur.

Ces forces ont été observées de façon égale dans tous les volets, mais un sous-groupe qui se démarque est celui des décisions rédigées en français. Plus d’aperçus rédigés en français ont obtenu des notes correspondant à la norme de langage clair que ceux rédigés en anglais, par une marge allant de 10 à 33 %.

Autre conclusion positive : 69 % des décisions ayant mentionné le résultat au tout début, habituellement dans la première phrase, répondaient aux normes du langage clair alors que 19 % étaient rédigées à un niveau de langage approprié pour une avocate ou un avocat. Une minorité notable de 13 % (n=24) des décisions ne mentionnait le résultat que plus loin dans la section des motifs ou de la conclusion.

Points à améliorer

Dans plus de 10 % des décisions envoyées aux parties (et non des décisions caviardées publiées sur le site Web du Tribunal), l’aperçu faisait référence aux parties comme étant soit « l’appelant ou l’appelante » ou « l’intimé ou l’intimée »), mais ne spécifiait pas qui était qui. Une personne non initiée qui ne connaît pas ces termes pourrait déduire par le contexte à quelle partie on fait référence, mais cela est plus compliqué lorsque les aperçus utilisent également des abréviations sans explication (p. ex. PMA) ou des termes juridiques (p. ex. être fondé à, exercer son pouvoir de façon judiciaire).

Conclusion négative la plus importante : la question A2 a révélé que près du tiers des décisions omettaient de fournir dans l’aperçu un énoncé clair et précis des questions en litige faisant l’objet de l’appel. Dans ces décisions, l’aperçu commençait avec un exposé des faits importants de l’histoire de la partie appelante, qui, instinctivement pour le lecteur, devait mener à un énoncé des questions en litige. Plutôt, ces décisions ne faisaient mention des questions en litige que plusieurs paragraphes plus loin, dans la section Questions en litige.

La conclusion la plus positive est tirée à partir de la question A3, qui a révélé que 89 % des aperçus ne contenaient pas de détails superflus (dates et lieux exacts, problèmes médicaux, antécédents professionnels). Toutefois, la concision observée à l’aperçu était parfois contrebalancée par une section sur les questions préliminaires détaillée et distrayante. Dans une petite minorité de décisions, la section Questions préliminaires était utilisée pour fournir un historique administratif ou procédural. L’effet non souhaité, dans ces cas, était d’interrompre la fluidité de lecture établie à l’aperçu. Quand une personne non initiée termine la lecture d’une section Questions préliminaires particulièrement longue et passe à l’analyse de la ou du membre, il lui était parfois nécessaire de retourner à l’aperçu pour comprendre la suite logique. Cette interruption pourrait être minimisée si la section Questions préliminaires demeure brève et comprend des mots ou des phrases de transition.

La structure

Ce que nous avons mesuré

Chaque membre a organisé ses motifs de manière à joindre la preuve, ses constatations, ses conclusions et le droit. Nous avons analysé la structure de ces motifs en fonction des indicateurs suivants :

  • B1. Les titres ou sous-titres sont-ils propres au cas ou génériques?
  • B2. Pouvez-vous passer directement à une question en litige précise (si vous souhaitez comprendre le droit ou la conclusion par rapport à cette question en litige particulière)?
  • B3. Dans chaque section portant sur une question en litige, la question en litige est-elle établie clairement et rapidement?
  • B4. Les paragraphes suivent-ils une approche selon laquelle les arguments sont présentés en premier lieu (question analysée en anglais seulement)?
  • B5. Est-ce que la ou le membre explique clairement comment le droit (lois et jurisprudence) s’applique à chaque question en litige ou aux faits?

Pourquoi nous avons évalué ces critères

Tous les membres ont suivi une formation pour structurer leurs motifs de façon cohérente et logique, afin qu’ils soient faciles à lire pour les parties et qu’il soit facile de s’y retrouver rapidement. Une décision facile à lire doit être organisée et rédigée de façon à permettre au lecteur de rechercher un élément précis en suivant les repères fournis par la ou le membre, comme des titres, des phrases clés et des transitions.

Ce que les résultats indiquent

Tableau montrant les résultats de l’évaluation de la structure.
Version textuelle
B1. Les titres ou sous-titres sont-ils propres au cas ou génériques? Oui, pour une personne non initiée
43%
Non
57%
B2. Pouvez-vous passer directement à une question en litige précise? Oui, pour une personne non initiée
81%
Non
19%
B3. Dans chaque sous-section, la question en litige est-elle établie clairement et rapidement? Oui, pour une personne non initiée
66%
Non
34%
B4. Les paragraphes suivent-ils une approche selon laquelle les arguments sont présentés en premier lieu? Oui, pour une personne non initiée
89%
Non
11%
B5. Est-ce que la ou le membre explique clairement comment le droit s’applique à chaque question en litige ou aux faits? Oui, pour une personne non initiée
43%
Oui, pour une avocate ou un avocat
56%
Non
2%

Forces

Dans l’organisation des questions en litige, les membres ont adopté une approche axée sur les questions en litige pour les séparer en sections larges et précises avec des analyses distinctes à chacune dans 81 % des cas (n=154). Toutes les décisions utilisaient des titres et des sous-titres, et 80 % des décisions utilisaient une approche selon laquelle les arguments étaient présentés en premier lieu, de manière à appuyer l’idée centrale d’un paragraphe avec des renseignements complémentaires.

Bien que les membres aient tous utilisé des titres et des sous-titres pour fournir des repères au lecteur, presque tous étaient génériques (Introduction, Questions en litige, Analyse et Conclusion). Pour améliorer cela, on peut utiliser un titre propre à l’affaire décrivant bien la section qui suit. Les titres propres à l’affaire offrent un aperçu du raisonnement de la ou du membre et permettent au lecteur de suivre la suite logique d’une question à l’autre. Les décisions qui ont obtenu les meilleures notes employaient systématiquement des titres et sous-titres formulés comme des questions ou des conclusions sur une question. Quarante-trois pour cent (n=82) des décisions utilisaient des titres propres à l’affaire la plupart du temps, alors que 57 % (n=107) n’en utilisaient presque pas, ou seulement dans les sous-titres.

Points à améliorer

L’étude a aussi révélé que le tiers des décisions n’établissaient pas de façon systématique les questions en litige de façon claire et rapide. Dans certaines décisions, les questions en litige étaient établies dès le départ, mais étaient formulées dans un langage trop juridique pour les non‑initiés, alors que dans d’autres décisions, les questions en litige étaient claires, mais n’étaient indiquées que plusieurs paragraphes plus loin, dans la section Questions en litige. Dans d’autres décisions, la présence de questions en litige multiples ou l’explication de critères juridiques représentait un défi, même lorsque la ou le membre les présentait dès le départ. Une analyse particulièrement longue venait généralement imposer au lecteur non initié le fardeau de devoir sauter d’une section à l’autre de la décision pour lier les conclusions à chacune des questions en litige et à ses critères juridiques. Les décisions ayant obtenu les meilleures notes contournaient ce problème en insérant stratégiquement des sous-titres propres à l’affaire et en repérant les questions en litige, ainsi que le droit, lorsque nécessaire.

C’est à la question B5 que les résultats étaient les moins bons : « Est-ce que la ou le membre explique clairement comment le droit s’applique à chaque question en litige ou aux faits? » L’étude a révélé que 98 % des décisions expliquaient le droit, mais que seulement 43 % des décisions expliquaient le droit en utilisant un langage adapté aux lecteurs non initiés.

Diagramme en barres montrant le pourcentage d’explications qui étaient claires pour une avocate ou un avocat et une personne non initiée, qui étaient trop génériques ou qui ne contenaient aucune information.
Version textuelle
Parties appelantes non-représentés Parties appelantes représentés Toutes les décisions
Claire pour une avocate ou un avocat 53% 59% 56%
Claire pour une personne non initiée 45% 39% 43%
Cite le droit de façon générique ou pas du tout 2% 1% 2%

De plus, dans les cas où la partie appelante était non représentée, ce chiffre grimpe légèrement à 45 %, mais descend à 39 % lorsqu’elle était représentée (voir le tableau à gauche). Ces résultats sont cohérents avec les commentaires reçus des membres par l’entremise du sondage. Les membres considèrent qu’ils continuent d’améliorer leur capacité à traduire des concepts juridiques complexes dans un langage clair sans en compromettre le sens et en évitant que cela n’entraîne un fondement pour un appel ou un contrôle judiciaire. Un membre a résumé le sentiment partagé par plusieurs :

« [Ce] n’est pas vraiment le manque de formation, mais plutôt la crainte qu’une explication en langage clair d’un critère juridique puisse être perçue par la division d’appel comme étant imprécise et donc comme une erreur de droit. Aussi, c’est principalement une question de pratique! »

Un membre de la division d’appel a exprimé des craintes semblables au sujet du risque inhérent de paraphraser un langage technique :

« Parfois, lorsque j’explique les arguments du ministre ou de la Commission, je crains que si je paraphrase trop, ils puissent y voir un problème. Ainsi, mes explications des observations du ministre sont parfois un peu moins rédigées en langage clair pour mieux exprimer le contenu réel de ses observations. » 

Les données indiquent que les explications relatives au droit en langage clair ont augmenté progressivement dans les mois qui ont suivi la formation sur le langage clair (voir aussi annexe C : Partie appelantes représentées et non représentées). Les membres ont affirmé que pour obtenir de meilleurs résultats, ils devaient avoir plus de temps pour acquérir cette compétence et, pour certains, obtenir des outils supplémentaires comme ceux-ci : 

Quels types de formation ou de soutien supplémentaires aimeriez-vous que le Tribunal vous offre à l’avenir? Cochez toutes les réponses qui vous intéressent.
Modèles de décision 48%
Guide sur le langage clair, guide de rédaction mis à jour 48%
Outils ou logiciels de correction et de révision 43%
Formation ou atelier de perfectionnement 43%
Glossaires 28%
Je ne sais pas 10%

Le style

Ce que nous avons mesuré

Le Tribunal a formé ses membres pour la rédaction en langage clair et simple. Cette section analyse des éléments du style de rédaction des membres en fonction des indicateurs suivants :

  • C1. Y a-t-il des chaînes de renvois qui interrompent vraiment votre lecture?
  • C2. Y a-t-il de longues citations en bloc qui interrompent vraiment votre lecture?
  • C3. Surutilisation de jargon juridique ou de vocabulaire spécialisé?
  • C4. Surutilisation de noms là où des verbes auraient pu être utilisés?
  • C5. Y a-t-il de longs paragraphes qui auraient pu être subdivisés ou remplacés par des listes?
  • C6. Y a-t-il des phrases passives qui devraient être actives?
  • C7. Une fois la lecture terminée, réfléchir au style d’écriture de façon générale; est-il très bien, bien, moyen, à améliorer ou terrible?

Pourquoi nous avons évalué ces critères

Le style de rédaction suscite la confiance. Les parties appelantes sont plus à même de penser que leur appel a été tranché de façon juste s’ils considèrent que les motifs ont été expliqués de façon claire et simple plutôt que dans un style obscur et trop juridique.

Ce que les résultats indiquent

Tableau montrant les résultats de l’évaluation du style.
Version textuelle
C1. Y a-t-il des chaînes de renvois qui interrompent vraiment votre lecture? Oui
3%
Non
97%
C2. Y a-t-il de longues citations en bloc qui interrompent vraiment votre lecture? Oui
7%
Non
93%
C3. Surutilisation de jargon juridique ou de vocabulaire spécialisé? Oui
40%
Non
60%
C4. Surutilisation de noms là où des verbes auraient pu être utilisés? Oui
20%
Non
80%
C5. Y a-t-il de longs paragraphes qui auraient pu être subdivisés ou remplacés par des listes? Oui
25%
Non
75%
C6. Y a-t-il des phrases passives qui devraient être actives? Oui
51%
Non
49%
C7. Le style de rédaction était généralement… Bien
2%
Très bien
28%
Moyen
53%
À améliorer
15%
Terrible
2%

Forces

L’étude a examiné la fréquence des choix de styles qui nuisent à la lisibilité. Le style d’écriture variait évidemment selon les membres, mais nous avons observé des pratiques communes à l’ensemble du Tribunal. La vaste majorité des décisions ont évité les chaînes de renvois qui interrompent la lecture5 (97 %) et les longues citations en bloc (93 %), possiblement parce qu’il s’agit de caractéristiques propres aux jugements des tribunaux. De plus, 80 % (n=151) des décisions ont évité le piège fréquent de surutiliser des noms là ou des verbes auraient pu être utilisés (tirer une conclusion plutôt que conclure) et les phrases à présentatif (p. ex. Cela est, Il y a). Les décisions rédigées en anglais réussissaient mieux à cet égard que les décisions françaises, mais en général, aucune décision n’était exempte de ces pratiques, et certaines utilisations étaient raisonnables dans le contexte.

L’étude a révélé par ailleurs que dans 75 % (n=141) des décisions, les membres faisaient attention de ne pas inonder les lecteurs avec trop de contenu. Les membres limitaient plutôt la longueur des paragraphes en les séparant en série de paragraphes plus courts ou en ayant recours à des listes numérotées. Les décisions rédigées en français (84 %) et les décisions destinées à des parties appelantes non représentées (81 %) ont obtenu de bonnes notes à cet égard.

Points à améliorer

Les réponses au sondage nous indiquent que les membres estiment que l’écriture à la voie active est l’une des stratégies de rédaction en langage simple les plus difficiles à adopter. Notre analyse a révélé que dans 51 % (n=96) des décisions, la voix passive était surutilisée. Ce pourcentage grimpe de façon marquée dans certains sous-groupes : les décisions en anglais (62 %), les décisions à la division d’appel (62 %) et les décisions destinées à des parties appelantes représentées (59 %). Les scores ne se sont pas améliorés pour les décisions rédigées après la formation sur le langage clair. Des outils logiciels comme Antidote, à la disposition de tous les membres, peuvent aider à repérer la voix passive et donc à en réduire l’utilisation. Le score de 51 % montre qu’on peut s’améliorer. Cependant, le fait que près de la moitié (49 %) des décisions employaient la voix passive de façon délibérée (p. ex., pour mettre l’accent sur l’objet de l’action) peut indiquer que d’en équilibrer l’usage est un objectif plus réaliste que de tenter de l’éliminer. Comme l’a dit un membre :

« Éviter la voix passive n’est pas toujours possible compte tenu de la nature de ce que nous devons trancher. Je l’ai éliminée quand je le pouvais, mais il y a des situations ou cela s’avère impossible. »

Les membres nous ont également dit qu’ils tentaient d’éviter l’utilisation de jargon, et plusieurs fournissaient une définition claire lorsqu’ils en utilisaient. Néanmoins, notre analyse a montré que 40 % des décisions (n=76) utilisaient un jargon juridique de façon excessive. Cette tendance est plus marquée dans les décisions de la division d’appel (71 %, n=15). Les exemples sont nombreux, mais comprennent des termes comme « ordinairement », « préjudice », « justification », « statuer sur l’appel ». Voici quelques exemples en français : « prépondérance des probabilités », « sciemment », « justice naturelle », « fardeau de la preuve ». Mais, comme dans le cas de l’utilisation de la voix active plutôt que passive, les membres ont expliqué que convertir des termes juridiques en langage simple est un exercice d’équilibre constant entre la lisibilité et la précision juridique. L’étude a révélé qu’il y avait eu une amélioration notable après la formation sur le langage clair : la surutilisation générale de jargon a baissé de 47 % à 33 % dans les décisions analysées. 

Incidence de la formation

Courbe en cloche montrant les scores de lisibilité médians des décisions avant et après la formation.
Version textuelle
Distribution des scores avant et après la formation

La courbe en cloche montre que les scores médians ont augmenté après la formation. Avant la formation, les scores médians étaient de 9 points sur 17. Après la formation, ils étaient de 11 points sur 17.

Les résultats montrent que lentement mais sûrement, les décisions du Tribunal deviennent généralement plus faciles à lire. Le score médian de toutes les décisions avant la dernière formation sur le langage clair était de 9 points sur 17. Ce score s’est amélioré à 11 après la formation. Avant la formation, seulement 34 % des décisions ont obtenu un score de 11 à 17 points, alors qu’après la formation, 51 % des décisions ont obtenu ces scores. La courbe en cloche à droite montre un déplacement vers la droite des scores au fil du temps, dû à l’amélioration des aperçus, à des explications plus claires du droit et à la réduction de l’utilisation de jargon juridique. Les résultats observés pour les autres questions du tableau de pointage sont stables ou statistiquement insignifiants.

Courbe en cloche montrant le niveau de lecture médian des décisions avant et après la formation.
Version textuelle
Niveau de lecture avant et après la formation

La courbe en cloche montre que les niveaux de lecture médians ont chuté vers un niveau de 10e année avant et après la formation. Toutefois, après la formation, de moins en moins de décisions se situaient au niveau de la 12e, de la 13e et de la 14e année.

En ce qui concerne le niveau de lecture correspondant à un niveau scolaire, la courbe en cloche ne montre qu’un léger déplacement vers la gauche, d’une moyenne de 10,7 à une moyenne de 10,3. Cependant, la forme plus haute et plus large de la courbe noire, à gauche, montre que plus de décisions se rapprochent du niveau de la 10e année, et de moins en moins se situent au niveau de la 12, 13, et 14e année.

Les deux séries de courbes en cloche illustrent le fait que la rédaction des décisions va dans la direction souhaitée. Nos données ne nous renseignent toutefois pas sur l’incidence précise de la formation, des outils d’aide à la rédaction et de l’expérience qui s’accumule au fil du temps sur la qualité de la rédaction des décisions. Il est probable que les trois facteurs ont eu une incidence.

Les membres ont suivi une formation sur le langage clair en janvier 2018, puis ont suivi d’autres séances et ont obtenu l’accès à des outils. Ils ont eu 15 mois pour acquérir de l’expérience avant que nous ne recueillions des échantillons de décisions pour les analyser dans le cadre de la présente étude. Certains membres nous ont fait part des difficultés qu’ils ont connues lorsqu’ils tentaient de mettre en œuvre les recommandations reçues en formation, surtout celles qui avaient été formulées par des professionnels non juristes ou qui étaient incohérentes avec les modèles ou les directives internes. Ainsi, chaque membre a dû trouver sa propre façon de rédiger pour un lectorat diversifié selon sa propre voix en tant que décideur indépendant. Un membre a résumé son expérience comme suit :

« Les modèles de décisions ne correspondent pas à mon style et ne contiennent souvent pas les termes que j’ai employés ou les explications que j’ai données lors de l’audience. Je m’assure de confirmer que la partie prestataire comprenne tous les termes utilisés lors de l’audience, puis de les répéter dans ma décision. Je préfère rédiger en langage clair dans mon propre style de manière à refléter les discussions que j’ai eues avec la partie prestataire. »

Conclusion

Avant le début de l’étude, le président du Tribunal a établi l’objectif que les décisions soient rédigées à un niveau de lecture approprié pour la 9e année. L’étude a utilisé le test de lisibilité Flesch-Kincaid pour calculer le niveau de lecture de chaque décision. Elle a révélé que 32 % (n=60) des décisions atteignaient cet objectif et qu’un autre 33 % (n=62) avaient un niveau de lecture approprié pour la 10e année. Puisque la formule est fondée sur la longueur des phrases et des mots, l’étude a utilisé un tableau de pointage pour mesurer de façon qualitative l’organisation des idées, le choix des mots, la fluidité de lecture et la cohérence. Ni l’une ni l’autre de ces méthodes ne garantissent des résultats parfaits, mais utilisées ensemble, et avec les commentaires des membres, nous pouvons dégager un portrait plus clair de la situation à partir des données.

Forces

  • La formation a aidé les membres. On le voit dans les scores globaux et dans certains sous‑groupes, particulièrement dans le cas des décisions rédigées pour des parties appelantes non représentées et des décisions rédigées pour des parties appelantes francophones.
  • La vaste majorité des décisions indiquaient le résultat et les questions en litige dès le départ.
  • La plupart des membres structurent leurs décisions par section pour chaque question en litige, selon une approche présentant les arguments en premier, et utilisent des titres et des sous‑titres tantôt génériques et tantôt propres à l’affaire.
  • La plupart des décisions ne contenaient pas de longs paragraphes et étaient plutôt divisées en listes ou en plus petits paragraphes.
  • Presque toutes les décisions évitaient l’utilisation de longues chaînes de renvoi et de citations en bloc. Dans une moindre mesure, elles évitaient aussi des pièges de rédaction comme la surutilisation de noms là où des verbes pouvaient être utilisés, de phrases à présentatif et de phrases passives.

Points à améliorer

  • Les aperçus devraient toujours débuter par un exposé des questions en litige et du résultat, définir les acronymes et identifier les parties.
  • Les sections sur les questions en litige devraient énoncer les questions en litige et les critères juridiques clairement et rapidement, et les répéter si l’analyse est longue ou porte sur plusieurs questions.
  • Pour faciliter la lecture, la section Questions préliminaires devrait être brève et contenir des transitions.
  • L’utilisation de jargon devrait être réduite et des explications plus simples de la loi devraient être fournies (sans compromettre l’exactitude juridique).
  • Les titres et les sous-titres devraient être propres à l’affaire autant que possible.
  • Il conviendrait de considérer d’offrir aux membres un environnement de travail leur permettant d’améliorer leur compétence en rédaction : du temps pour s’exercer, sans obstacles tel que des normes de rendement déraisonnablement élevées ou la pression de rendre des décisions rapidement ainsi que des occasions de développement professionnel et des outils additionnels comme des modèles de décision, des guides sur la rédaction en langage clair, un guide de rédaction mis à jour, des outils ou logiciels de correction et de révision et des glossaires.

Les décideurs ne manquent pas de conseils d’experts sur la rédaction de décisions, offerts dans des guides en ligne et lors de conférences ou d’ateliers6. Les tentatives de mesurer la lisibilité de façon systématique pour trouver des occasions d’amélioration continues sont rares. Le présent rapport s’inscrit dans cette démarche continue du Tribunal de la sécurité sociale visant à améliorer l’accès à la justice pour les Canadiennes et les Canadiens.

Annexe A : Tableau de pointage de la lisibilité des décisions en anglais

A. Read the overview Possible points Points you awarded Comments
A1 Is the essence of the story clear? YES – clear to a layperson
YES – clear to a lawyer
NO – unclear, or I had to re-read/read further
2
1
0
A2 Is the basic question that the member must decide both clear and precisely stated? YES – clear and precise to a layperson
YES – clear and precise to a lawyer
NO – unclear or imprecise or unstated
2

1

0
A3 Was any unnecessary detail included? YES – included
NO – left out
0
1
A4 Is the decision or result clear? YES – clear at start
YES – clear, but I had to skip to the end
NO – unclear or unstated
2
1

0
B. Check the structure
B1 Are the headings and sub-headings case-specific or generic? Answer “YES” is the headings and sub-headings are case-specific most of the time YES – Case-specific all or most of the time
NO – Generic or no headings
1

0
B2 Can you skip to one discrete issue? (If you wanted to understand the law or the conclusion on that particular issue) YES – clear or not applicable (only one issue)
NO – locating discrete issues is difficult
1

0
B3 Within each issue-section, is the issue set out clearly and early? YES – clearly and early
NO – one but not the other or not at all
1
0
B4 Do paragraphs observe the point-first approach? Choose “YES” if all or most substantive paragraphs started with a topic sentence YES
NO
1
0
B5 Does the member clearly explain how the law (statute and case law) applies to each issue or the facts? YES – clearly to a layperson
YES – clearly to a lawyer
NO – cites the law generically or not at all
2
1
0
C. Look for style choices
C1 Are there any string citations that really interrupt your reading? Choose “NO” if any string citations are in footnotes or are otherwise unobtrusive. (Click here for definition.) YES – distracting
NO – none or string citations are unobtrusive
0
1
C2 Are there long block quotations that really interrupt your reading? Choose “NO” if there are no block quotations or they come with a summary or statement of inference that the reader should make. YES – one or too many
NO
0
1
C3 Overuse of legalese or jargon? YES (use Antidote; write examples in the Comments box) -1
C4 Overuse of nominalizations or expletive constructions? Click here for examples. YES (write examples in the Comments box) -1
C5 Are there paragraphs that could have been broken up or replaced by lists? YES (write paragraph number in Comments box)
NO
-1

0
C6 Passive sentences that should be active? Choose “NO” is none or if passive voice was used for an apparently intended purpose. YES (use Antidote; write examples in the Comments box)
NO
-1


0
C7 Once you finish reading, think about the writing style generally (ignoring structure and content). Especially consider how many instances of each bad writing style you found. Was the writing style generally:
  • Great! – could use as an example
  • Very good
  • Average – somewhere in the middle
  • Needs improvement
Terrible – dense, wordy, confusing
2
1
0
-1
-2
D. Final Scoring
D1 Total Above:
D2 Flesch Reading Ease (use Antidote)
D3 Flesch Kincaid Grade Level (use Antidote)
D4 Words (use Antidote)
D5 Tester’s name:
D6 File number:

Annexe B : Tableau de pointage de la lisibilité des décisions en français

A. Lire l’aperçu Nombre max. de points Points attribués Commentaires
A1 L’essentiel du récit est-il clair? OUI – clair pour une personne non initiée
OUI – clair pour une avocate ou un avocat
NON – manque de clarté, ou j’ai dû relire ou lire plus loin
2

1

0
A2 La question principale que doit trancher la ou le membre est-elle énoncée de façon claire et précise? OUI – claire et précise pour une personne non initiée
OUI – claire et précise pour une avocate ou un avocat
NON – manque de clarté ou de précision, ou n’est pas énoncé
2

1

0
A3 Des détails inutiles ont-ils été inclus? OUI – inclus
NON – omis
0
1
A4 La décision ou le résultat sont-ils clairs? OUI – clairs dès le départ
OUI – clairs, mais j’ai dû aller voir à la fin du document
NON – manque de clarté ou ne sont pas énoncés
2
1


0
B. Vérification de la structure Nombre max. de points Points attribués Commentaires
B1 Les titres ou sous-titres sont-t-ils propres au cas ou génériques? (« Faits », « Droit applicable », « Questions en litige », « Analyse » sont génériques plutôt que propres au cas.) Répondre « OUI » si les titres ou les sous-titres sont généralement propres au cas. OUI – tous ou majoritairement propres au cas
NON – génériques ou aucun titres
1


0
B2 Pouvez-vous passer directement à une question en litige précise (si vous souhaitez comprendre le droit ou la conclusion par rapport à cette question en litige particulière)? OUI – clair ou ne s’applique pas (une seule question en litige)
NON – il est difficile de cerner les questions en litige distinctes
1


0
B3 Dans chaque section portant sur une question en litige, la question en litige est-elle établie clairement et rapidement? OUI – clairement et rapidement
NON – un mais pas l’autre, ou pas du tout
1

0
B4 Est-ce que la ou le membre explique clairement comment le droit (lois et jurisprudence) s’applique à chaque question en litige ou aux faits? OUI – clair pour une personne non initiée
OUI – clair pour une avocate ou un avocat
NON – cite le droit de façon générique ou pas du tout
2

1

0
C. Évaluation des choix de style Nombre max. de points Points attribués Commentaires
C1 Y a-t-il des chaînes de renvois qui interrompent vraiment votre lecture? Choisir « NON » s’il y a des chaînes de renvois dans les notes en bas de page ou qui ne nuisent pas à la lecture (cliquer ici pour une définition de « citations en chaîne ») OUI – distrayant
NON – aucune ou elles ne nuisent pas à la lecture
0
1
C2 Y a-t-il de longues citations en bloc qui interrompent vraiment votre lecture? Choisir « NON » s’il n’y en a pas ou si elles sont accompagnées d’un résumé ou d’une inférence que devrait faire le lectorat. OUI – une ou trop nombreuses
NON
0

1
C3 Surutilisation de jargon juridique ou de vocabulaire spécialisé? OUI (fournir des exemples dans les Commentaires) -1
C4 Surutilisation de noms là où des verbes auraient pu être utilisés? OUI (fournir des exemples dans les Commentaires) -1
C5 Y a-t-il des longs paragraphes qui auraient pu être subdivisés ou remplacés par des listes? OUI (fournir le numéro de paragraphes dans les Commentaires) -1
C6 Y a-t-il des phrases passives qui devraient être actives? Choisir « NON » s’il n’y en a pas ou si la voix passive semble avoir été utilisée dans un but précis. OUI (fournir des exemples dans les Commentaires)
NON
-1

0
C7 Une fois la lecture terminée, réfléchir au style d’écriture de façon générale (en ignorant la structure et le contenu). Réfléchir particulièrement au nombre de fois où un mauvais style d’écriture a été utilisé. Le style de rédaction était généralement :
  • Très bien! – pourrait être utilisé comme exemple
  • Bien! – pourrait être utilisé comme exemple
  • Moyen – quelque part entre les deux
  • À améliorer – pourrait être utilisé comme exemple
Terrible – lourd, verbeux et porte à confusion
2
1
0
-1
-2
D. Note finale
D1 Total des points  :
D2 Lisibilité de Flesch (utiliser Antidote) :
D3 Niveau de langue Flesch-Kincaid (utiliser Antidote) :
D4 Mots (utiliser Antidote) :
D5 Numéro de dossier :
D6 Nom de l’évaluatrice ou de l’évaluateur :

Annexe C : Parties appelantes non représentées et représentées

Pourcentage de décisions en langage clair selon le score, par représentation
empty Non-représentées Représentées
9e année 29% 24%
Toutes les décisions 72% 64%
Division d’appel 64% 62%
Division générale – Assurance-emploi 73% 63%
Division générale – Sécurité du revenu 73% 66%
Anglais 69% 60%
Français 79% 80%
Aperçu 68% 59%
Structure 66% 61%
Style 79% 71%

Annexe D : Sondage auprès des membres

Indiquez la division et la section pour laquelle vous jugez des appels. Cochez tout ce qui s’applique.
Division d’appel Division général – Assurance-emploi Division général – Sécurité du revenu Total
Question 1 – Avez-vous suivi une formation offerte par le Tribunal sur la rédaction de décisions en langage clair et simple? Oui 8
19%
24
57%
12
29%
42
Non 0
0%
0
0%
0
0%
0
Question 2 – Depuis que vous avez suivi la formation, dans quelle mesure vos décisions sont-elles plus faciles à lire pour les personnes non-initiées? Beaucoup plus faciles à lire 4
17%
13
54%
7
29%
24
Un peu plus faciles à lire 4
22%
11
61%
5
28%
18
A peu près aussi faciles à lire 0
0%
0
0%
0
0%
0
Je ne sais pas 0
0%
0
0%
0
0%
0
Question 3 – Y a-t-il des techniques de rédaction en langage clair et simple que vous avez apprises, mais que vous avez de la difficulté à mettre en pratique? Si oui, veuillez fournir une explication. Oui 5
17%
15
52%
10
34%
29
Non 3
23%
9
69%
2
15%
13
Question 4 – Dans quelle mesure modifiez-vous la rédaction de vos motifs selon que la partie appelante est représentées ou non? Par exemple, si une partie prestataire est représentée par une avocate ou un avocat, vous adoptez un style plus soutenu, mais quand la personne n’est pas représentée, vous adoptez un style plus clair et simple. Beaucoup 1
100%
0
0%
0
0%
1
Un peu 4
21%
11
58%
4
21%
19
Très peu 1
8%
7
58%
4
33%
12
Pas du tout 2
22%
5
56%
4
44%
9
Je ne sais pas 0
0%
1
100%
0
0%
1
Question 5 – Dans quelle mesure modifiez-vous la façon dont vous rédigez vos motifs selon le niveau de littératie que vous percevez chez les parties prestataires et requérantes? Beaucoup 2
13%
10
63%
4
25%
16
Un peu 4
25%
10
63%
3
19%
16
Très peu 1
20%
2
40%
2
40%
5
Pas du tout 1
20%
2
40%
3
60%
5
Je ne sais pas 0
0%
0
0%
0
0%
0
Question 6 – Dans quelle mesure est-ce important pour vous que les parties prestataires et requérantes, plutôt que les représentantes et représentants, puissent lire et comprendre facilement vos décisions? Extrêmement important 7
19%
21
58%
10
28%
36
Plutôt important 0
0%
3
75%
1
25%
4
Important 1
100%
0
0%
0
0%
1
Peu ou pas important 0
0%
0
0%
1
100%
1
Question 7 – Quels types de formation ou de soutien supplémentaires aimeriez-vous que le Tribunal vous offre à l’avenir? Cochez toutes les réponses qui vous intéressent. Modèles de décision 3
15%
11
55%
7
35%
20
Glossaires 4
36%
4
36%
5
45%
11
Guide sur le langage clair, guide de rédaction mis à jour 4
21%
12
63%
5
26%
19
Outils ou logiciels de correction et de révision 4
24%
8
47%
6
35%
17
Formation ou atelier de perfectionnement 2
11%
14
74%
5
26%
19
Je ne sais pas 1
25%
2
50%
1
25%
4
Question 8 – Si l’on vous offrait des gabarits de décisions qui proposent des tournures claires et simples, quelle serait la probabilité que vous les utilisez? Très probable 2
7%
18
67%
8
30%
27
Assez probable 4
36%
5
45%
3
27%
11
Peu probable 1
33%
1
33%
1
33%
3
Pas du tout probable 1
100%
0
0%
0
0%
1
Date de modification :