Guide LMS FFFOD 2018 – Comment choisir sa plateforme – Observations

En ce début de 2018, le FFFOD a publié, dans sa 4ème édition, son guide « LMS & MOOC: Comment choisir sa plateforme? ». En 2015 déjà, nous dénoncions les défauts flagrants ou les dérives de la première édition de ce guide, non seulement au travers de notre blog, mais également par e-mail directement dirigés à la direction du FFFOD mais aussi aux personnes chargées de l’évaluation des plateformes Open Source, en témoignent ces quelques e-mails retrouvés dans la boîte mail de l’auteur de cet article (entremêlés avec des e-mails sur le même sujet à d’autres personnes), le dernier en date étant resté sans réponse.

 

 

 

 

 

 

 

Voyons si cette nouvelle édition apporte quelque chose de neuf.

Notons d’abord qu’à la différence des années précédentes, le FFFOD, au travers de Stratice (l’entreprise en charge de l’évaluation des plateformes Open Source) avait annoncé en janvier 2017, au cours d’une conférence donnée dans le cadre du salon Learning Technologies 2017, à Paris, via son représentant Jean-Luc Peuvrier, vouloir offrir une nouvelle méthode d’évaluation des plateformes, plus communautaire, au travers d’une plateforme ouverte au public. Dans cette édition 2018, on ne retrouve aucune mention de cette intention. Nous ne pouvons qu’en déduire que l’année 2017 a été trop courte pour mettre en oeuvre ce beau projet. Ça arrive à tout le monde, et nous ne nous centrerons pas sur cela dans cet article, mais notons que dans le contexte, j’avais personnellement demandé en janvier 2017 à Jean-Luc Peuvrier (face au public de la-dite conférence) un peu plus de rigueur par rapport à l’analyse des plateformes Open Source, ce qu’il avait esquivé en indiquant que désormais l’analyse inclurait un aspect communautaire. Il est donc relativement naturel de trouver peu de modifications par rapport aux plateformes « Open » cette année encore.

Des plateformes Open Source affligées par une méthode d’évaluation inéquitable

Reprenons, pour analyser les différences, les arguments de 2015 concernant l’inégalité de l’évaluation. En 2015, on ne trouvait aucune explication claire concernant la méthode d’évaluation. Suite à mes observations, on retrouvait ensuite dans les versions 2016, 2017 et 2018 la mention suivante:

[A propos des plateformes propriétaires…]
Chaque éditeur a complété le questionnaire qui comportait 220 questions. Les réponses ont ensuite été retraitées et synthétisées, de façon à donner une vue synthétique de chaque plateforme. […] Pour chaque critère, nous avons évalué le nombre de fonctionnalités ou d’options offertes en restant fidèles aux déclarations des éditeurs.
[…puis, pour les Open Source…]
Pour les plateformes open source, l’étude s’appuie sur les résultats du benchmark de Stratice.

Au cas où vous ne le compreniez pas comme nous: les éditeurs propriétaires peuvent dire ce qu’ils veulent sur leur plateforme et on les croira. Les éditeurs Open Source, quant à eux, sont analysés en détail par une personne chez Stratice, sans contact avec les éditeurs. On reviendra sur ce point.

En 2015 déjà, on retrouvait des différences fondamentales, au niveau macro, entre l’évaluation des plateformes propriétaires et des plateformes Open Source, même sur des sujets tels que « déploiement », pour lesquels les plateformes propriétaires sont résolument moins flexibles que leur équivalent Open Source puisqu’on ne peut même pas les déployer soi-même.

En toute objectivité, le score des plateformes propriétaires apparaît comme supérieur aux plateformes Open Source parce qu’elles passent par une méthode d’analyse différente et hautement dommageable pour les plateformes Open Source. En témoigne ce graphique élaboré sur base des scores globaux des deux mondes (voir graphique de 2015 dans notre article antérieur).

Cette année, cependant, et sans réelle justification, le FFFOD a décidé de modifier les critères d’analyse entre le monde propriétaire et le monde Open Source, un peu comme si les plateformes de ces deux mondes servaient des objectifs différents. Comme si les plateformes Open Source devaient faire partie d’un autre guide…

Quoi qu’il en soit, étant donnée l’impossibilité de comparer les critères entre eux, nous avons décidé de simplement les énumérer (critère 1, critère 2, etc), simplement pour donner une idée de la déviation type entre ces deux mondes, aux yeux du FFFOD.

Comme vous pourrez rapidement vous en rendre compte, et même si les critères sont différents, les plateformes Open Source sont apparemment moins appréciées globalement par le FFFOD que leurs cousines propriétaires. En moyenne, plus de 19% de différence entre propriétaire et libre.

À notre question directe par e-mail à Jean-Luc Peuvrier questionnant la méthode et demandant s’il y avait un rapport entre le fait d’être membre (payant) du FFFOD et le score obtenu pour la plateforme correspondante, j’ai obtenu un « non » assez catégorique, et il est vrai que la liste de membres du FFFOD n’inclut presque aucun éditeur de plateformes e-learning. On devrait donc pouvoir se fier à l’honnêteté du FFFOD, c’est déjà ça de pris.

Critères et méthode

Dans notre article de 2015, nous critiquions les critères et la méthode d’analyse. Les critères étant maintenant différents, il est forcément plus difficile de comparer. Cela dit, on pourra se poser la question de savoir pourquoi la gestion des compétences n’apparaît que comme un critère d’analyse optionnel pour les plateformes propriétaires (catégorie « Reporting » ou « Pédagogie », c’est selon), soit moins de 3.4% du score total, alors qu’il s’agit d’une catégorie intégrale pour les plateformes Open Source, soit 16.7% du score total.

La méthode (analyse sur base d’enquêtes aux éditeurs pour les propriétaires, analyse technique pour les Open Source) n’a pas changé. Nous continuons de la dénoncer, même si depuis 2016 on est averti de la différence de méthode de façon plus explicite.

On retrouve donc (en page 23) une introduction aux plateformes Open Source qui nous parle de 7 thèmes d’évaluation, ensuite représentés sur 6 axes (!?), dont un thème « Technique » qui apparaît désormais comme le seul critère commun avec les plateformes propriétaires, mais qui n’est étrangement pas repris dans le graphique individuel de chaque plateforme.

Enfin, on notera que les différents critères définis en page 32 ne recouvrent complètement que les critères utilisés pour les plateformes propriétaires. Pas de « Création de formations », « Créations de parcours » ni « Création de catalogues », par exemple. Le lecteur se chargera lui-même d’interpréter ces termes, qui sont pourtant des critères déterminants dans le score des plateformes Open Source.

Contact avec les éditeurs

Selon l’équipe de Stratice, en charge de l’évaluation des plateformes Open Source, il est difficile de pouvoir dédier le temps nécessaire à l’analyse des différentes plateformes. On est donc souvent confronté à un manque de connaissance des plateformes et, n’ayant pas à disposition de contact privilégié pour vérifier, on fait « selon les moyens du bord ».

Le guide indique ainsi, dans sa section « Méthodologie » au sujet des plateformes Open Source:

Si la méthode diffère pour ces plateformes, c’est parce qu’il n’existe ni fiche commerciale ni fiche technique. Difficile également d’avoir des contacts directs avec certains éditeurs open source.

Nous pensons qu’après 3 ans (depuis la publication de notre première analyse en 2015 et son envoi à l’équipe de Stratice), cet argument n’est plus acceptable. En effet, dans notre article antérieur, nous donnions une liste très claire de contacts, non seulement de l’association Chamilo, mais également de 7 autres plateformes Open Source. Cependant, aucun contact n’a été pris, en 3 ans, avec l’équipe de Chamilo. L’argument a donc aujourd’hui très peu de crédibilité, et est vraisemblablement une excuse de Stratice qui ne souhaite pas faire l’effort de contacter les-dits éditeurs. Sinon, comment expliquer ce manque de contact?

Opacité de « l’analyse détaillée »

Le guide continue:

Le benchmark à partir duquel les fiches ont été réalisées repose sur des tests effectués selon un protocole très précis. Certains des critères sont de ce fait difficiles à comparer entre propriétaires et open source.

En demandant à Stratice d’en savoir un peu plus, on apprend que Stratice propose l’accès à un benchmark des plateformes Open Source au travers du versement d’une cotisation annuelle de membre, et que la liste complète des critères est un secret professionnel. S’il est difficile de critiquer Stratice pour commercialiser un outil aussi détaillé, on lamentera tout de même le fait que leur invisibilité rende impossible une révision approfondie des éléments analysés, et une possible contestation dans le cas d’erreurs flagrantes. Cela finit, selon nous, par décrédibiliser l’analyse de Stratice.

Évaluation de Chamilo

Enfin, et parce que ce sujet nous tient évidemment plus à coeur, nous aimerions revenir sur l’évaluation de Chamilo dans ce guide 2018, en la comparant à l’évaluation de Moodle et en essayant de déterminer s’il existe réellement un biais (soit par paresse, soit par erreur) dans les évaluations de Stratice.

Cette section est assez longue, et si vous n’êtes pas intéressé dans les différences entre Chamilo et Moodle, nous vous recommandons de passer directement aux conclusions.

Design et ergonomie

Le graphique global de comparaison nous ennuie à première vue sur un aspect essentiel: design et ergonomie. Si l’analyse de Stratice a fait progresser le score de Chamilo de 2/5 à 4/5 au fil des années, il a toujours maintenu Chamilo sous le score de Moodle pour ce critère.

Or, les autres analyses sont relativement claires: G2Crowd place Chamilo en première place en termes de facilité d’utilisation et d’administration.

Capterra, un autre site de comparaison de logiciels, place Chamilo, en termes de « user friendliness » (facilité pour les utilisateurs, 14ème place), bien au-delà de Moodle qui n’apparaît même pas dans le classement.

Pourtant, Stratice maintient le fait que les critères suivants sont mieux rencontrés par Moodle:

• Personnalisation linguistique: Chamilo offre pourtant un mécanisme de sous-langues définissables directement *dans* la plateforme, sans outil externe, et supporte plus de 40 langues de base. De là à savoir ce qu’il faudrait faire pour être plus flexibles…
• Responsive design: Chamilo est totalement HTML5 responsive, et valide même les règles d’accessibilité WAI/WCAG au niveau AAA, mais cela ne semble pas satisfaire le critère espéré
• Apps IOS et Android: s’il est vrai que l’application de Chamilo demande la personnalisation du logo et une procédure de compilation, elle existe bien et est disponible ici. Mais évidemment, qui ne demande pas n’a pas beaucoup d’espoir d’obtenir des informations de ce type.

S’il est vrai que Chamilo ne permet pas l’adaptation des styles (autres que le logo) sans toucher un peu au code des feuilles de style, nous regrettons tout de même que l’usabilité ne soit pas du tout considérée comme un critère compensant ce défaut, alors que vous pouvez discuter avec n’importe qui ayant utilisé Moodle *et* Chamilo et il vous dira que l’interface de Chamilo est incroyablement plus claire et simple à utiliser.

C’est d’ailleurs l’un des avantages principaux qui permettent de convaincre de nouveaux prospects au moment de décider entre différents LMS (tant au niveau pédagogique qu’au niveau professionnel). Du coup, nous retrouver au-dessous de Moodle nous gène très fort, parce que c’est un peu comme décrédibiliser tout le guide d’un coup. Quand on sait qu’un outil est généralement reconnu pour sa facilité d’utilisation, cela n’a pas de sens qu’en « design et ergonomie », il soit inférieur à un outil critiqué par tous pour sa complexité.

Gestion des utilisateurs

Pour ce critère, ce qui semble faire la différence entre 3/5 pour Chamilo et 5/5 pour Moodle, c’est la possibilité de créer des profils. Ce qui échappe à ce critère d’évaluation, cependant, c’est que Chamilo offre plus de 10 rôles utilisateurs par défaut, dès l’installation de la plateforme. S’il est vrai qu’on peut définir de nouveaux rôles de façon moléculaire dans Moodle, nous déplorons que cela ait un impact aussi élevé sur notre score pour ce critère. L’un des points forts de Moodle est la « Possibilité d’inscrire en une seule opération des utilisateurs dans plusieurs formations », ce qui est tout à fait possible dans Chamilo également.

Nous perdons un point sur le « Tracking », les « Inscriptions dans les formations » et l »Enregistrement/Authentification », ce qui nous semble injuste, mais on n’est déjà plus à une injustice près.

Gestion de l’offre de formation

Pour une raison inconnue, nous perdons un point dans la « Création de catalogues ». Pas très clair. Chamilo propose pourtant un catalogue de cours accessible dès la première page pour les utilisateurs connectés, et qui peut être publié au monde extérieur au travers d’un changement de configuration (deux clics) ou de l’activation du module de vente de cours…

Création d’activités pédagogiques

Si nous reconnaissons la supériorité de Moodle pour un critère en particulier, c’est bien celui-ci. Moodle donne de possibilités additionnelles à Chamilo en termes de création de contenu pédagogique. Cela dit, nous affubler de 3/5 en activités évaluatives nous semble un peu fort, notamment quand on sait que Chamilo offre:

• des exercices/examens avec plus de 20 options de configuration et plus de 15 types de questions (dont enregistrement audio, questions sur image, etc) (score et temps)
• des enquêtes (réponses)
• des travaux (score et temps)
• des forums scorés (dont score en peer-assessment pour les MOOCs)
• des parcours (score et temps)
• un outil de présences
• un outil de wiki (score)

Enfin, le critère d’individualisation est un mystère. Si on parle de possibilité pour la plateforme de personnaliser le parcours de l’apprenant, il nous faudrait une petite explication sur le pourquoi de 5/5 pour Moodle et 4/5 pour Chamilo.

Outils de communication

Pas de raison particulière pour déplorer le score de Chamilo par rapport à Moodle ici. La qualification donnée nous semble juste et équitable.
Nous déplorons toutefois que l’inclusion de « Classe virtuelle intégrée » soit un critère pour les plateformes Open Source (qu’aucune ne valide, d’ailleurs). En effet, la technologie requise pour une classe virtuelle intégrée est fondamentalement différente de celle d’une plateforme e-learning. Il est donc facile pour des solutions propriétaires d’offrir ce genre de solution comme partie (optionnelle en général) de leur package, mais pour des solutions Open Source, cela ajoute une grande complexité technique à l’installation.
Cependant, tant Moodle que Chamilo offrent une solution de classe virtuelle intégrée (également Open Source). Elle n’est simplement pas disponible à l’installation du LMS seul. Il faut additionnellement installer un serveur de vidéoconférence Open Source (BigBlueButton dans ce cas) afin d’en profiter. La formulation est donc ambigüe à notre sens.

Gestion des compétences

Chamilo perd deux petits points sur les portfolios, alors que les profils utilisateurs peuvent être affichés dans le réseau social et sont totalement extensibles (fichiers et textes longs) à l’aide des « champs de profil ». Moodle, de son côté, nécessite la solution Elgg pour l’utilisation réelle des portfolios, donc nous ne sommes pas certains de ce qu’implique ce critère ici.

Technique

Rien à redire niveau technique. Pour une fois, Stratice semble avoir trouvé la bonne info.

Introductions

La description de Moodle invite le lecteur à ouvrir grand les yeux:

Moodle est élaboré par une communauté de développeurs engagés, conduite par Moodle HQ, entreprise australienne de 30 développeurs, soutenue financièrement par un réseau d’environ 60 entreprises du monde entier. La version 3.0 est sortie très  récemment.

La description de Chamilo se limite aux faits (incorrects et incomplets):

Chamilo est développé sous l’égide de l’association belge à but non lucratif Chamilo. Elle organise et coordonne la communauté des  développeurs. Des communautés locales d’utilisateurs existent.

En effet, il faut savoir que:

• l’Association Belge est à présent Espagnole (depuis 2015, quand même, soit 2 éditions du guide)
• notre communauté de développeurs est engagée, elle aussi
• la communauté de développeurs peut aussi être considérée comme « conduite par BeezNest, entreprise belge de 6 développeurs »
• l’Association est « soutenue financièrement par un réseau de 6 entreprises européennes »
• enfin, la version 1.11.6 est sortie le 18 janvier, soit un jour avant la publication du guide FFFOD (mais bon, on acceptera le fait que Stratice pourrait être passé à côté de l’info, après tout le salon Learning Technologies où nous avons rencontré le FFFOD mais où personne d’entre eux n’est venu nous poser de question cette année ne commençait que 5 jours plus tard)

Nous déplorons la différence d’entrain notoire dans la présentation des deux solutions.

Conclusions

Dans l’ensemble, il est important de souligner qu’une comparaison telle qu’entreprise par Stratice pour le FFFOD requiert énormément de travail. Ce simple article d’analyse publié par nos soins a déjà engrangé plus de 10h d’efforts entres analyse, collection d’information pour démontrer nos arguments, comparaisons dans un tableur, révision des définitions, etc. Il est donc primordial de reconnaître et de remercier le travail accompli, dont le but est, on ne saurait en douter, d’aider le public à trouver ses marques dans un environnement techniquement complexe.

Nous déplorons cependant 3 aspects essentiels qui nous semblent affecter grandement les solutions Open Source et Chamilo en particulier:

• manque de précision ou de recherche de la perfection, utilisant des éléments de sources douteuses comme base de l’analyse
• manque d’impartialité, qui semble vouloir donner l’avantage à des solutions plus connues ou plus utilisées par Stratice, et qui maintiennent des excuses du passé prétendant que des solutions Open Source n’offrent pas de contact officiel
• manque d’équilibre entre solutions propriétaires et Open Source, qui même si elles sont documentées brièvement en introduction, manquent de rétablir l’équilibre entre ces deux types de LMS