En ce début de 2019, le FFFOD a publié, dans sa 5ème édition (depuis le guide publié début 2015), son guide « LMS & MOOC: Comment choisir sa plateforme? ». En 2015 déjà, nous dénoncions les défauts flagrants ou les dérives de la première édition de ce guide, non seulement au travers de notre blog, mais également par e-mail directement dirigés à la direction du FFFOD (plus d’infos à ce sujet dans notre article de 2018). Pour éviter la lecture de l’article de 2018 à ceux qui ne sont pas intéressés par le détail, cet article contient de larges sections récupérées de l’article antérieur.
En 2018, nous répétions l’opération, en informant le FFFOD de l’article. En 2019, nous voyons un certain progrès, mais lamentons que la plupart des erreurs dénoncées en 2018 soient encore présentes cette année.
Voyons si cette nouvelle édition apporte toutefois quelque chose de neuf.
Notons d’abord l’absence d’une nouvelle méthode d’évaluation des plateformes, plus communautaire. Nous ne pouvons qu’en déduire que les années 2017-2018 ont été trop courtes pour mettre en œuvre ce beau projet. Ça arrive à tout le monde, et nous ne nous centrerons pas sur cela dans cet article, mais notons que dans le contexte, j’avais personnellement demandé en janvier 2017 à Jean-Luc Peuvrier (face au public du salon Learning Technologies à Paris) un peu plus de rigueur par rapport à l’analyse des plateformes Open Source, ce qu’il avait esquivé en indiquant que désormais l’analyse inclurait un aspect communautaire. Il est donc relativement naturel (et décevant) de ne trouver que peu de modifications par rapport aux plateformes « Open » cette année encore.
Des plateformes Open Source affligées par une méthode d’évaluation inéquitable
Reprenons, pour analyser les différences, les arguments de 2015 et 2018 concernant l’inégalité de l’évaluation. En 2015, on ne trouvait aucune explication claire concernant la méthode d’évaluation. Suite à mes observations, on retrouvait ensuite dans les versions 2016, 2017, 2018 et 2019 la mention suivante (en 2015 cela n’était pas expliqué):
[A propos des plateformes propriétaires…]
Chaque éditeur a complété le questionnaire qui comportait 220 questions. Les réponses ont ensuite été retraitées et synthétisées […] de façon à donner une vue synthétique de chaque plateforme. […] Pour chaque critère, nous avons évalué le nombre de fonctionnalités ou d’options offertes en restant fidèles aux déclarations des éditeurs.
[…puis, pour les Open Source…]
Pour les plateformes open source, l’étude s’appuie sur les résultats du benchmark de Stratice.
Au cas où vous ne le compreniez pas comme nous: les éditeurs propriétaires peuvent dire ce qu’ils veulent sur leur plateforme et on les croira. Les éditeurs Open Source, quant à eux, sont analysés en détail par une personne chez Stratice, sans contact avec les éditeurs. On reviendra sur ce point.
Depuis, on retrouve des différences fondamentales, au niveau macro, entre l’évaluation des plateformes propriétaires et des plateformes Open Source, même sur des sujets tels que « déploiement », pour lesquels les plateformes propriétaires sont résolument moins flexibles que leur équivalent Open Source puisqu’on ne peut même pas les déployer soi-même. En 2018 et 2019, cette catégorie devient un seul point « Facilité d’installation » pour les plateformes Open Source et disparaît de l’évaluation des plateformes propriétaires.
Des plateformes LMS propriétaires en chute libre en 2019
En toute objectivité, le score des plateformes propriétaires apparaît comme supérieur aux plateformes Open Source parce qu’elles passent par une méthode d’analyse différente et hautement dommageable pour les plateformes Open Source. Dans nos articles précédents, on retrouvait un graphique qui comparaît les catégories d’évaluation entre plateformes Open Source et propriétaires.
Depuis 2018, cependant, et sans réelle justification, le FFFOD a décidé de modifier les critères d’analyse entre le monde propriétaire et le monde Open Source, un peu comme si les plateformes de ces deux mondes servaient des objectifs différents. Comme si les plateformes Open Source devaient faire partie d’un autre guide…
À la différence de 2018, cette année nous avons décidé de comparer les scores globaux entre les deux types de plateformes, et cela depuis 2015.
Comparaison discutable LMS Propriétaires vs Open Source – Guide FFFOD 2019
Comme vous pourrez rapidement vous en rendre compte, et même si les critères sont différents, les plateformes Open Source continuent apparemment d’être moins appréciées globalement (par le FFFOD) que leurs cousines propriétaires. En 2019, la différence diminue fortement entre propriétaire et libre, mais elle est encore de 12% (contre 20% en 2017).
On constate également que la note moyenne des plateformes propriétaires est en chute libre: de 91% en 2018, elles retombent à 88% (-3%) alors que les plateformes Open Source passent en moyenne de 72% à 75% (+3%).
En tant qu’éditeur responsable de Chamilo, en tant que libristes et en tant que spécialistes de LMS, étudiant le marché fréquemment et ayant de nombreux contacts avec notre communauté et nos clients, nous réfutons cependant toujours le fait que les plateformes Open Source soient considérées par le FFFOD comme inférieures aux propriétaires (en moyenne).
De meilleurs résultats pour Chamilo en 2019
Dans notre rejet de cette différence entre Open Source et propriétaire, il faut tout de même reconnaître que le FFFOD semble commencer à voir Chamilo d’un autre œil. En effet, on constate que Chamilo, mis à part l’année 2017, a obtenu un score supérieur à la moyenne des autres plateformes Open Source de façon constante, et que cette différence augmente en 2019.
Comparaison discutable LMS Propriétaires vs Open Source, incluant Chamilo – Guide FFFOD 2019
En 2015, Chamilo était 5% au-delà de la moyenne Open Source, et 12% en-dessous de la moyenne des plateformes propriétaires.
En 2017, Chamilo était 3% au-dessous de la moyenne Open Source et un peu crédible 23% au-dessous de la moyenne des plateformes propriétaires.
En 2019, Chamilo est 6% au-delà de la moyenne Open Source (+9% vs 2017), mais seulement 6% en-dessous de la moyenne des plateformes propriétaires (+17% vs 2017).
Son score moyen est également supérieur au score moyen de 3 plateformes propriétaires (Dokeos, FutureSkill et Triboo), et cela malgré le fait que les éditeurs aient eux-mêmes donné les réponses à leur formulaire (alors que Chamilo a fait l’objet d’une évaluation de spécialistes indépendants).
On notera aussi (même si ce n’est pas visible dans le graphique ci-dessus) que Chamilo est la deuxième plateforme Open Source en termes de score moyen, juste derrière Moodle (ce que nous contestons en détail ci-dessous).
Critères et méthode
Dans notre article de 2015, nous critiquions les critères et la méthode d’analyse. Les critères étant maintenant différents, il est forcément plus difficile de comparer. Cela dit, nous continuons de nous demander pourquoi la gestion des compétences (critères « Référentiels de compétences », « Badges » et « Portfolio ») n’apparaît pas comme un critère d’analyse pour les plateformes propriétaires, alors qu’il s’agit d’une catégorie intégrale pour les plateformes Open Source, soit 14.3% du score total.
La méthode (analyse sur base d’enquêtes aux éditeurs pour les propriétaires, analyse technique pour les Open Source) n’a pas changé. Nous continuons de la dénoncer même si, depuis 2016, le lecteur est au moins averti de la différence de méthode de façon plus explicite.
On retrouve donc (en page 10) une introduction aux critères qui nous parle de 6 thèmes d’évaluation, qui ne sont ensuite pas du tout respectés pour les plateformes Open Source… (aucune explication).
Enfin, on trouve en page 31 un lexique des critères d’évaluation, où « Interfaçage » (un des points forts des plateformes Open Source) est décrit comme « Fait d’interfacer, de mettre au point une interface, un protocole d’échange entre deux logiciels, deux circuits électroniques ». Pour une raison non documentée, ce critère ne fait pas du tout partie des plateformes Open Source, alors que seules 2 des plateformes propriétaires obtient moins de 3/5 (en d’autres termes, les plateformes propriétaires sont en moyenne largement avantagées par l’inclusion de ce critère).
Contact avec les éditeurs
Selon l’équipe de Stratice, en charge de l’évaluation des plateformes Open Source, il est difficile de pouvoir dédier le temps nécessaire à l’analyse des différentes plateformes. On est donc souvent confronté à un manque de connaissance des plateformes et, n’ayant pas à disposition de contact privilégié pour vérifier, on fait « selon les moyens du bord ».
Les guides 2016, 2017 et 2018 indiquaient, dans leur section « Méthodologie » au sujet des plateformes Open Source:
Si la méthode diffère pour ces plateformes, c’est parce qu’il n’existe ni fiche commerciale ni fiche technique. Difficile également d’avoir des contacts directs avec certains éditeurs open source.
Dans l’édition 2019, la mention de la difficulté des contacts avec certains éditeurs Open Source disparaît (étrangement). Cela n’implique cependant pas que le FFFOD ou Stratice soit entré en contact avec les-dits éditeurs.
Dans notre article antérieur, nous donnions une liste très claire de contacts, non seulement de l’association Chamilo, mais également de 7 autres plateformes Open Source. Cependant, aucun contact n’a été pris, en 4 ans déjà, avec l’équipe de Chamilo pour lui offrir la possibilité de répondre au même questionnaire que les éditeurs propriétaires. Nous sommes donc vraisemblablement face à une excuse de Stratice qui ne souhaite pas faire l’effort de contacter les-dits éditeurs. Sinon, comment expliquer ce manque de contact?
Opacité de « l’analyse détaillée »
Le guide continue:
Le benchmark à partir duquel les fiches ont été réalisées repose sur des tests effectués selon un protocole très précis. Certains des critères sont de ce fait difficiles à comparer entre propriétaires et open source.
En demandant à Stratice d’en savoir un peu plus, on apprend que Stratice propose l’accès à un benchmark des plateformes Open Source au travers du versement d’une cotisation annuelle de membre, et que la liste complète des critères est un secret professionnel. S’il est difficile de critiquer Stratice pour commercialiser un outil aussi détaillé, on lamentera tout de même le fait que leur invisibilité rende impossible une révision approfondie des éléments analysés, et d’un possible droit de regard dans le cas d’erreurs flagrantes. Cela finit, selon nous, par décrédibiliser l’analyse de Stratice.
Évaluation de Chamilo
Enfin, et parce que ce sujet nous tient évidemment plus à cœur, nous aimerions revenir sur l’évaluation de Chamilo dans ce guide 2019, en la comparant à l’évaluation de Moodle et en essayant de déterminer s’il existe réellement un biais (soit par paresse, soit par erreur) dans les évaluations de Stratice.
D’après notre évaluation, Chamilo obtient un score total de 81% contre 86% pour Moodle.
Cette section est assez longue, et si vous n’êtes pas intéressé par les différences entre Chamilo et Moodle, nous vous recommandons de passer directement aux conclusions.
Design et ergonomie
Le graphique global de comparaison nous ennuie à première vue sur un aspect essentiel: design et ergonomie. Si l’analyse de Stratice a fait progresser le score de Chamilo de 2/5 à 4.6/5 au fil des années, il arrive enfin au même score que Moodle pour ce critère en 2019.
Or, les autres analyses sont relativement claires: G2Crowd place Chamilo en première place en termes de facilité d’utilisation et d’administration.
Capterra, un autre site de comparaison de logiciels, plaçait Chamilo, en termes de « user friendliness » (facilité pour les utilisateurs, 14ème place), bien au-delà de Moodle en 2017.
Pourtant, Stratice maintient le fait que les critères suivants sont mieux rencontrés par Moodle:
- Personnalisation linguistique: Chamilo offre pourtant un mécanisme de jargons définissables directement *dans* la plateforme, sans outil externe, et supporte plus de 40 langues de base. De là à savoir ce qu’il faudrait faire pour être plus flexibles…
- Responsive design: Chamilo est totalement HTML5 responsive, et valide même les règles d’accessibilité WAI/WCAG au niveau AAA. Pour la première fois, Stratice reconnaît l’importance de ces points en 2019, en attribuant 5/5 à Chamilo contre 4/5 pour Moodle.
- Apps IOS et Android: s’il est vrai que l’application de Chamilo demande la personnalisation du logo et une procédure de compilation, elle existe bien et est disponible ici. Mais évidemment, qui ne demande rien (et ne recherche pas bien) n’a rien…
S’il est vrai que Chamilo ne permet pas l’adaptation des styles (autres que le logo) sans toucher un peu au code des feuilles de style, nous regrettons tout de même que l’usabilité ne soit pas du tout considérée comme un critère compensant ce défaut, alors que vous pouvez discuter avec n’importe qui ayant utilisé Moodle *et* Chamilo et il vous dira que l’interface de Chamilo est incroyablement plus claire et simple à utiliser.
C’est d’ailleurs l’un des avantages principaux qui permettent de convaincre de nouveaux prospects au moment de décider entre différents LMS (tant au niveau pédagogique qu’au niveau professionnel). Du coup, nous retrouver au-dessous de Moodle nous gène, parce que c’est un peu décrédibiliser tout le guide d’un coup. Quand on sait qu’un outil est généralement reconnu pour sa facilité d’utilisation, cela n’a pas de sens qu’en « design et ergonomie », il soit inférieur à un outil critiqué par tous pour sa complexité.
Gestion des utilisateurs
Pour ce critère, le guide de cette année donne 4.25/5 pour Chamilo et 5/5 pour Moodle. C’est *beaucoup mieux* qu’en 2018 (nous n’avions obtenu que 3/5) alors que rien n’a vraiment changé au niveau de Chamilo. Peut être que nos observations concernant l’existence de plus de 10 rôles de base dans Chamilo justifie à présent le fait que nous obtenions 4/5 en « Création de profils » alors que nous obtenions 0/5 en 2018.
Nous perdons un point sur le « Tracking », les « Inscriptions dans les formations » et l »Enregistrement/Authentification », ce qui nous semble injuste, mais difficile de connaître le détail.
Gestion de l’offre de formation
Pour une raison inconnue, nous perdons un point dans la « Création de catalogues ». Pas très clair. Chamilo propose pourtant un catalogue de cours accessible dès la première page pour les utilisateurs connectés, et qui peut être publié au monde extérieur au travers d’un changement de configuration (deux clics) ou de l’activation du module de vente de cours…
Cette année, nous obtenons le même score que Moodle (4/5). Pas de détail suffisant pour savoir à quoi se réfèrent les différents critères. Moodle perd quelques points dans cette catégorie cette année.
Création d’activités pédagogiques
Si nous reconnaissons la supériorité de Moodle pour un critère en particulier, c’est bien celui-ci. Moodle donne de possibilités additionnelles à Chamilo en termes de création de contenu pédagogique. En 2018, le FFFOD nous avait affublé d’un horrible 3/5. En 2019, nous obtenons un score de 4.3/5 (contre 4.6/5). Cela nous semble beaucoup plus correct.
Outils de communication
L’existence du réseau social dans Chamilo est enfin reconnue par le FFFOD comme un élément supplémentaire dans la qualification de cette catégorie, ce qui nous permet, avec beaucoup de plaisir, de passer au-delà de Moodle.
Le seul critère auquel nous ne correspondons pas (ni Moodle), c’est celui de la « Classe virtuelle intégrée ». Ce critère est un peu surprenant dans notre opinion, parce que:
- aucune des plateformes Open Source ne correspond
- les plateformes propriétaires n’incluent pas, à notre connaissance, une telle fonctionnalité non plus (c’est souvent une option et un service externe)
Gestion des compétences
Chamilo perd deux petits points sur les portfolios, alors que les profils utilisateurs peuvent être affichés dans le réseau social et sont totalement extensibles (fichiers et textes longs) à l’aide des « champs de profil ». Moodle, de son côté, nécessite la solution Elgg pour l’utilisation réelle des portfolios, donc nous ne sommes pas certains de ce qu’implique ce critère ici.
Technique
Depuis 2018, Chamilo bénéficie d’un score parfait au niveau technique (tout comme Moodle). Le score de 1/5 sur la simplicité d’installation pour Canvas, Claroline Connect et OpenEdX nous semble un peu bas et nous avons une certaine compassion avec eux sachant qu’avant 2018 Chamilo était affligé d’un score très bas simplement parce que Stratice ne parvenait pas à l’installer correctement (alors que des dizaines de milliers d’utilisateurs l’avaient déjà installé avec succès). Cela dit, si nous considérons que Moodle est plus fatiguant à installer que Chamilo, nous ne savons pas vraiment si cela a de l’importance dans le critère.
Introductions
La description de Moodle invite le lecteur à ouvrir grand les yeux:
Moodle est élaboré par une communauté de développeurs engagés, conduite par Moodle HQ, entreprise australienne de 30 développeurs, soutenue financièrement par un réseau d’environ 60 entreprises du monde entier. La version 3.5 est une version longue, elle est sortie en 2018 et sera maintenue jusqu’en 2021
La description de Chamilo se limite aux faits (incorrects et incomplets):
Chamilo est développé sous l’égide de l’association belge à but non lucratif Chamilo. Elle organise et coordonne la communauté
des développeurs. Des communautés locales d’utilisateurs existent.
En effet, il faut savoir que:
- l’Association Belge est à présent Espagnole (depuis 2015, quand même, soit 2 éditions du guide)
- notre communauté de développeurs est engagée, elle aussi
- la communauté de développeurs peut aussi être considérée comme « conduite par BeezNest, entreprise belge de 6 développeurs »
- l’Association est « soutenue financièrement par un réseau de 6 entreprises européennes »
- enfin, la version 1.11.8 est sortie le 15/08/2018
Nous déplorons la différence d’entrain notoire dans la présentation des deux solutions.
Conclusions
Dans l’ensemble, il est important de souligner qu’une comparaison telle qu’entreprise par Stratice pour le FFFOD requiert énormément de travail. Ce simple article d’analyse publié par nos soins a déjà engrangé plus de 10h d’efforts entres analyse, collection d’information pour démontrer nos arguments, comparaisons dans un tableur, révision des définitions, comparaison avec les guides des années antérieures, etc. Il est donc primordial de reconnaître et de remercier le FFFOD et Stratice pour le travail accompli, dont le but est, on ne saurait en douter, d’aider le public à trouver ses marques dans un environnement techniquement complexe.
Nous continuons cependant de déplorer 3 aspects essentiels qui nous semblent affecter grandement les solutions Open Source, et Chamilo dans certains cas:
- manque de précision ou de recherche de la perfection, utilisant des éléments de sources douteuses comme base de l’analyse
- manque d’impartialité, qui semble vouloir donner l’avantage à des solutions plus connues ou plus utilisées par Stratice
- manque d’équilibre entre solutions propriétaires et Open Source alors que celles-ci sont de plus en plus utilisées dans les entreprises (même si l’écart diminue, la moyenne des scores devrait être )
