Il peut être nécessaire, notamment pour recueillir les besoins et opinions des utilisateurs, de concevoir un questionnaire. Il permet le recueil de données subjectives relatives aux opinions, satisfaction, croyances, auto-description, connaissances, comportements, usages ou intentions d’utilisateurs donnés (un échantillon), choisi comme étant représentatif de la population d’ensemble dont ils ont été extraits, et pour laquelle on veut avoir un certain nombre d’informations.
Préparation
Le travail de conception d’un questionnaire passe notamment par la mise en œuvre des étapes suivantes:
- Définir et sélectionner un échantillon de personnes à interroger.
- Définir quelles informations on souhaite recueillir grâce à ce questionnaire, et, le cas échéant, quelles hypothèses on veut mettre à l’épreuve.
- Concevoir les questions : formulation, ordre, questions fermées, ouvertes, etc.
- Mettre en œuvre la passation du questionnaire (version papier distribuée/collectée ou en ligne)
- Organiser la saisie et traiter les résultats : tris à plat, tris croisés, statistiques descriptives et inférentielles.
L’échantillonnage permet de définir qui l’on veut interroger, c’est-à-dire la population cible. Le plus souvent, et sur de petits échantillons, on se contentera de prélever aléatoirement au sein de cette population-cible, considérée comme homogène (par exemple, l’ensemble des utilisateurs de telle ou telle interface a pour point commun d’en être utilisateurs). Toutefois, on pourra utiliser une méthode d’échantillonnage empirique s’appuyant sur des quotas connus ou supposés. On essaiera ainsi de faire en sorte que l’échantillon soit représentatif des caractéristiques de la population mère : par exemple l’âge, le sexe, la situation familiale, le lieu d’habitation, la profession, le niveau de revenu.
Conception
Une fois que les travaux préliminaires de cadrage ont permis de déterminer le type de renseignements et d’informations que l’on veut collecter, il faut élaborer le questionnaire à proprement parler. Un certain nombre de règles sont à respecter pour réussir l’exercice :
- Structurer le questionnaire en commençant par les questions les plus simples et générales pour finir avec les plus compliquées et personnelles.
- Limiter le nombre de questions, et se limiter aux questions utiles.
- Poser des questions courtes et facilement compréhensibles (éviter les ambivalences). Eviter les doubles négations, les formes verbales passives, s’assurer que les termes employés sont connus du public visé. La valeur affective des mots doit être prise en compte, et la formulation des questions ne doit pas être connotée.
- Choisir les types de questions en fonction des buts poursuivis et de l’analyse que l’on veut en faire par la suite :
- Questions fermées (la collecte des réponses est simple et fiable : il suffit de cocher la réponse choisie. Toutefois, cet effort de simplification peut être réducteur, et ne pas permettre le recueil de nuances plus fines dans l’expression des réponses).
- A choix unique (ex : âge, sexe, etc.).
- A choix multiples.
- Questions ouvertes (informatives, mais difficiles à dépouiller et à traiter car elles nécessitent un post-codage. Celui-ci consiste à regrouper dans des catégories, les plus homogènes possibles, les réponses données à une question ouverte. L’exercice est difficile, subjectif et fastidieux. Des méthodes automatiques peuvent être compliquées et coûteuses à mettre en oeuvre).
- Question à « échelles » (de type échelle de Lykert, permettent de mesurer un avis sur un ensemble de points se distribuant entre deux valeurs extrêmes ex : de « tout à fait d’accord » à « pas du tout d’accord»). Le cas échéant et en fonction des objectifs poursuivis, on choisira des échelles impaires ou paires, afin de permettre (ou pas) aux répondants d’exprimer dans leurs réponses une position neutre ou médiane (échelles impaires).
- Questions « contrôle » (ce type de questions ne sert qu’à s’assurer que les répondants remplissent le questionnaire sérieusement. La (ou les) questions contrôle peut par exemple tester la cohérence des réponses proposées afin de mettre en lumière les personnes « laxistes » dans leur lecture des questions.
Traitement des résultats
Une fois collectés les résultats, il faut procéder à leur traitement. Celui-ci commence par des opérations de « nettoyage » des données : détection de valeurs aberrantes, effets plafond ou plancher (concentration de toutes les réponses sur une valeur extrême) et recodage de variables (notamment dans le cadre des traitements relatifs aux questions ouvertes). Ensuite vient le traitement des données à proprement parler : tris à plat (Les tris à plat permettent d’obtenir la répartition des réponses et se matérialisent par des « tableaux de fréquences ».) et tris croisés (Les tris croisés sont une extension à plusieurs variables des tris à plat. Ils permettent de croiser les données de différents tris à plat, par exemple le croisement des réponses et des informations de profil. C’est une mise en relation des résultats à plusieurs questions.). Dans ce dernier cas, il est possible de réaliser des traitements statistiques inférentiels plus élaborés, qui permettent de déterminer s’il existe des « effets » dans la façon dont les personnes répondent aux questions :
– Distribution des réponses au hasard ou non.
– Groupes de questions liées entre elles (corrélation, analyse factorielle)
– Groupes de répondants (analyse discriminante).
– Différences entre groupes (analyse de variance, paramétrique ou non).
– Prédiction des réponses à une question à partir d’une autre (régressions).
On pensera notamment au test du KHI 2, pratiqué depuis le début du XXe siècle, qui a pour objet de mesurer les variations de distributions de variables dans différentes populations pour vérifier si cet écart est statistiquement significatif.