Photo de israel palacio sur Unsplash

Call For Paper - Appel à contributions Le processus du CFP

La processus de sélection

Vous avez été nombreux à nous poser des questions concernant le processus de sélection du DevFest Toulouse: Qui participe aux votes? Quels types de critères sont mis en place? Qu’est-ce qui fait qu’une proposition était acceptée ou non? etc. Que vous ayez proposé ou non une conférence, ces questions sont tout à fait légitimes et nous souhaitons être le plus transparent possible avec vous là dessus. Ce billet va vous expliquer les grandes étapes de notre processus de sélection.

Tout d’abord, voici quelques chiffres sur les propositions de conférences que nous avons reçues sur l’édition 2019:

Encore un grand merci pour toutes vos propositions ! Uniquement 28 conférences et 8 lightnings talks devaient être sélectionnés parmis toutes ces propositions. Comme vous vous en doutez probablement, avoir à choisir parmis 320 conférences afin d’en sélectionner que 28 sur un évènement autour du développement logiciel généraliste (pour ne parler que des conférences !) est loin d’être facile.

Nous avons donc mis en place un processus qui nous permette d’être le plus objectif possible lors des sélections. Voyons maintenant à quoi il ressemble.

L’appel des communautés

A Toulouse, nous avons la chance d’avoir un grand nombre de communautés actives sur des domaines techniques variées autour du développement logiciel. Au sein de l'équipe organisatrice du Devfest, plusieurs communautés sont déjà représentées (GDG, TDS, Duchess, DevOps, …). L’an dernier, à titre d’expérimentation, nous avons invité d’autres communautés Toulousaines actives à venir participer aux votes du CFP.

Voici les communautés ayant participé aux votes:

Nous pensons que la diversité techniques des votants permettrait de trouver un meilleur équilibre sur les notations des différentes propositions et ainsi résulterait en une sélection globale des conférences de meilleure qualité pour tous les participants.

Les règles générales

Voici les règles globales qui encadraient le CFP:

Le processus de sélection (aka “the Bitardo method”)

Voici les grandes étapes du processus de sélection que nous avons suivi durant l’évènement 2019.

Etape 1 - Récolte des propositions

Le CFP est ouvert durant 2 mois. Durant cette période, les conférenciers soumettent leurs propositions sur https://conference-hall.io/. Tous les membres du comité de sélection passent en revue et votent (de 1 ) 5) toutes les propositions. La plateforme permet aux votants et conférenciers d’échanger entre eux afin de clarifier les propositions et poser/répondre à des questions si nécessaire, tout au long du processus de sélection.

Etape 2 - Sélection “Early” speakers

A mi-CFP, l’équipe se réunit pour choisir des “early” speakers parmis les propositions ayant été faites sur la première moitié d’ouverture du CFP. Durant cette réunion, chacun doit venir avec deux choix de speakers: un premier valant deux point et un autre valant 1 point. On fait la somme, on retire les doublons et l’on adapte pour diversifier si besoin. L’an dernier, nous avons sélectionné 4 “early” speakers.

Le but étant de commencer à faire des annonces afin de promouvoir l'événement et inciter un maximum de personnes à soumettre des propositions.

Tous les speakers qui ne sont pas sélectionnés sur cette phase sont traités égalitairement lors de la prochaine étape de sélection.

Etape 3 - Clôture CFP et présélection

En fonction du nombre de places disponibles lors de l'événement par format, nous prenons les 1,5x premier talks ordonné par notes sur conference-hall. Par exemple sur la précédente édition, nous avions au total 28 places de conférences (7 x 4 salles) et 8 lightning talks (2 x 4) disponibles. Comme nous avions déjà sélectionné 4 “early” speakers, nous avons donc présélectionné les 36 conférences et 12 lightning talks les mieux notés sur conference-hall.

A ce moment, chaque votant peut optionnellement repêcher une proposition qui n’aurait pas été retenue et pour laquelle il voudrait la remettre dans la liste présélectionnée.

Etape 4 - Affinement par méthode de Condorcet

Sur cette présélection, chaque votant doit ensuite effectuer un ordonnancement par méthode de Condorcet (un par format). A la fin du vote, nous obtenons une liste ordonnée et pondérée. Les 28 premières conférences et les 8 premiers lightning talks correspondent alors à la liste finale des propositions qui seront sélectionnées. Bien que cela demande un peu plus de travail pour les votants, nous avons utilisé cette méthode les 2 dernières années et les résultats ont été très satisfaisants à chaque fois.

Etape 5 - Délibération finale

Nous nous réunissons ensuite pour effectuer une délibération finale afin de s’assurer: Que les propositions sont biens équilibrés: pas de propositions trop similaire, pas trop de propositions d’une certaine catégorie, … Que le critère (25% de talks en Anglais) soit bien respecté

A la fin, nous obtenons une liste finale de propositions. Il faut alors contacter tous les speakers pour s’assurer qu’ils/elles confirment bien leur présence. Cela peut amener quelques changements en cas de désistement, auquel cas nous sélectionnons une proposition parmi celles restantes dans la présélection.

Nous avons utilisé cette méthode de sélection durant les deux derniers évènements et avons pu constater (côté organisation et personnes votantes) que bien que cette méthode de sélection nous demande à tous un peu plus de travail (notamment l’affinage par méthode de Condorcet), la sélection finale était équilibrée et reflétait généralement bien l’ensemble des propositions reçues (catégories / niveau attendu).

Nous sommes également très contents d’avoir invité les communautés Toulousaines à venir partager leur avis et expertise à la notation des propositions. Un grand Merci à elles ! Nous souhaitons de nouveau réitérer cela durant la prochaine édition, en invitant encore plus de communautés actives à nous rejoindre lors de la sélection.

Encore l’an dernier, vous avez été très nombreux à nous faire de bons retours sur la sélection des conférences et nous en sommes très heureux!

Bien sûr, rien n’est parfait et nous allons continuer d’affiner ce processus au fil des évènements. Malgré le fait que la sélection des sujets soit toujours aussi difficile, notre objectif est toujours aussi simple: vous offrir une sélection de qualité à tous!

Encore des questions? N’hésitez surtout pas à nous contacter si vous le souhaitez, nous serons ravis d’en discuter plus en détails.