Il est une vérité universelle de la nature humaine que les développeurs qui construisent le code ne devraient pas être ceux qui le testent. Tout d'abord, la plupart d'entre eux détestent cette tâche. Deuxièmement, comme tout bon protocole d'audit, ceux qui effectuent le travail ne devraient pas être ceux qui le vérifient.

Il n'est donc pas surprenant que les tests de code sous toutes leurs formes - tests d'utilisabilité, tests spécifiques au langage ou à la tâche, tests de bout en bout - soient au centre de l'attention d'un nombre croissant de start-ups en IA générative. Chaque semaine, TechCrunch couvre une autre comme Antithesis (levée de fonds de 47 millions de dollars), CodiumAI (levée de fonds de 11 millions de dollars) et QA Wolf (levée de fonds de 20 millions de dollars). Et de nouvelles émergent tout le temps, comme le récent diplômé de Y Combinator Momentic.

Une autre start-up en vigueur depuis un an est Nova AI, un diplômé de l'accélérateur Unusual Academy qui a levé un tour de pré-amorçage de 1 million de dollars. Elle tente de surpasser ses concurrents avec ses outils de test de bout en bout en brisant bon nombre des règles de fonctionnement des start-ups de la Silicon Valley, selon le fondateur et PDG Zach Smith, qui l'a révélé à TechCrunch.

Alors que l'approche standard de Y Combinator est de commencer petit, Nova AI vise les moyennes et grandes entreprises avec des bases de code complexes et un besoin urgent. Smith a refusé de nommer des clients utilisant ou testant son produit, si ce n'est pour les décrire comme principalement des start-ups en fin de phase (série C ou au-delà) financées par des capitaux-risqueurs dans le commerce électronique, la fintech ou les produits de consommation, et les "expériences utilisateur intensives. Les temps d'arrêt pour ces fonctionnalités coûtent cher."

La technologie de Nova AI parcourt le code de ses clients pour créer automatiquement des tests à l'aide de GenAI. Elle est particulièrement adaptée aux environnements d'intégration et de déploiement continus (CI/CD) où les ingénieurs expédient constamment des morceaux dans leur code de production.

L'idée de Nova AI est venue des expériences vécues par Smith et son co-fondateur Jeffrey Shih lorsqu'ils étaient ingénieurs travaillant pour de grandes entreprises de technologie. Smith est un ancien de Google qui a travaillé dans des équipes liées au cloud et qui ont aidé les clients à utiliser beaucoup de technologie d'automatisation. Shih a déjà travaillé chez Meta (également chez Unity et Microsoft avant cela) avec une spécialité rare en IA impliquant des données synthétiques. Ils ont depuis ajouté un troisième cofondateur, le data scientist en IA Henry Li.

Une autre règle que Nova AI ne suit pas : alors que des tonnes de start-ups en IA se construisent sur le GPT de pointe d'OpenAI, Nova AI utilise autant que possible le Chat GPT-4 d'OpenAI. Aucune donnée client n'est fournie à OpenAI.

Alors qu'OpenAI promet que les données de ceux qui sont sur un plan d'entreprise payant ne sont pas utilisées pour entraîner ses modèles, les entreprises ne font toujours pas confiance à OpenAI, déclare Smith. "Lorsque nous parlons à de grandes entreprises, elles nous disent : 'Nous ne voulons pas que nos données aillent chez OpenAI," a déclaré Smith.

Les équipes d'ingénierie des grandes entreprises ne sont pas les seules à ressentir cette méfiance. OpenAI est en train d'affronter plusieurs procès de la part de ceux qui ne veulent pas que leur travail soit utilisé pour l'entraînement de modèles, ou qui pensent que leur travail s'est retrouvé, non autorisé et non rémunéré, dans ses sorties.

À la place, Nova AI s'appuie fortement sur des modèles open source comme Llama développé par Meta et StarCoder (provenant de la communauté BigCoder, développé par ServiceNow et Hugging Face), ainsi que sur la construction de ses propres modèles. Ils n'utilisent pas encore Gemma de Google avec les clients, mais l'ont testé et "ont vu de bons résultats", explique Smith.

Par exemple, il explique qu'OpenAI offre des modèles pour les plongements vectoriels. Les plongements vectoriels traduisent des morceaux de texte en nombres afin que le LMM puisse effectuer diverses opérations, comme les regrouper avec d'autres morceaux de texte similaire. Nova AI n'utilise pas les plongements d'OpenAI et utilise plutôt l'open source pour cela sur le code source du client. Il utilise les outils OpenAI uniquement pour l'aider à générer un peu de code et à effectuer des tâches d'étiquetage, et s'efforce de ne pas envoyer de données client à OpenAI.

"Dans ce cas, au lieu d'utiliser les modèles d'intégration d'OpenAI, nous déployons nos propres modèles d'intégration open source pour que lorsque nous avons besoin de passer en revue chaque fichier, nous ne l'envoyons pas simplement à OpenAI," explique Smith.

Alors que ne pas envoyer de données client à OpenAI rassure les entreprises nerveuses, les modèles open source en IA sont également moins chers et plus que suffisants pour effectuer des tâches spécifiques ciblées, a constaté Smith. Dans ce cas, ils fonctionnent bien pour écrire des tests.

Le domaine des modèles open LLM prouve vraiment qu'ils peuvent battre le GPT 4 et ces grands fournisseurs de domaine, lorsque l'on va vraiment étroitement, a-t-il dit. "Nous n'avons pas à fournir un modèle massif qui peut vous dire ce que veut votre grand-mère pour son anniversaire. D'accord ? Nous devons écrire un test. Et c'est tout. Donc nos modèles sont optimisés spécifiquement pour cela."

Les modèles open source progressent également rapidement. Par exemple, Meta a récemment introduit une nouvelle version de Llama qui recueille des éloges dans les cercles technologiques et qui pourrait convaincre davantage de start-ups en IA de regarder les alternatives à OpenAI.