Featherless AI, fondée en 2023, est une plateforme d'inférence serverless qui propose un accès instantané à plus de 20 000 modèles open-source. Son innovation clé repose sur une technologie de hot-swapping permettant de changer de modèle en moins de cinq secondes, réduisant ainsi le temps d'inactivité des GPU et abaissant les coûts d'inférence d'un facteur supérieur à 100.
La société se positionne dans plusieurs domaines techniques avancés : l'inférence serverless, la recherche sur les modèles post-transformer, l'optimisation des modèles et la recherche en intelligence artificielle open-source. Featherless AI affirme avoir créé le plus grand modèle d'IA au monde sans mécanisme d'attention transformer, avec un coût d'inférence réduit d'un facteur 1 000.
La plateforme s'adresse aux développeurs et entreprises cherchant à déployer des modèles d'IA de manière efficace et économique, sans gérer d'infrastructure GPU dédiée. Le modèle serverless et la rapidité du hot-swapping visent à simplifier l'expérimentation et la mise en production de modèles variés.
