Llama 3.2 3B Instruct
Réseau Neuronal
Llama 3.2 3B Instruct est un modèle de langage compact de Meta pour le dialogue et la synthèse, disponible sur BotHub.
Caractéristiques
- Entrée
- texte, images, documents
- Sortie
- texte
- Taille du contexte
- 131 072 tokens
- Longueur maximale de la réponse
- 117 964 tokens
- Fonctionnalités
- appel de fonctions
Coût du prompt
(par 1M tokens)
Coût de la réponse
(par 1M tokens)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-3b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-3b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Comment ça marche Llama 3.2 3B Instruct?
Llama 3.2 3B Instruct est un modèle de langage compact de Meta avec 3 milliards de paramètres, basé sur une architecture transformer moderne et optimisé pour le dialogue, le raisonnement et la synthèse de texte. Le multilinguisme est intégré au modèle, et sa petite taille le rend pratique là où la vitesse de réponse et le volume de traitement sont importants. Sur BotHub, il est accessible sans VPN ni carte étrangère : payez avec une carte russe en roubles uniquement pour ce que vous consommez réellement, et les jetons inutilisés ne sont pas perdus. Plus de 250 modèles sont disponibles dans la même fenêtre, permettant de comparer les réponses à une même requête. L'API compatible OpenAI permet de changer de modèle sans réécrire l'intégration. Les conversations sont chiffrées via AES-GCM et les données ne sont pas conservées. Idéal pour les chatbots, l'assistance de premier niveau, la synthèse de longs textes, rapports ou articles, le traitement préliminaire de grands volumes de texte avant transmission à un modèle plus lourd, et l'intégration dans des services nécessitant une couche linguistique rapide.Questions fréquentes sur Llama 3.2 3B Instruct
Vous pouvez utiliser les résultats générés à des fins commerciales. Tous les droits sur le contenu créé vous appartiennent. Seule restriction : vérifiez que la requête ne contient pas de contenus protégés par le droit d'auteur appartenant à des tiers. Le respect des droits sur les données d'entrée relève de votre responsabilité.
Le modèle traite le texte et les documents : synthèse, réécriture, réponses basées sur des fichiers téléchargés, extraction de données, brouillons et code simple. Il accepte des images en entrée et prend en charge l'appel de fonctions, ce qui facilite l'intégration dans des services. La fenêtre contextuelle de 131 072 jetons permet de conserver de longs documents dans le dialogue.
Jusqu'à 117 964 jetons par réponse, soit le volume d'un petit livre. Suffisant pour une analyse détaillée de document, un grand fragment de code ou une longue instruction. En pratique, la réponse est généralement plus courte : le modèle écrit autant que la tâche et votre prompt l'exigent.
Un mode de raisonnement étape par étape distinct n'est pas spécifié pour ce modèle dans nos données, la réponse est donc immédiate. Si vous avez besoin d'une chaîne de raisonnement, demandez dans votre prompt de décomposer la tâche étape par étape ; le cheminement de pensée sera alors visible directement dans le texte de la réponse.
Oui, les deux. Le modèle prend en charge l'appel de fonctions et la sortie JSON structurée, vous pouvez donc le connecter à vos outils, bases de données et API externes. Sur BotHub, cela fonctionne via une API unique compatible OpenAI, sans avoir à réécrire l'intégration.
Les images et les documents, oui, peuvent être envoyés au modèle avec votre question. L'audio et la vidéo ne sont pas pris en charge en entrée ; pour la transcription ou l'analyse d'enregistrements, sélectionnez un modèle spécialisé dans la même fenêtre BotHub et basculez dessus en un clic.
Dans nos données, la langue de travail n'est pas spécifiée séparément, nous ne ferons donc aucune promesse : testez-le sur votre tâche. C'est facile : sur BotHub, le paiement se fait à l'usage par jeton, sans abonnement, et d'autres modèles sont disponibles dans la même fenêtre pour comparaison.