LangChain è un framework per costruire modelli linguistici di grandi dimensioni utilizzando l'intelligenza artificiale in modo che possa generare testo e interagire con gli esseri umani. L'asyncio è la libreria che può essere utilizzata per chiamare più volte un modello come LLM utilizzando lo stesso comando o query. Fornisce inoltre un aumento della velocità di funzionamento del nostro modello LLM per generare testo in modo efficiente.
Questo articolo dimostra come utilizzare la libreria 'asyncio' in LangChain.
Come utilizzare/eseguire la libreria “asyncio” in LangChain?
L'API asincrona può essere utilizzata come supporto per LLM, quindi per utilizzare la libreria asincrona in LangChain, segui semplicemente questa guida:
Installa i prerequisiti
Installa il modulo LangChain per iniziare a utilizzare la libreria asyncio in LangChain per chiamare contemporaneamente LLM:
pip installare langchain
Il modulo OpenAI è necessario anche per creare LLM utilizzando OpenAIEmbeddings:
pip installare openai
Dopo le installazioni, è sufficiente configurare la chiave API OpenAI utilizzando il seguente codice:
importaciimporta getpass
os.ambiente [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'Chiave API OpenAI:' )
Utilizzo di asyncio per creare LLM
La libreria asyncio può essere utilizzata per supportare LLM poiché il seguente codice la utilizza in LangChain:
importare tempoimporta asincio
#Importazione di librerie asincrone da LangChain per utilizzarlo
da langchain.llms importa OpenAI
#define la funzione per ottenere il timestamp della generazione seriale
def genera_seriale ( ) :
llm = OpenAI ( temperatura = 0.9 )
per _ In allineare ( 5 ) :
resp = llm.generate ( [ 'Cosa fai?' ] )
stampa ( risp.generazioni [ 0 ] [ 0 ] .testo )
#define la funzione per ottenere il timestamp della generazione sincrona
async def async_generate ( llm ) :
resp = attendi llm.agenerate ( [ 'Cosa fai?' ] )
stampa ( risp.generazioni [ 0 ] [ 0 ] .testo )
#define la funzione per ottenere il timestamp della generazione simultanea dei dati
async def generate_concurrently ( ) :
llm = OpenAI ( temperatura = 0.9 )
compiti = [ async_generate ( llm ) per _ In allineare ( 10 ) ]
attendono asyncio.gather ( * compiti )
#configura l'output risultante utilizzando asyncio per ottenere output simultaneo
s = tempo.perf_counter ( )
attendono di generare_contemporaneamente ( )
trascorso = tempo.perf_counter ( ) - S
stampa ( '\033[1m' + f 'Eseguito contemporaneamente in {elapsed:0.2f} secondi.' + '\033[0m' )
#configura il timestamp per l'output risultante per ottenere l'output seriale
s = tempo.perf_counter ( )
generare_seriale ( )
trascorso = tempo.perf_counter ( ) - S
stampa ( '\033[1m' + f 'Seriale eseguito in {elapsed:0.2f} secondi.' + '\033[0m' )
Il codice precedente utilizza la libreria asyncio per misurare il tempo di generazione dei testi utilizzando due funzioni distinte come generare_seriale() E generare_contemporaneamente() :
Produzione
La schermata seguente mostra che la complessità temporale sia per le funzioni che la complessità temporale della generazione simultanea di testo è migliore rispetto alla generazione di testo seriale:
Si tratta di utilizzare la libreria 'asyncio' per creare LLM in LangChain.
Conclusione
Per utilizzare la libreria asyncio in LangChain, installa semplicemente i moduli LangChain e OpenAI per iniziare il processo. L'API Async può essere utile durante la creazione di un modello LLM per la creazione di chatbot per imparare dalle conversazioni precedenti. Questa guida ha spiegato il processo di utilizzo della libreria asyncio per supportare i LLM utilizzando il framework LangChain.