Fastly, Inc., en ledande global leverantör av innehållsnätverk och edgelösningar, lanserar Fastly AI Accelerator, deras första AI-lösning för att förbättra utvecklares prestanda och minska kostnaderna för applikationer som använder stora språkmodeller (LLM).
Mindre modeller och effektivare lösningar
Stephen O’Grady, chefsanalytiker på RedMonk, påpekar att AI och stora språkmodeller har förändrat techbranschen och arbetsmetoderna för många. Trots hypen kring stora språkmodeller ser han en trend där utvecklare och företag i allt högre grad väljer mindre modeller för att minska kostnader och spara tid. Dessa mindre modeller är snabbare att träna och kräver mer lättillgänglig hårdvara.
Fördelar med semantisk cachelagring
Fastly AI Accelerator använder intelligent semantisk cachelagring för att minska API-anrop och kostnader. Byggd på Fastlys Edge Cloud Platform, använder denna teknik avancerad cachelagring för att lagra data intelligent, vilket minskar behovet av att hämta information från externa källor. Detta optimerar prestandan för applikationer som använder stora språkmodeller. Initialt stöder Fastly AI Accelerator ChatGPT, men fler modeller kommer att läggas till.
Populära AI-applikationer hanterar hundratusentals API-anrop varje dag, varav många är snarlika. Utan semantisk cachelagring kräver varje anrop en direktkontakt med leverantören, vilket kostar både tid och pengar. Genom att använda semantisk cachelagring kan Fastly AI Accelerator spara och återanvända svar på liknande frågor direkt från Fastlys edge-plattform, vilket sparar både tid och kostnader.
– Fastly tycker det är viktigt att alltid lyssna på utvecklare för att förstå både vad de är entusiastiska över och vilka deras utmaningar är, säger Anil Dash, Vice President of Developer Experience på Fastly.
Enkel integration och förbättrad effektivitet
Utvecklare behöver bara uppdatera sin app för att använda en ny API-slutpunkt, oftast genom att ändra en enda kodrad. Fastly AI Accelerator implementerar sedan semantisk cachelagring för OpenAI-kompatibla API, vilket innebär att den förstår sammanhanget i förfrågningar och kan ge liknande svar på liknande frågor.
– Med Fastly AI Accelerator hjälper vi utvecklare att göra deras språkmodeller snabbare och effektivare, så att de kan fokusera på det som gör deras app eller webbplats unik, avslutar Anil Dash.
Snabb start med utökat gratiskonto
Fastly erbjuder ett utökat gratiskonto för att hjälpa utvecklare att snabbt komma igång. De får tillgång till Fastlys Content Delivery Network (CDN), gott om minne och lagring, samt en rad verktyg för säkerhet och prestandaövervakning. Mer information finns på Fastlys webbplats: fastly.com/ai.
