Google vult zijn achtste generatie AI-chips aan met een afgeschermde versie voor gevoelige data en een dubbele chip voor zeer lange invoer
Met de TPU 8tx en de TPU 8i Max richt Google zich op overheden en bedrijven met strenge regels en op agenten die enorme hoeveelheden tekst of video moeten verwerken.
Google heeft maandag twee nieuwe varianten van zijn eigen AI-chips voorgesteld, de Tensor Processing Units. De familie van de achtste generatie telt daarmee vier systemen, schrijft Nasi Lemak Tech: naast de bestaande 8t voor training en 8i voor snel redeneren komen nu de 8tx en de 8i Max.
De TPU 8tx gebruikt dezelfde chip als de 8t, gekoppeld aan processoren van AMD uit de vijfde EPYC-generatie. Volgens Analytics India Magazine is de beveiliging in de hardware ingebouwd, zodat gegevens en modelgewichten ook tijdens de berekening afgeschermd blijven. Dat moet sectoren met strenge regels, zoals overheden, toelaten eigen modellen op gevoelige data te trainen en te draaien. Google spreekt van een tot twee keer lagere vertraging dan bij de 8t, met amper prestatieverlies.
De TPU 8i Max zet twee 8i-chips samen in één behuizing en biedt zo het dubbele aan rekenkracht, snel geheugen en geheugenbandbreedte, in dezelfde ruimte in het rack. De chip is bedoeld voor agenten die met contexten van een miljoen tokens werken, zoals volledige codebases of uren video. Prijzen en een leverdatum gaf Google niet. Het bedrijf zegt wel dat zijn TPU-tak bijna honderd klanten telt en dat het de chips ook rechtstreeks in datacenters van klanten wil plaatsen.