L’intelligenza artificiale è la spesa aziendale in più rapida crescita. Alcune aziende stanno tagliando i costi passando a modelli di intelligenza artificiale cinesi più economici.
Imen Ben Youssef/Hans Lucas/AFP tramite Getty Images
Nascondi titolo
Cambia titolo
Imen Ben Youssef/Hans Lucas/AFP tramite Getty Images
SAN FRANCISCO — Lindy.ai, la startup di Flo Crivello con sede a San Francisco, crea “assistenti” di intelligenza artificiale per gestire la posta elettronica e il calendario. Inizialmente, l’azienda faceva molto affidamento sui modelli di intelligenza artificiale top di gamma di Anthropic.
Ma dopo un incontro con il suo responsabile finanziario, ha detto Crivello, una cosa è diventata chiara: “Di gran lunga, la nostra spesa numero 1 era antropica”, ha detto. “Più che buste paga.”
Più che buste paga: per due dozzine di dipendenti. Altro che affitto. Più di ogni altra cosa. Quindi il mese scorso, Crivello Annunciato Lindy ha spostato il 100% del suo traffico su un modello AI cinese DeepSeq-V4.
“È solo 10 volte più economico”, ha detto, il che ha fatto risparmiare all’azienda milioni di dollari. “Quindi è una decisione aziendale molto, molto semplice.”
L’intelligenza artificiale lo è diventata, ma non lo è IL – Costi in rapido aumento per le imprese statunitensi. Ma per molte aziende si tratta di un’arma a doppio taglio: necessaria ma costosa. Per sopravvivere, un numero crescente di aziende sta passando dai modelli americani all’intelligenza artificiale cinese più economica.
Nella corsa per costruire i migliori modelli di intelligenza artificiale, aziende statunitensi come Anthropic, OpenAI e Google sono leader a livello mondiale. Gli esperti affermano che i modelli cinesi sono indietro di sei-dodici mesi in termini di capacità.
Ma la Cina si è ritagliata una nicchia nei modelli open source che possono essere scaricati e adattati gratuitamente. “In questo momento la scena open source è completamente dominata dai cinesi. Non ci siamo nemmeno avvicinati”, ha detto Crivello.
Ha detto che ogni imprenditore che conosce e che lavora nel campo dell’intelligenza artificiale sta pensando di passare ai modelli cinesi o lo ha già fatto.
E i costi crescenti dell’intelligenza artificiale non sono solo l’inizio del problema. Il CEO di Uber, Dara Khosrowshahi, ne ha parlato il mese scorso Meglio come investire podcast. “Abbiamo esaurito il nostro budget per l’intelligenza artificiale in un trimestre, essenzialmente per l’intero anno. E questo ci costringe ad adeguarci”, ha affermato.
(Uber non ha risposto alla richiesta di NPR di informazioni sull’utilizzo di modelli cinesi.)
Bloomberg riportato Il CEO di Airbnb Brian Chesky ha affermato che l’anno scorso la società si è basata sul modello Quen di Alibaba, che è “migliore”, “più veloce ed economico”. confusione E Nvidia Viene utilizzato anche Quen.
Come una Ferrari o una Honda
Molte aziende sono caute nel strombazzare il loro utilizzo di modelli cinesi a causa di sensibilità politiche, ma i modelli sono ampiamente disponibili sugli hub di modelli di intelligenza artificiale. Come Hugging Face, la piattaforma di hosting del codice si trova su GitHub e tramite aggregatori di modelli e fornitori di inferenza al di fuori della Cina.
Ciò include la società Featherless con sede a San Francisco, che fornisce l’accesso a quasi 30.000 modelli di intelligenza artificiale. Il fondatore e CEO Eugene Cheah afferma che i modelli cinesi sono popolari anche se non sono modelli “di frontiera”, o i migliori della categoria.
“È come la differenza tra guidare una Ferrari e una Honda. Puoi avere l’auto di lusso per eccellenza o puoi avere una Honda in scala reale”, ha detto.
“In effetti, la maggior parte dei gruppi di intelligenza artificiale open source sono molto bravi a posizionarsi sul confine N-1, N”, ha continuato. “Poiché il divario continua a ridursi, a un certo punto la domanda diventa: ha davvero importanza?”
Per molti, come Lindy, non ha importanza. La Honda di AI è decisamente fantastica.
OpenRouter, un’altra piattaforma in cui le startup possono accedere a una gamma di modelli di intelligenza artificiale, riferisce che l’utilizzo di DeepSeek in Cina è cresciuto da circa il 9% a circa il 20% da gennaio. Anche aziende cinesi come i modelli Minimax, Xiaomi e Tencent hanno visto un aumento dell’utilizzo.
Alcuni utenti scaricano e ospitano autonomamente modelli di intelligenza artificiale cinesi open source, ma molti li utilizzano tramite società di hosting di intelligenza artificiale a pagamento come Featherless e OpenRouter, in modo che i dati degli utenti vengano conservati negli Stati Uniti.
Victor Su-Ortiz, responsabile marketing globale dei prodotti presso MiniMax con sede a Shanghai, ha partecipato a una recente conferenza di ingegneri dell’intelligenza artificiale a San Francisco. Le aziende pagano per utilizzare i modelli di intelligenza artificiale pagando gettoni o unità di lavoro dell’intelligenza artificiale. Tutto si riduce al prezzo per token, ha detto Su-Ortiz.
Rispetto ai modelli di intelligenza artificiale più diffusi, afferma, “un modello performante può svolgere molte attività ripetitive, ma ha un costo per token molto inferiore”. “Ed essenzialmente ha portato questi modelli a peso aperto negli Stati Uniti.”
Le aziende si stanno allontanando dal “tokenmaxing” (utilizzando quanta più intelligenza artificiale possibile) limitandone l’utilizzo, passando a modelli più economici o risparmiando sui costi indirizzando diversi tipi di lavoro di intelligenza artificiale a modelli diversi, ha affermato.
Per la ricerca o il “ragionamento profondo”, ad esempio, i modelli all’avanguardia funzionano meglio, ha affermato Su-Ortiz. “Ma se sei interessato a un’attività di codifica ripetitiva e ad alto volume… è qui che uno dei nostri modelli, in particolare il MiniMax M3, offre prestazioni eccezionalmente buone a solo un decimo del costo.”
Risparmiare qualche dollaro non conviene a tutti
Per alcune aziende i modelli cinesi non sono ancora sufficienti. Jon Gordner è il CEO e co-fondatore di Comment.io, che è stato fondato poche settimane fa e sta sviluppando un prodotto che, a suo dire, è come Google Docs per programmatori e agenti di intelligenza artificiale.
“Dobbiamo creare il miglior software possibile il più presto possibile. E per noi, se dobbiamo spendere altre due o tre settimane per correggere gli errori, non vale la pena risparmiare qualche dollaro a un prezzo inferiore”, ha detto.
Gordner afferma che la sua azienda sta ottenendo un pezzo dai modelli Anthropic e OpenAI, poiché entrambe le società sovvenzionano gli utenti per attirarli. Ha detto che gli abbonamenti mensili ora offrono gettoni con un enorme sconto, ma probabilmente non sarà per sempre.
“Quindi per noi ha molto senso iniziare a valutare i modelli cinesi e quelli open source”, ha affermato.
Ara Kharazian è il capo economista di Ramp, che aiuta le aziende a monitorare, controllare e automatizzare la spesa. Ha una visione approfondita della spesa per l’intelligenza artificiale e Kharazian afferma di ritenere che le aziende statunitensi saranno adattabili – in altre parole, potrebbero contenere i prezzi o introdurre modelli open source di alta qualità nel tentativo di superare i rivali cinesi.
“L’ascesa di questi modelli cinesi indica il fatto che le aziende vogliono ciò che le aziende modello americane non offrono oggi”, ha affermato. “L’unico motivo per cui sono ribassista sui modelli cinesi è perché penso che le aziende modello americane risponderanno in modo competitivo.”
Gordner, di Comment.io, è meno sicuro. Pensa che le principali società statunitensi di intelligenza artificiale dovranno iniziare a far pagare Di più Aumenterà la pressione affinché l’intelligenza artificiale dimostri redditività, forse man mano che si avvicinano alla quotazione in borsa. Entrambi antropico E OpenAI ha presentato documenti riservati al governo degli Stati Uniti per avviare finalmente le offerte pubbliche iniziali.
“Ad un certo punto”, ha detto Gordner, “la musica si ferma”.
Anthropic è un sostenitore finanziario di NPR.