Anthropic afferma che potrebbe essere vicina a un punto in cui i sistemi di IA accelerano in modo significativo lo sviluppo di IA più capaci. In una versione aggiornata del modulo S-1, l’azienda ha dichiarato che le sue stime interne e le aspettative relative ai modelli futuri indicano che potrebbe presto raggiungere la definizione, contenuta nella sua Responsible Scaling Policy, di «progresso drasticamente accelerato attribuibile all’IA».
Il documento afferma inoltre che Anthropic ha già utilizzato l’IA per sviluppare modelli i cui miglioramenti di capacità non aveva riconosciuto al momento. L’azienda ha avvertito che la ricerca e lo sviluppo assistiti dall’IA potrebbero progredire più rapidamente della sua capacità di sviluppare e attuare le corrispondenti misure di sicurezza, allineamento e protezione.
Il miglioramento ricorsivo di sé, o RSI, indica l’uso di sistemi di IA per contribuire a migliorare i sistemi che li seguono, accelerando potenzialmente i progressi in termini di capacità. Anthropic ha dichiarato di non aver designato alcun modello attuale come superiore alla propria soglia RSI e di stare ancora valutando i dati sottostanti.
L’azienda ha descritto questa possibilità sia come un’opportunità sia come un problema di sicurezza. Nel documento, Anthropic afferma di non prevedere di usare Claude per progettare e costruire autonomamente generazioni successive di modelli di frontiera, senza una supervisione o una comprensione umana significativa. Sta valutando modifiche alla propria Responsible Scaling Policy per mantenere gli esseri umani al controllo dello sviluppo dei modelli di frontiera.
Fonti: TechCrunch.