SynaLinks è un team di ricerca applicata tanto quanto un team di ingegneria. Scriviamo i framework con cui si costruiscono i sistemi di IA, e mettiamo alla prova le nostre idee con esperimenti controllati e riproducibili, pubblicati insieme al loro codice.
Un sistema di IA regge nel tempo? Come lo si migliora quando il modello non è vostro? Come si dimostra che una risposta è corretta, e non solo plausibile? Queste domande si risolvono in produzione, presso i nostri clienti, e i materiali dei fornitori raramente vi rispondono.
Per questo le trattiamo come domande di ricerca. Formuliamo un'ipotesi, costruiamo l'esperimento che potrebbe confutarla, misuriamo e pubblichiamo il risultato. Richiede più tempo, ma quando vi diciamo che cosa funzionerà sui vostri dati, possiamo mostrarvi le prove.
Ognuno di questi temi si trova nei nostri repository open source, dove chiunque può leggere il codice.
Migliorare un sistema di IA senza riaddestrare un solo peso: le sue istruzioni e i suoi esempi vengono ottimizzati rispetto a una ricompensa misurabile, come si addestrerebbe un modello. È ciò che rende possibile il miglioramento continuo quando il modello non è vostro.
Come sapere che un sistema risponde correttamente, e che non è peggiorato da ieri. Dataset sintetici, giudici automatici, metriche per gli agenti e test di regressione quando il modello sottostante viene sostituito.
Vincolare un modello linguistico con struttura e logica: output validi per costruzione, un ragionamento che si può esaminare e conclusioni che risalgono alle loro premesse anziché a un'intuizione statistica.
Trasformare documenti in grafi utilizzabili da un sistema, poi interrogare quei grafi: ricerca locale per domande precise, ricerca globale per domande che riguardano un intero corpus.
Un agente che scrive ed esegue codice è utile, e anche pericoloso. Lavoriamo per confinarlo: isolamento del filesystem, chiamate di sistema limitate, accesso alla rete controllato, permessi concessi in modo esplicito e non per impostazione predefinita.
Pipeline in cui il modello produce i propri esempi, il livello simbolico li verifica e scarta ciò che non regge, e solo ciò che supera il controllo alimenta il passaggio successivo. L'obiettivo è migliorare in un dominio senza coinvolgere i vostri esperti a ogni iterazione.
La maggior parte dei “benchmark” pubblicati confronta in realtà due sistemi che differiscono in dieci aspetti contemporaneamente. Queste sono le regole che ci imponiamo perché i nostri numeri abbiano un significato.
Partiamo da una domanda a cui un numero può rispondere, scelta prima di eseguire qualsiasi cosa. Una demo mostra che cosa funziona; un esperimento dice quanto funziona.
Stesso compito, stesse suddivisioni di training, validazione e test, stessi modelli, stesso giudice. Tutto resta costante tranne ciò che viene misurato, altrimenti il confronto misura qualcosa di diverso da ciò che dichiara.
Ogni esperimento sta in un unico script eseguibile, usa modelli locali ovunque possibile e conserva i log completi delle esecuzioni. Potete rieseguirlo voi stessi.
Anche quando il risultato non ci favorisce. Un metodo che non aggiunge nulla su un determinato compito è un'informazione utile, e nasconderlo renderebbe tutto il resto non verificabile.
Conduciamo ricerca applicata con team industriali e laboratori di ricerca: un ostacolo tecnico individuato, un protocollo di valutazione costruito insieme e un risultato che resta a voi. Tutto ciò che pubblichiamo viene concordato con voi in anticipo.
Se avete una domanda a cui nessuno intorno a voi sa rispondere, ci interessa: scriveteci, anche se è ancora formulata in modo approssimativo.
La nostra ricerca è al servizio innanzitutto del nostro prodotto e dei nostri clienti. Il punto di partenza è una demo di SynaLemma su una delle vostre domande.
