🔍 Trova e Spiega

📖 Come funziona Trova

Quando Trova è attivo, pronuncia il nome di qualsiasi elemento visibile sullo schermo e Seaclic lo cerca e ci clicca sopra automaticamente.

⚙️ I tre backend

Puoi scegliere il backend nella scheda Riconoscimento delle impostazioni. Ogni backend ha caratteristiche diverse in termini di precisione, velocità e privacy.

🖥️ Backend locale — OCR + GroundingDINO

Il backend predefinito. Utilizza due motori in cascata:

1. EasyOCR — legge tutto il testo visibile sullo schermo e cerca una corrispondenza fuzzy con la parola pronunciata.
2. GroundingDINO — se OCR non trova nulla, cerca l'oggetto descritto nell'immagine tramite rilevamento visivo. La query viene automaticamente tradotta in inglese prima di essere passata al modello.

🤖 Backend VLM locale — Qwen2.5-VL

Usa un modello di linguaggio visivo (Vision Language Model) che gira offline sul tuo computer tramite Ollama. Il modello predefinito è Qwen2.5-VL (Alibaba, ~4–8 GB a seconda della quantizzazione).

Primo avvio

Seaclic gestisce automaticamente l'installazione di Ollama e il download del modello al primo utilizzo, con richiesta di consenso e barra di avanzamento. Dopo il download, il modello resta disponibile offline.

Perché usarlo

• Capisce descrizioni complesse: "il campo di testo con il cursore", "l'avatar del profilo in alto a destra".
• Funziona su elementi puramente grafici senza testo.
• Necessario per la modalità Spiega.
• Tutto offline: nessun dato inviato fuori dal dispositivo.

☁️ Backend Cloud — Azure OpenAI / GPT-4.1

Invia lo screenshot a un modello multimodale cloud (Azure OpenAI o OpenAI GPT-4.1). Il modello ragiona sull'immagine intera e risponde con coordinate precise.

Griglia di precisione

Il backend cloud usa una griglia numerata sovrapposta allo schermo. Il modello indica la cella della griglia dove si trova l'elemento, e Seaclic calcola le coordinate esatte. La precisione della griglia è regolabile:

Con precisione alta, se l'elemento non è stato trovato nella prima griglia, Seaclic può effettuare un refinement multi-passo: zooma sulla cella candidata e ripete l'analisi con una griglia più fine.

Configurazione

1. Nella scheda Cloud Vision delle impostazioni, seleziona il provider (Azure o OpenAI).
2. Inserisci l'API key e, per Azure, l'endpoint e il nome del deployment.
3. Imposta la Precisione griglia (default: 5).

💬 Modalità Spiega

Spiega è una sotto-modalità di Trova che usa il VLM o il backend Cloud per descrivere la schermata a voce e rispondere a domande. Invece di cliccare su un elemento, l'IA parla.

Cosa puoi fare

• Descrizione generale: dici "spiega" o "descrivi schermo" e l'IA descrive cosa vede ad alta voce (TTS).
• Domande contestuali: fai domande in linguaggio naturale, es. "quanti messaggi non letti ci sono?", "che ora è?".
• Conversazione multi-turno: Spiega mantiene il contesto degli ultimi scambi. Puoi fare domande di follow-up senza ricominciare da capo.
• Azioni da conversazione: puoi chiedere "clicca su OK" e Spiega passerà automaticamente a Trova per localizzare e cliccare l'elemento menzionato.

Flusso tipico

⚙️ Impostazioni chiave