La decisione prima del punteggio
Chi prepara un estratto scaricabile da leggere può giustamente provare il titolo, il nome di un personaggio e una frase caratteristica. Trovarli è utile. Dimostra che quelle ricerche hanno funzionato in quel particolare programma. Non dimostra che una persona che recensisce, traduce o legge riceverà gli stessi caratteri copiando il paragrafo circostante in un altro documento. Ricerca, estrazione e confronto del testo esatto sono operazioni diverse, anche quando partono dallo stesso PDF.
La domanda pratica è volutamente ristretta. Quando si toglie un trattino a fine riga per recuperare una parola spezzata, il procedimento riesce anche a conservare un trattino che fa parte della parola? Con le impostazioni provate, la risposta è stata no. Due profili di correzione hanno recuperato tutte e sei le parole lunghe spezzate dall’impaginazione, ma hanno anche eliminato i sei trattini legittimi delle parole composte quando queste andavano a capo. La ricerca nativa predefinita del PDF ha recuperato le parole spezzate dall’impaginazione, mentre l’estrazione predefinita no.
Questo risultato suggerisce un controllo prima della distribuzione con due esempi opposti, non con un unico successo rassicurante. Includere una parola che deve essere ricongiunta e una parola composta che deve mantenere il trattino. Tenere il manoscritto originale come riferimento per decidere quale operazione sia corretta. Una regola automatica che toglie ogni trattino a fine riga idoneo non può dedurre l’intenzione di chi scrive dalla sola punteggiatura.
Che cosa contengono i testi di prova
L’esperimento usa sei microracconti scritti per l’occasione, uno ciascuno in inglese, portoghese, spagnolo, francese, italiano e tedesco. Ogni testo di prova ha due capitoli in miniatura, una breve narrazione, una nota a piè di pagina e una piccola tabella a due colonne rappresentata da tre blocchi di riga. Questi testi sono stati creati per l’esperimento; non è stato caricato né elaborato alcun romanzo pubblicato, manoscritto di clienti o ebook protetto in vendita. Sono materiale di prova, non un campione rappresentativo dei libri commerciali.
Ogni lingua ha un riferimento esatto con dodici blocchi di testo ordinati. Gli stessi passaggi di riferimento compaiono in PDF, XHTML ed EPUB. Il riferimento contiene anche una scheda di prova con un accento scomposto, un accento composto, una legatura ffi scritta come carattere unico, lettere ordinarie e una cifra cerchiata. Questi esempi rendono verificabili le scelte di normalizzazione. Sono presenti nella sorgente di proposito e non vengono trattati come danni accidentali solo perché esiste un’altra grafia Unicode.
La coppia inglese è reconciliation e well-being. Il portoghese usa reconciliação e guarda-chuva; lo spagnolo reconciliación e teórico-práctico; il francese réconciliation e rendez-vous; l’italiano riconciliazione e italo-francese; il tedesco Wiedervereinigung e E-Mail. Sono bersagli diagnostici fissi. Sei riuscite o sei fallimenti significano sei testi di prova scelti, non una stima della percentuale di libri o di lettori coinvolti in quelle lingue.
Quattro condizioni PDF a coppie
Per ogni lingua, il PDF di controllo manda a capo le righe normali senza spezzare nessuno dei due bersagli. Una seconda condizione spezza la parola lunga e aggiunge un trattino visibile all’interruzione. Una terza spezza la parola composta subito dopo il suo trattino reale. Una quarta include entrambe le modifiche. La griglia che ne risulta contiene ventiquattro PDF di una pagina. I controlli XHTML ed EPUB mantengono le stringhe canoniche della sorgente senza interruzioni, con CSS che consente la sillabazione automatica invece di inserire il trattino visibile nel testo sorgente.
Il disegno cambia l’interruzione di riga indicata e, nella condizione della parola lunga, il trattino visibile non canonico. Gli altri passaggi, le dimensioni dei caratteri, l’ordine dei blocchi e l’ordinaria andata a capo restano fissi. Non confronta conversioni commerciali curate né applicazioni concorrenti di pubblicazione. Il programma che scrive i PDF colloca il testo in modo esplicito, così l’intervento è riproducibile e la risposta attesa è visibile nel riferimento canonico. Spezzare una parola in un punto scelto è un intervento diagnostico, non un consiglio per una divisione in sillabe elegante dal punto di vista tipografico.
Il piano originale è stato scritto prima di generare i testi di prova e di estrarre il testo. Un test pilota ha poi rivelato due problemi di costruzione: il carattere con le grazie non aveva il glifo della cifra cerchiata, e la prima ricerca dell’accento poteva corrispondere all’esempio già composto. Il test pilota è conservato. I testi di prova accettati aggiungono un carattere di ripiego per i simboli con licenza aperta e una ricerca univoca per la coppia di accenti. La modifica è dichiarata perché questo è un esperimento controllato e trasparente, non una preregistrazione intatta né un’analisi confermativa in cieco.
Strumenti e operazioni eseguite davvero
L’esecuzione offline ha usato PyMuPDF 2.0, pypdf 6.21.4 e lxml 6.1.3, con ReportLab 5.1.0 per scrivere i testi di prova. Erano le versioni indicate dall’indice ufficiale dei pacchetti al momento della revisione delle fonti. PyMuPDF usa la sua estrazione predefinita di testo semplice e un secondo profilo di estrazione con TEXT_DEHYPHENATE attivato. La sua ricerca nativa predefinita è misurata a parte. Un risultato di ricerca nativa non viene contato come risultato di testo estratto.
Per pypdf, l’esecuzione confronta l’estrazione semplice, l’estrazione con layout e una regola dichiarata di postelaborazione. Quella regola toglie un trattino che sta subito tra un carattere di parola e un a capo seguito da un altro carattere di parola. Non ha dizionario, rilevatore di lingua, confronto con il manoscritto né giudizio sul contesto. I suoi limiti fanno quindi parte del metodo e non sono una sorpresa aggiunta dopo aver visto quali casi fallivano. L’espressione esatta e le stringhe complete estratte sono scaricabili.
Per XHTML, lxml percorre i blocchi del corpo e conserva il testo in linea e quello che segue i tag. Per EPUB, lo script segue la sequenza del pacchetto (spine) e poi usa la stessa estrazione per blocchi. Le celle della tabella ricevono spazi espliciti e le righe restano blocchi separati. È un flusso di estrazione scritto per l’occasione con una libreria XML, non l’affermazione che lxml sia un lettore EPUB completo. La conformità EPUB e la verifica di accessibilità sono domande separate e qui non sono state misurate.
Recuperare una parola può danneggiarne un’altra
Tutti e sei i PDF di controllo coincidevano con i loro riferimenti dopo l’uniformazione dichiarata degli spazi, in ogni profilo di estrazione PDF. Anche i controlli sulla sorgente coincidevano in tutte e sei le lingue: sei testi XHTML e sei EPUB. Questi controlli riusciti contano perché mostrano che punteggiatura, accenti, legatura, nota a piè di pagina e piccola tabella provati possono sopravvivere a questi percorsi di sorgente e di estrazione quando mancano le interruzioni diagnostiche.
Con il solo trattino di impaginazione, l’estrazione predefinita di PyMuPDF e l’estrazione semplice e quella con layout di pypdf non hanno recuperato nessuna delle sei parole bersaglio intatte come sottostringhe esatte. La dehyphenation di PyMuPDF e la correzione dichiarata di pypdf le hanno recuperate tutte e sei. In quella condizione, quei profili di correzione hanno anche ripristinato l’intero testo canonico con gli spazi uniformati. È il lato riuscito dell’intervento e non va omesso solo perché la condizione della parola composta crea un problema.
Con entrambe le interruzioni diagnostiche, i risultati corretti hanno di nuovo recuperato la parola lunga in sei testi di prova su sei. Hanno anche cambiato well-being in wellbeing, guarda-chuva in guardachuva e le parole composte corrispondenti delle altre quattro lingue in stringhe senza trattino. È una differenza misurabile rispetto al riferimento scelto. Non richiede di affermare che ogni grafia risultante sia impossibile o che ogni testo reale sarebbe frainteso. Per la fedeltà di una citazione, cambiare la punteggiatura esatta di chi scrive è già l’errore che conta.
Perché un ottimo dato complessivo può nascondere una citazione sbagliata
I PDF con entrambe le interruzioni contengono tra 726 e 841 punti di codice di riferimento dopo l’uniformazione degli spazi. Le estrazioni predefinite differiscono per tre operazioni di modifica; quelle corrette per una. Esprimere uno meno la distanza di modifica normalizzata come concordanza dei caratteri dà circa il 99,86%–99,88% per i risultati corretti. È la descrizione di questo confronto esatto, non l’accuratezza per una persona che legge, la leggibilità o una stima per una raccolta di ebook.
Allo stesso tempo, nessuno dei sei risultati corretti con entrambe le interruzioni è uguale al suo riferimento canonico completo. Undici blocchi di riferimento su dodici sono recuperati come sottostringhe esatte; il paragrafo con la parola composta no. Un alto valore di concordanza su tutto il documento e un passaggio sbagliato possono quindi coesistere. La misura risponde a quanto le stringhe differiscano nel complesso. Non può decidere se il carattere cambiato appartenga a un titolo, a un nome, a un’istruzione o a un segno di punteggiatura che una citazione deve conservare.
Chi scrive non deve rifiutare il confronto aggregato. Deve integrarlo con controlli legati all’uso reale della versione distribuita. Un rapporto delle differenze sull’intero manoscritto può individuare cambiamenti inattesi. Alcuni passaggi sentinella opposti possono mettere in luce una correzione che riesce in un contesto e fallisce in un altro. Nessuno dei due sostituisce la revisione editoriale, ma entrambi sono più informativi del trattare una media numerica quasi perfetta come prova che ogni passaggio sia pronto per essere copiato.
La ricerca è una condizione di successo distinta
La ricerca nativa predefinita di PyMuPDF ha trovato la stringa della parola lunga senza interruzioni in tutti e sei i PDF con il trattino di impaginazione. Il testo estratto in modo predefinito non conteneva quella sottostringa intatta in nessuno di essi. La documentazione ufficiale spiega perché queste operazioni non debbano concordare: ricerca ed estrazione di testo semplice hanno opzioni predefinite diverse, compresa la dehyphenation. Un risultato positivo della ricerca è quindi compatibile con un testo estratto in modo predefinito che mantiene un trattino visibile e un a capo.
Conta anche la diagnosi opposta. La ricerca nativa non ha trovato la stringa esatta canonica della parola composta in nessuno dei sei PDF con entrambe le interruzioni. Lo studio registra la presenza della stringa cercata, senza interpretare i rettangoli evidenziati come un test di lettura da parte di persone. Non prova il visualizzatore PDF di un browser, Acrobat, Kindle, Kobo né gli appunti di un sistema operativo. Il loro comportamento può essere diverso e richiede una propria osservazione prima che chi scrive faccia affermazioni su quei programmi.
Per una versione da distribuire, mantenere il controllo della ricerca e aggiungere un controllo dell’estrazione. Registrare l’applicazione o la libreria, la versione, la stringa cercata e le impostazioni di esportazione. Se un lettore segnala che la ricerca funziona ma una citazione copiata cambia, questi dati aiutano a individuare quale operazione abbia prodotto la differenza. Evitano anche che una correzione sia attribuita al formato in generale quando appartiene a una particolare impostazione o regola di postelaborazione.
Normalizzare in modo aperto e conservare l’originale
L’esperimento riporta separatamente i confronti Unicode grezzo, NFC e NFKC. «Grezzo» non significa uguaglianza byte per byte del file: significa che gli spazi Unicode sono uniformati mentre gli altri punti di codice della sorgente restano invariati. NFC normalizza poi sia il riferimento sia il risultato con l’equivalenza canonica. NFKC applica in più la normalizzazione di compatibilità. La versione del database Unicode di Python è conservata insieme all’ambiente, così che l’implementazione effettiva sia identificabile.
La scheda di prova mostra la distinzione. Il suo primo café usa un accento combinante mentre il secondo usa un carattere precomposto. La ricerca digitata della coppia con accento composto fallisce nel confronto grezzo e riesce con NFC. La coppia «office» espansa e la coppia con cifra ordinaria richiedono NFKC in questo testo di prova, perché la sorgente include di proposito una legatura e una cifra cerchiata. Sono equivalenze di ricerca dichiarate, non il permesso di riscrivere in silenzio il manoscritto canonico o ogni citazione dotta.
Né NFC né NFKC risolvono il problema del trattino diagnostico. Un trattino visibile seguito da un confine di riga e un trattino lessicale legittimo portano intenzioni d’autore diverse, ma la sola normalizzazione non le ricostruisce. Conservare un originale intatto ed etichettare ogni copia di confronto normalizzata. Così si può spiegare se una differenza segnalata derivi dall’estrazione, da una regola di equivalenza scelta o da un vero cambiamento della sorgente.
Il controllo di chi scrive prima della distribuzione e i confini dello studio
Prima di distribuire un estratto, scegliere passaggi dal vero manoscritto finale: una frase ordinaria, un nome con accenti, una parola lunga che va a capo, un’espressione con trattino autentica e ogni tabella o nota che chi legge potrebbe citare. Confrontare il passaggio esportato esatto con il manoscritto. Provare sia la parola che deve ricongiungersi sia il trattino che deve restare. Se la pulizia automatica cambia entrambi, rivedere quelle differenze invece di applicare la regola all’intero libro senza un riferimento.
Conservare insieme il testo sorgente e il file distribuito. Quando si rivedono la tipografia o le impostazioni di conversione, ripetere gli stessi controlli e annotare le versioni degli strumenti. Una sorgente XHTML o EPUB pulita può offrire un percorso di riferimento in più, ma questo esperimento non dimostra che ogni lettore di ebook, programma di conversione o impaginazione visiva conservi lo stesso comportamento di copia. I suoi dodici controlli riusciti sulla sorgente descrivono soltanto i file e l’estrattore per blocchi qui forniti.
I registri scaricabili rendono visibile anche il denominatore. Cinque profili di estrazione PDF su ventiquattro file producono 120 testi estratti. Due profili da sorgenti strutturate in sei lingue ne aggiungono altri dodici. Confrontare ciascuno di quei 132 risultati con tre regole di normalizzazione crea 396 righe di metriche. Quelle righe sono viste ripetute dello stesso piccolo insieme di file, non 396 prove indipendenti. Allo stesso modo, cinque verifiche di sottostringa per ogni riga di metriche producono 1.980 controlli registrati senza aumentare il numero di libri originali o di lingue. Le quarantotto ricerche native restano in una tabella separata. Tenere separati questi conteggi evita che una diagnosi compatta sembri più grande o più rappresentativa solo perché i suoi risultati sono registrati con cura.
I confronti di estrazione da PDF esistono già. DocLayNet offre un grande insieme di dati con layout annotato, e confronti pubblicati valutano più parser su diverse categorie di documenti. Il contributo di questo studio è più piccolo e pratico: passaggi originali a coppie, bersagli di trattino opposti, regole Unicode dichiarate e risultati grezzi che permettono a chi scrive di riprodurre un controllo della versione distribuita senza condividere un libro privato. Non offre alcuna certificazione di lettura da parte di persone, giudizio di accessibilità, confronto OCR, risultato causale sulle vendite né affermazione sul posizionamento nelle ricerche.
Ricerca ed estrazione danno risposte diverse
PDF: entrambe le interruzioni · XHTML/EPUB: controlli con sorgente senza interruzioni
Grafico completo e fonte
Scorri il grafico in orizzontale per esaminarlo. ↔
Grafico e valori
Scorri la tabella in orizzontale per vedere tutte le colonne.
| Operazione | Parola lunga | Parola composta con trattino |
|---|---|---|
| Estrazione predefinita | 0 / 6 | 0 / 6 |
| Ricerca nativa del PDF | 6 / 6 | 0 / 6 |
| Estrazione senza trattini a fine riga | 6 / 6 | 0 / 6 |
| pypdf + correzione dichiarata | 6 / 6 | 0 / 6 |
| Controllo con sorgente XHTML | 6 / 6 | 6 / 6 |
| Controllo con sorgente EPUB | 6 / 6 | 6 / 6 |
PDF: entrambe le interruzioni · XHTML/EPUB: controlli con sorgente senza interruzioni
Un’alta concordanza non basta: un passaggio resta sbagliato
PDF corretto con entrambe le interruzioni · spazi uniformati
Grafico completo e fonte
Scorri il grafico in orizzontale per esaminarlo. ↔
Grafico e valori
Scorri la tabella in orizzontale per vedere tutte le colonne.
| Lingua | Concordanza dei caratteri | Testo completo identico |
|---|---|---|
| EN | 99,8623% | 0 / 1 |
| PT | 99,8661% | 0 / 1 |
| ES | 99,8721% | 0 / 1 |
| FR | 99,8705% | 0 / 1 |
| IT | 99,8767% | 0 / 1 |
| DE | 99,8811% | 0 / 1 |
Ogni risultato corretto perde un trattino reale; 11 blocchi su 12 coincidono.
Dati e download
Scorri la tabella in orizzontale per vedere tutte le colonne.
| Operazione | Parola lunga | Parola composta con trattino |
|---|---|---|
| Estrazione predefinita | 0 / 6 | 0 / 6 |
| Ricerca nativa del PDF | 6 / 6 | 0 / 6 |
| Estrazione senza trattini a fine riga | 6 / 6 | 0 / 6 |
| pypdf + correzione dichiarata | 6 / 6 | 0 / 6 |
| Controllo con sorgente XHTML | 6 / 6 | 6 / 6 |
| Controllo con sorgente EPUB | 6 / 6 | 6 / 6 |
PDF: entrambe le interruzioni · XHTML/EPUB: controlli con sorgente senza interruzioni
Scorri la tabella in orizzontale per vedere tutte le colonne.
| Lingua | Concordanza dei caratteri | Testo completo identico |
|---|---|---|
| EN | 99,8623% | 0 / 1 |
| PT | 99,8661% | 0 / 1 |
| ES | 99,8721% | 0 / 1 |
| FR | 99,8705% | 0 / 1 |
| IT | 99,8767% | 0 / 1 |
| DE | 99,8811% | 0 / 1 |
Ogni risultato corretto perde un trattino reale; 11 blocchi su 12 coincidono.
Dati e metodo
Come abbiamo calcolato
- I testi di prova sintetici scelti non sono libri, lettori o diffusione delle lingue rappresentativi. Sono stati provati due motori PDF e un’unica procedura condivisa di estrazione da sorgenti strutturate.
- Si dichiara una correzione pilota del carattere e della ricerca dell’accento. Le interruzioni di riga spostano in verticale le righe successive. Le 396 righe ripetono 132 risultati con tre normalizzazioni.
Cosa non possiamo dedurre dai dati
- I testi di prova sintetici scelti non sono libri, lettori o diffusione delle lingue rappresentativi. Sono stati provati due motori PDF e un’unica procedura condivisa di estrazione da sorgenti strutturate.
- Presenza nella ricerca, uguaglianza normalizzata delle stringhe, leggibilità per le persone e accessibilità sono esiti distinti. Non sono stati provati appunti di lettori commerciali, OCR, conformità EPUB, indicizzazione, posizionamento né vendite.
- Si dichiara una correzione pilota del carattere e della ricerca dell’accento. Le interruzioni di riga spostano in verticale le righe successive. Le 396 righe ripetono 132 risultati con tre normalizzazioni.
Fonti originali
- DocLayNet document-layout dataset
Grande insieme di dati consolidato sul layout; contesto, non input di questo esperimento con testi di prova originali.
Consultato il 31 ottobre 2026
- Adhikari and Agarwal (2024), A Comparative Study of PDF Parsing Tools Across Diverse Document Categories, arXiv:2410.09871
Confronto precedente di dieci strumenti PDF su sei categorie di documenti; nessuna pretesa che il confronto tra parser sia una novità.
Consultato il 31 ottobre 2026
- Meuschke et al. (2023), A Benchmark of PDF Information Extraction Tools using a Multi-Task and Multi-Domain Evaluation Framework for Academic Documents, arXiv:2303.09957
Confronto esistente di estrazione multitask su documenti accademici.
Consultato il 31 ottobre 2026
- PyMuPDF documentation: Constants and Enumerations (vars.html)
Definizioni ufficiali delle opzioni di unione delle sillabazioni e di conservazione delle legature.
Consultato il 31 ottobre 2026
- PyMuPDF documentation: Appendix 1, Details on Text Extraction (app1.html)
Spiegazione ufficiale dell’ordine di estrazione e delle diverse impostazioni predefinite della ricerca.
Consultato il 31 ottobre 2026
- pypdf documentation: Extract Text from a PDF
Metodi ufficiali di estrazione semplice e con layout e relative ambiguità.
Consultato il 31 ottobre 2026
- lxml documentation: The lxml.etree Tutorial
Percorso XML ufficiale e gestione del testo che segue i tag, usati per i controlli con sorgente.
Consultato il 31 ottobre 2026
- Unicode Standard Annex #15: Unicode Normalization Forms
La normalizzazione canonica e quella di compatibilità sono distinte; il testo sorgente è conservato.
Consultato il 31 ottobre 2026
- PyMuPDF 2.0 release on PyPI
Versione ufficiale fissata e metadati di licenza; versione installata esatta conservata.
Consultato il 31 ottobre 2026
- pypdf 6.21.4 release on PyPI
Versione ufficiale fissata e metadati di licenza; versione installata esatta conservata.
Consultato il 31 ottobre 2026
- lxml 6.1.3 release on PyPI
Versione ufficiale fissata e metadati di licenza; versione installata esatta conservata.
Consultato il 31 ottobre 2026
- ReportLab 5.1.0 release on PyPI
Versione ufficiale fissata e metadati di licenza; versione installata esatta conservata.
Consultato il 31 ottobre 2026
Citare e riutilizzare lo studio
Alisson Bento. 2026. Quando la ricerca nell’ebook funziona ma il testo estratto cambia: un esperimento in sei lingue. https://alissonbento.com/it/research/ebook-search-copy-text-preservation-six-languages/
Testi di prova originali, risultati numerici e figure attribuiti ad Alisson Bento; strumenti e caratteri di terzi mantengono le proprie licenze.
Correzioni o domande editoriali