Rule-based Extraction

Let's create a rule-based extractor for PDF documents.

First, download this example PDF.

We will use the following configuration:

[reader]
@readers = "pdf-reader.v1"  # (1)

[reader.extractor]
@extractors = "pdfminer.v1"  # (2)

[reader.classifier]
@classifiers = "mask.v1"  # (3)
x0 = 0.2
x1 = 0.9
y0 = 0.3
y1 = 0.6
threshold = 0.1

[reader.aggregator]
@aggregators = "styled.v1"  # (4)

1. This is the top-level object, which organises the entire extraction process.
2. Here we use the provided text-based extractor, based on the PDFMiner library
3. This is where we define the rule-based classifier. Here, we use a "mask", meaning that every text bloc that falls within the boundaries will be assigned the body label, everything else will be tagged as pollution.
4. This aggregator returns a tuple of dictionaries. The first contains compiled text for each label, the second exports their style.

Save the configuration as config.cfg and run the following snippet:

import edspdf
from pathlib import Path

reader = edspdf.load("config.cfg")  # (1)

# Get a PDF
pdf = Path("letter.pdf").read_bytes()

texts, styles = reader(pdf)

This code will output the following results:

Cher Pr ABC, Cher DEF,

Nous souhaitons remercier le CSE pour son avis favorable quant à l’accès aux données de
l’Entrepôt de Données de Santé du projet n° XXXX.

Nous avons bien pris connaissance des conditions requises pour cet avis favorable, c’est
pourquoi nous nous engageons par la présente à :

• Informer individuellement les patients concernés par la recherche, admis à l'AP-HP
avant juillet 2017, sortis vivants, et non réadmis depuis.

• Effectuer une demande d'autorisation à la CNIL en cas d'appariement avec d’autres
cohortes.

Bien cordialement,