I have a function that is meant to extract html to render it in pdf in another function

def setLinks(self, value):
    if isinstance(value, str) and ('<' in value and '>' in value):
        soup = BeautifulSoup(value, 'html.parser')
        paragraphs = []
        links = []

        # Process text and collect links
        for element in soup.descendants:
            if isinstance(element, str) and element.strip():
                paragraphs.append(element.strip())
            elif element.name == 'a' and element.get('href'):
                link_text = element.get_text().strip()
                href = element.get('href')
                links.append((link_text, href))
                if link_text not in paragraphs:
                    paragraphs.append(link_text)
    else:
        if isinstance(value, str):
            paragraphs = value.split('\n')
        else:
            paragraphs = [str(value)]
        links = []
    return links, paragraphs

My input is :

Il faut noter une une similitude de mise en scène avec la<a href="/"> couverture du "Cri de Paris", n° 201</a>, parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage de la femme en noir du Cri de Paris est repris pour la femme de gauche. On retrouve la présence d'un meuble sur la gauche pour l'équilibre de la composition.

When I debug, I get :

paragraphs = {list: 4} ['Il faut noter une une similitude de mise en scène avec la', 'couverture du "Cri de Paris", n° 201', 'couverture du "Cri de Paris", n° 201', ", parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage 
 0 = {str} 'Il faut noter une une similitude de mise en scène avec la'
 1 = {str} 'couverture du "Cri de Paris", n° 201'
 2 = {str} 'couverture du "Cri de Paris", n° 201'
 3 = {str} ", parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage de la femme en noir du Cri de Paris est repris pour la femme de gauche. On retrouve la présence d'un meuble sur la gauche pour l'équilibre de  

Why soup.descendants is looping first on the link :

<a href="/"> couverture du "Cri de Paris", n° 201</a>

and then on the text couverture du "Cri de Paris", n° 201 ???

I have a function that is meant to extract html to render it in pdf in another function

def setLinks(self, value):
    if isinstance(value, str) and ('<' in value and '>' in value):
        soup = BeautifulSoup(value, 'html.parser')
        paragraphs = []
        links = []

        # Process text and collect links
        for element in soup.descendants:
            if isinstance(element, str) and element.strip():
                paragraphs.append(element.strip())
            elif element.name == 'a' and element.get('href'):
                link_text = element.get_text().strip()
                href = element.get('href')
                links.append((link_text, href))
                if link_text not in paragraphs:
                    paragraphs.append(link_text)
    else:
        if isinstance(value, str):
            paragraphs = value.split('\n')
        else:
            paragraphs = [str(value)]
        links = []
    return links, paragraphs

My input is :

Il faut noter une une similitude de mise en scène avec la<a href="http://www.cappiello.fr/illustrations/"> couverture du "Cri de Paris", n° 201</a>, parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage de la femme en noir du Cri de Paris est repris pour la femme de gauche. On retrouve la présence d'un meuble sur la gauche pour l'équilibre de la composition.

When I debug, I get :

paragraphs = {list: 4} ['Il faut noter une une similitude de mise en scène avec la', 'couverture du "Cri de Paris", n° 201', 'couverture du "Cri de Paris", n° 201', ", parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage 
 0 = {str} 'Il faut noter une une similitude de mise en scène avec la'
 1 = {str} 'couverture du "Cri de Paris", n° 201'
 2 = {str} 'couverture du "Cri de Paris", n° 201'
 3 = {str} ", parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage de la femme en noir du Cri de Paris est repris pour la femme de gauche. On retrouve la présence d'un meuble sur la gauche pour l'équilibre de  

Why soup.descendants is looping first on the link :

<a href="http://www.cappiello.fr/illustrations/"> couverture du "Cri de Paris", n° 201</a>

and then on the text couverture du "Cri de Paris", n° 201 ???

• python
• beautifulsoup

2 Answers 2

for element in soup.descendants:

means that you will iterate through all elements recursively. And text between brackets is children of "a" element, so it gets your paragraph twice. If you want to avoid this behavior, you could try to use

for element in soup.children:

instead

if isinstance(element, str) and element.strip():
    paragraphs.append(element.strip())
elif element.name == 'a' and element.get('href'):
    link_text = element.get_text().strip()
    href = element.get('href')
    links.append((link_text, href))
    if link_text not in paragraphs:
        paragraphs.append(link_text)

It seems like you are appending to paragraphs on every soup descendant iteration of the a tag.

Add a check to avoid this like so;

if isinstance(element, str) and element.strip():
    # Don't process <a> children
    if element.parent and element.parent.name == 'a':
        continue
    paragraphs.append(element.strip())
elif element.name == 'a' and element.get('href'):
    link_text = element.get_text().strip()
    href = element.get('href')
    links.append((link_text, href))
    if link_text not in paragraphs:
        paragraphs.append(link_text)