Search code examples
pythonweb-scrapingwikipedia

Python scraping of Wikipedia category page


I have this Wikipedia category page: https://fr.wikipedia.org/wiki/Cat%C3%A9gorie:Pi%C3%A8ce_de_th%C3%A9%C3%A2tre_du_XVIIIe_si%C3%A8cle

I'd like to open the page of each play listed (e.g. https://fr.wikipedia.org/wiki/L%27Oiseau_vert) and print the first sentence of it (e.g. L'Oiseau vert (L'augellino belverde) est une comédie de Carlo Gozzi (auteur italien de pièces de théâtre) parue en 1765). A dataframe with the play title in the 1st column and the first sentence in the 2nd one would also be good.

I tried to get all the page links through BeautifulSoup and print the first sentences with wikipedia.summary() but results are not satisfactory, since the wikipedia module often redirects to the wrong articles. Part of the problem may be caused by the French special characters within the play titles (é, â, etc.)

Is there a better method to access the individual articles directly from the category page?

This question seems related but hasn't helped me further.


Solution

  • Here's an example how you can achieve that using beautifulsoup only:

    import requests
    from bs4 import BeautifulSoup
    
    
    def get_categories(data):
        print("Getting categories...")
        categories = {}
        soup = BeautifulSoup(data, "lxml")
        group_divs = soup.find_all("div", {"class": "mw-category-group"})
        for div in group_divs:
            links = div.find_all("a")
            for link in links:
                title = link.get("title")
                href = link.get("href")
                categories[title] = "https://fr.wikipedia.org" + href
        print(f"Found Categories: {len(categories)}")
        return categories
    
    
    def get_first_paragraph(data):
        soup = BeautifulSoup(data, "lxml")
        parser_output = soup.find("div", {"class": "mw-parser-output"})
        first_paragraph = parser_output.find("p", {"class": None}, recursive=False)
        return first_paragraph.text
    
    
    def process_categories(categories):
        result = {}
        for title, link in categories.items():
            print(f"Processing Piece: {title}, on link: {link}")
            data = requests.get(link).content
            first_paragraph = get_first_paragraph(data)
            result[title] = first_paragraph.strip()
        return result
    
    
    def clean_categories(categories):
        return {k: v for k, v in categories.items() if "Catégorie" not in k}
    
    
    def main():
        categories_url = "https://fr.wikipedia.org/wiki/Cat%C3%A9gorie:Pi%C3%A8ce_de_th%C3%A9%C3%A2tre_du_XVIIIe_si%C3%A8cle"
        data_categories = requests.get(categories_url).content
        categories = get_categories(data_categories)
        categories = clean_categories(categories)
        result = process_categories(categories)
        print(result) # create dataframe etc...
    
    
    if __name__ == "__main__":
        main()
    

    The code is self-explanatory:

    • First we find divs that have category-group class, extract all a elements and get title and href
    • Then for each category i.e. piece we parse HTML and get the first p in the div with mw-parser-output class (That should be the first sentence).

    Note: I added clean_categories since category-group picked up unwanted things that had Catégorie in them.

    Example of output for first couple of pieces:

    Getting categories...
    Found Categories: 198
    Processing Piece: Les Acteurs de bonne foi, on link: https://fr.wikipedia.org/wiki/Les_Acteurs_de_bonne_foi
    Processing Piece: Adamire ou la Statue de l'honneur, on link: https://fr.wikipedia.org/wiki/Adamire_ou_la_Statue_de_l%27honneur
    Processing Piece: Agamemnon (Lemercier), on link: https://fr.wikipedia.org/wiki/Agamemnon_(Lemercier)
    Processing Piece: Agathocle (Voltaire), on link: https://fr.wikipedia.org/wiki/Agathocle_(Voltaire)
    

    And Result:

    {"Adamire ou la Statue de l'honneur": "Adamire ou la Statue de l'honneur est "
                                          'la traduction par Thomas-Simon '
                                          'Gueullette de la pièce de théâtre '
                                          "italienne l'Adamira overo la Statua "
                                          "dell'Honore de Giacinto Andrea "
                                          'Cicognini représentée pour la première '
                                          'fois en France le 12 décembre 1717 à '
                                          "Paris, à l'Hôtel de Bourgogne.",
     'Agamemnon (Lemercier)': 'Agamemnon est une tragédie en cinq actes considérée '
                              "comme le chef-d'œuvre dramatique de Népomucène "
                              'Lemercier. Elle fut représentée au Théâtre de la '
                              'République le 5 floréal an V (24 avril 1797) et '
                              'valut à son auteur une célébrité immédiate.',
     'Agathocle (Voltaire)': 'Agathocle est une tragédie écrite par Voltaire, '
                             'représentée pour la première fois le 31 mai 1779, '
                             'sur la scène de la Comédie-Française.',
     'Les Acteurs de bonne foi': 'Les Acteurs de bonne foi est une comédie en un '
                                 'acte et en prose de Marivaux, jouée pour la '
                                 'première fois chez Quinault cadette le 30 '
                                 'octobre 1748.'}