Python’da ‘requests’ ve ‘BeautifulSoup’ Modülleriyle Veri Çekmek

Python’da veri çekmek için requests ve BeautifulSoup modülleri kullanılır. Requests, internet üzerinden veri alışverişi yapmak için kullanılır ve BeautifulSoup, aldığımız veriyi işlemek ve analiz etmek için kullanılır.

İlk olarak, requests modülünü yüklememiz gerekiyor. Bunun için aşağıdaki komutu kullanabiliriz:

>>pip install requests

Ardından, BeautifulSoup modülünü de yüklememiz gerekiyor. Bunun için aşağıdaki komutu kullanabiliriz:

>>pip install beautifulsoup4

Şimdi, veri çekme işlemini gerçekleştirelim. Örneğin, “https://www.ornek.com" adresinden bir HTML sayfası almak istediğimizi varsayalım.

import requests

url = “https://www.ornek.com"
response = requests.get(url)

print(response.content)

Yukarıdaki kod, requests modülünü kullanarak veri çekiyor ve aldığımız veriyi “response” adlı bir değişkene atıyor. Sonra, bu veriyi “content” özelliği ile yazdırıyoruz.

Aldığımız veriyi daha anlamlı hale getirmek için BeautifulSoup modülünü kullanabiliriz. Örneğin, sayfadaki tüm başlıkları (h1 etiketi) almak istediğimizi varsayalım.

Yukarıdaki kodda, aldığımız veriyi BeautifulSoup’a “response.content” olarak aktarıyoruz. Daha sonra, “find_all” yöntemini kullanarak sayfadaki tüm “h1” etiketlerini buluyoruz ve “text” özelliği ile sadece metin içeriklerini yazdırıyoruz.

Böylece, requests ve BeautifulSoup modüllerini kullanarak veri çekme ve analiz etme işlemlerini gerçekleştirdik.