数据解析全攻略 — 从正则到 Parsel 的终极指南

import re

html = '<div>content</div><p>text</p>'

# 贪婪 .* —— 尽可能多匹配，一整块吞掉
print(re.findall(r'<.*>', html))
# ['<div>content</div><p>text</p>']

# 非贪婪 .*? —— 尽可能少匹配，逐个标签
print(re.findall(r'<.*?>', html))
# ['<div>', '</div>', '<p>', '</p>']

import re

html = '''
<div id="songs-list">
  <h2 class="title">经典老歌</h2>
  <ul id="list" class="list-group">
    <li data-view="2">一路上有你</li>
    <li data-view="7">
      <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
    </li>
    <li data-view="4" class="active">
      <a href="/3.mp3" singer="齐秦">往事随风</a>
    </li>
    <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
    <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
  </ul>
</div>
'''

# 提取所有歌曲的链接、歌手、歌名
# re.S 让 . 匹配换行符，应对 HTML 中的跨行内容
pattern = re.compile(
    r'<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>',
    re.S
)
results = pattern.findall(html)
for href, singer, song in results:
    print(f"链接: {href}, 歌手: {singer.strip()}, 歌名: {song.strip()}")

import re

# 预编译：只解析一次
pattern = re.compile(r'\d{4}-\d{2}-\d{2}')

# 复用已编译的 Pattern 对象
dates = []
for text in large_text_list:
    match = pattern.search(text)
    if match:
        dates.append(match.group())

from lxml import etree

html_text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

# etree.HTML() 自动修复不规范 HTML（补全闭合标签等）
html = etree.HTML(html_text)

# 查看修复后的完整结构
print(etree.tostring(html, pretty_print=True).decode('utf-8'))

from lxml import etree

html = etree.HTML(html_text)

# 1. 获取所有 li 节点
li_nodes = html.xpath('//li')
print(f"找到 {len(li_nodes)} 个 li 节点")  # 5

# 2. 获取 class 为 "item-1" 的 li 下的 a 标签文本
texts = html.xpath('//li[@class="item-1"]/a/text()')
print(texts)  # ['second item', 'fourth item']

# 3. 获取所有 a 标签的 href 属性
hrefs = html.xpath('//a/@href')
print(hrefs)  # ['link1.html', 'link2.html', ...]

# 4. 获取第一个 li 之后的所有同级 li
following = html.xpath('//li[1]/following-sibling::li')
print(f"后续同级节点数: {len(following)}")  # 4

# 5. 使用 normalize-space 清理空白
clean = html.xpath('//li[1]/a/normalize-space(text())')
print(clean)  # 'first item'

# 6. 安全的 class 多值匹配（避免 contains 误匹配）
safe = html.xpath(
    '//li[contains(concat(" ", normalize-space(@class), " "), " item-0 ")]/a/text()'
)
print(safe)  # ['first item', 'fifth item']

from bs4 import BeautifulSoup

# 推荐组合：BeautifulSoup 的友好 API + lxml 的高性能
soup = BeautifulSoup(html_text, 'lxml')

soup.title          # <title>...</title>
soup.title.string   # 标签内文本
soup.p              # 第一个 <p> 标签
soup.p['class']     # 获取 class 属性
soup.p.attrs        # 所有属性的字典

# 按标签名
soup.find_all('a')

# 按属性
soup.find_all('a', attrs={'id': 'link2'})
soup.find_all('a', id='link2')           # 等价写法
soup.find_all('a', class_='sister')      # class 是 Python 关键字，加下划线

# 按文本（支持正则）
import re
soup.find_all(text=re.compile('link'))

# 限制数量
soup.find_all('a', limit=2)

# find() 只返回第一个匹配
soup.find('a')  # 等价于 soup.find_all('a', limit=1)[0]，但更安全

# 标签选择器
soup.select('a')

# 类选择器
soup.select('.sister')

# ID 选择器
soup.select('#link1')

# 后代选择器
soup.select('div.content a')

# 子选择器
soup.select('ul#list-1 > li')

# 属性选择器
soup.select('a[href="https://example.com"]')

# 获取文本
for link in soup.select('a'):
    print(link.get_text(strip=True))

html = '<p>Hello <b>World</b></p>'
soup = BeautifulSoup(html, 'lxml')

print(soup.p.string)                          # None（混合内容）
print(soup.p.get_text())                      # 'Hello World'
print(soup.p.get_text(strip=True, separator=' '))  # 'Hello World'

from pyquery import PyQuery as pq

# 方式 1：从 HTML 字符串（最常用）
doc = pq(html_text)

# 方式 2：从 URL（自动发起请求）
doc = pq(url='https://www.example.com')

# 方式 3：从本地文件
doc = pq(filename='page.html')

from pyquery import PyQuery as pq

doc = pq(html_text)

# CSS 选择器
items = doc('.item-0')          # class 选择器
container = doc('#container')   # ID 选择器
links = doc('.list li a')       # 后代选择器

# 链式调用 —— PyQuery 的核心优势
result = doc('.list').find('li').filter('.active').find('a')
print(result.text())            # 获取文本
print(result.attr('href'))      # 获取属性

# 遍历
for li in doc('li').items():
    print(li.text(), li.attr('class'))

# 节点操作
doc('li').addClass('highlight')     # 添加 class
doc('li').removeClass('item-0')     # 移除 class
doc('a').attr('href', 'new.html')   # 修改属性
doc('.title').text('New Title')     # 修改文本

doc('li:first-child')       # 第一个子元素
doc('li:last-child')        # 最后一个子元素
doc('li:nth-child(2)')      # 第 2 个子元素
doc('li:gt(2)')             # 索引大于 2 的元素
doc('li:contains(second)')  # 包含指定文本的元素

import requests
from pyquery import PyQuery as pq
import re

def scrape_movies():
    """使用 PyQuery 爬取电影数据"""
    url = 'https://static1.scrape.center/'
    response = requests.get(url)
    response.encoding = 'utf-8'
    doc = pq(response.text)

    movies = []
    for item in doc('.el-card').items():
        movie = {
            'name': item.find('a > h2').text(),
            'categories': [
                span.text()
                for span in item.find('.categories button span').items()
            ],
            'score': item.find('p.score').text(),
            'cover': item.find('img').attr('src'),
        }
        # 用正则从文本中提取日期
        info_text = item.find('.info:contains(上映)').text()
        match = re.search(r'(\d{4}-\d{2}-\d{2})', info_text or '')
        movie['published_at'] = match.group(1) if match else None
        movies.append(movie)

    return movies

from parsel import Selector

selector = Selector(text=html_text)

# CSS 选择器
selector.css('.item-0')              # 选择元素
selector.css('.item-0 *::text')      # 提取文本（::text 伪元素）
selector.css('a::attr(href)')        # 提取属性（::attr 伪元素）

# XPath 选择器
selector.xpath('//li[contains(@class, "item-0")]')
selector.xpath('//li//text()')
selector.xpath('//a/@href')

# 正则提取
selector.css('.item-0').re('link.*')
selector.css('a::attr(href)').re_first(r'link(\d+)\.html')

# 结果提取
result = selector.css('h2::text').get()       # 第一个结果（字符串或 None）
results = selector.css('h2::text').getall()   # 所有结果（列表）

from parsel import Selector

selector = Selector(text=html_text)

# CSS 定位 → XPath 细化 → 正则提取
result = (selector
    .css('.item-0.active')          # CSS 选择器定位
    .xpath('.//a/@href')            # XPath 提取属性
    .re_first(r'link(\d+)\.html')   # 正则提取数字
)
print(result)  # '3'

# XPath 定位 → CSS 细化
result = (selector
    .xpath('//ul')                           # XPath 定位
    .css('li.item-0 a::attr(href)')          # CSS 细化
    .getall()
)

import requests
from parsel import Selector

def scrape_with_parsel(url):
    """使用 Parsel 解析网页 —— CSS + XPath + 正则混合使用"""
    response = requests.get(url)
    response.encoding = 'utf-8'
    selector = Selector(text=response.text)

    movies = []
    for item in selector.css('.el-card'):
        movie = {
            # CSS 方式提取名称
            'name': item.css('a > h2::text').get(),
            # XPath 方式提取类别
            'categories': item.xpath('.//button/span/text()').getall(),
            # CSS + 正则提取日期
            'published_at': item.css('.info::text').re_first(
                r'(\d{4}-\d{2}-\d{2})'
            ),
            # CSS 方式提取评分
            'score': item.css('p.score::text').get(),
            # XPath 方式提取封面
            'cover': item.xpath('.//img/@src').get(),
        }
        movies.append(movie)

    return movies

import requests
from bs4 import BeautifulSoup

response = requests.get('https://example.com')

# 让 requests 自动检测编码（推荐）
response.encoding = response.apparent_encoding

# 或手动指定（针对已知编码的网站）
# response.encoding = 'gbk'

soup = BeautifulSoup(response.text, 'lxml')

from lxml import etree

html = etree.HTML(html_text)

# 遍历时最容易犯的错误：
for item in html.xpath('//li'):
    # 错误：// 从文档根节点搜索，始终返回文档中所有 a
    all_links = item.xpath('//a/text()')

    # 正确：.// 从当前 item 节点搜索
    my_links = item.xpath('.//a/text()')

import requests
from lxml import etree
import re

def parse_product_page(url):
    """组合策略：lxml 定位 + 正则提取"""
    response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
    html = etree.HTML(response.text)

    # 1. lxml + XPath 定位到商品卡片
    cards = html.xpath('//div[@class="product-card"]')

    products = []
    for card in cards:
        # 2. XPath 提取结构化字段
        name = card.xpath('.//h3/a/normalize-space(text())')
        name = name[0] if name else ''

        price_text = card.xpath('.//span[@class="price"]/text()')
        price_text = price_text[0] if price_text else ''

        # 3. 正则从价格文本中提取数字
        price_match = re.search(r'[\d.]+', price_text)
        price = float(price_match.group()) if price_match else 0.0

        # 4. 正则从描述文本中提取日期
        desc = card.xpath('string(.//div[@class="desc"])')
        date_match = re.search(r'\d{4}-\d{2}-\d{2}', desc)
        pub_date = date_match.group() if date_match else ''

        products.append({
            'name': name,
            'price': price,
            'pub_date': pub_date,
        })

    return products