爬取数据的分析与可视化

# 查看当前所有虚拟环境
conda info -e

# 创建新环境并指定 Python 版本
conda create -n crawler python=3.14

# 激活环境
conda activate crawler
# Windows 不加 source，Mac/Linux 加 source

jupyter notebook
# 或
jupyter lab

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 在 Jupyter 中加这行，图像直接内联显示，无需写 plt.show()
%matplotlib inline

# 用列表创建 Series
s = pd.Series(['a', 'b', 'c'])
# 0    a
# 1    b
# 2    c

# 手动指定索引
s = pd.Series(['a', 'b', 'c'], index=['x', 'y', 'z'])
# x    a
# y    b
# z    c

# 通过索引获取元素、切片
s['x']     # 'a'
s[:2]      # x a, y b

# 用字典创建 Series（索引到值的映射）
s2 = pd.Series({1: "a", 2: "b", 3: "c"})

# 用相等长度的列表组成的字典创建
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'],
        'year': [2000, 2001, 2002, 2001, 2002],
        'pop': [1.5, 1.7, 3.6, 2.4, 2.9]}
df = pd.DataFrame(data)

# 用 Numpy 二维数组创建
df2 = pd.DataFrame(np.random.randn(6, 4))

# 指定行索引和列索引
dates = pd.date_range('20130101', periods=6)
df3 = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))

df.columns   # 列索引
df.index     # 行索引
df.values    # 数据（numpy 数组）

# 查看头部/尾部数据（默认前/后5行，可指定行数）
df.head(3)
df.tail()

# 按索引排序
df.sort_index(axis=1, ascending=False)      # 按列索引降序
df.sort_index(axis=0, ascending=False)      # 按行索引降序

# 按值排序
df.sort_values(by='B')                       # 按 B 列升序
df.sort_values(by=['A', 'B'], ascending=[True, False])  # 多列排序

# 选择数据
df['A']            # 选择一列，返回 Series
df[['A', 'B']]     # 选择多列，返回 DataFrame
df[0:3]            # 切片（按行）

# 高效获取：loc（按索引名）与 iloc（按位置）
df.loc["2013-01-01":"2013-01-03", ['A', 'B']]  # 按行索引切片+指定列
df.iloc[1:4, 0:2]                               # 按位置切片

# 条件过滤
df[df.A > 0]

# 聚合统计
df.sum()    # 求和
df.mean()   # 求平均值
df.max()    # 求最大值
df.min()    # 求最小值

# 分组
df.groupby('A').size()
# groupby 参数还可以是函数（如按时间列的年份分组）
df.groupby(lambda x: df.E[x].year).size()

display_columns = ["title", "read_num", "like_num", "comment_num", "reward_num", "p_date"]

# 从 MongoDB 导入
import pymongo
from pymongo import MongoClient
c = MongoClient()
cursor = c.weixin['post'].find()
df = pd.DataFrame(list(cursor))
df = df.drop("_id", axis=1)
df = df.reindex(columns=display_columns)
df.p_date = pd.to_datetime(df['p_date'])

# 从 CSV 导入（示例数据）
df = pd.read_csv("post.csv")
df = df.reindex(columns=display_columns)
df.p_date = pd.to_datetime(df['p_date'])

top_read_num_10 = df.sort_values(by=['read_num'], ascending=False)[:10]
top_read_num_10 = top_read_num_10[display_columns]
top_read_num_10.reset_index(drop=True)

ax = df.plot(y='read_num', x='p_date', title="文章阅读量趋势", figsize=(9, 6))
ax.set_ylabel("阅读量")
ax.set_xlabel("")
ax.legend().set_visible(False)

# year_df 为按年份 groupby 统计的文章数
ax = year_df.plot(x='p_date', y='total', kind='bar', figsize=(9, 6), fontsize=15)
ax.set_ylabel("文章数")
ax.set_xlabel("")
ax.legend().set_visible(False)
# 柱状图上显示数字
for p in ax.patches:
    ax.annotate(str(p.get_height()), xy=(p.get_x(), p.get_height()))

top_reward_num = df.sort_values(by=['reward_num'], ascending=False)[:10]
top_reward_num = top_reward_num[display_columns]
top_reward_num.reset_index(drop=True)

ax = top_reward_num.plot(x='title', y='reward_num', kind='barh',
                         figsize=(9, 6), fontsize=14)
ax.set_ylabel("")
ax.set_xlabel("赞赏数")
ax.legend().set_visible(False)
# kind 用 "barh" 表示横向条形图

# 散点图
ax = df.plot(kind="scatter", y='like_num', x='read_num', s=10, figsize=(9, 6), fontsize=15)
ax.set_xlabel("阅读量")
ax.set_ylabel("点赞数")

# 添加线性拟合线
z = np.polyfit(df.read_num, df.like_num, 1)
p = np.poly1d(z)
plt.plot(df.read_num, p(df.read_num), "r--")

pip install jieba wordcloud

from wordcloud import WordCloud
import jieba

words = []
for i in df.title:
    seg_list = jieba.cut(i, cut_all=False)
    words.append(" ".join(seg_list))

# 需要指定中文字体路径，否则 wordcloud 无法处理中文
# macOS: /System/Library/Fonts/PingFang.ttc
# Windows: C:/Windows/Fonts/simhei.ttf
# Linux: /usr/share/fonts/truetype/droid/DroidSansFallbackFull.ttf
font_path = '/System/Library/Fonts/PingFang.ttc'  # macOS

wordcloud = WordCloud(
    font_path=font_path,
    background_color="white",
    max_words=80,
).generate(" ".join(words))

plt.figure(figsize=(9, 6))
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()