1. 项目概述与核心价值

最近在折腾一个挺有意思的小项目，叫 seannet888/house-fetcher 。乍一看这个名字，你可能觉得就是个普通的爬虫工具，但如果你也像我一样，曾经为了找房、看房、比价而焦头烂额，在各个房产平台之间反复横跳，手动记录、对比，最后信息还一团糟，那你就能立刻明白这个项目的价值所在。它本质上是一个 房产信息聚合与自动化抓取工具 ，核心目标是把散落在不同网站（比如贝壳、链家、安居客等）上的房源信息，通过程序化的方式抓取下来，并进行结构化处理和持久化存储，最终形成一个属于你自己的、可查询、可分析的本地房源数据库。

我之所以花时间研究并实践这个项目，是因为在当前的租房和购房市场里，信息差依然是最大的痛点。平台算法推荐的不一定是你最需要的，价格波动频繁，好房源转瞬即逝。手动操作效率极低，且无法进行历史趋势分析。 house-fetcher 这类工具的出现，相当于给你配了一个不知疲倦的“数字助理”，它能7x24小时帮你监控目标区域的房源动态，无论是价格变化、新房源上架还是旧房源下架，都能第一时间捕获，让你在信息获取上占据主动。这不仅仅是技术人的“玩具”，对于真正有找房需求的普通用户、房产领域的从业者，甚至是做市场分析的研究者，都是一个极具实用价值的解决方案。接下来，我就把自己在搭建、配置和使用过程中的完整思路、踩过的坑以及一些优化心得，毫无保留地分享出来。

2. 项目整体设计与核心思路拆解

2.1 核心需求与目标定义

在动手之前，明确我们要解决什么问题至关重要。 house-fetcher 的核心需求可以拆解为以下几个层次：

1. 多源数据采集 ：能够支持从多个主流房产信息平台抓取数据。不同平台的页面结构、反爬策略、数据字段都不尽相同，这就要求工具必须具备良好的扩展性和适配能力。
2. 结构化数据提取 ：从杂乱的HTML页面中，精准提取出我们关心的结构化信息，例如：房源标题、总价/单价、面积、户型（几室几厅）、朝向、楼层、小区名称、具体地址、房源描述、经纪人信息、发布时间、图片链接等。
3. 数据持久化与去重 ：将抓取到的数据有效地存储起来（如存入数据库），并能够识别出同一房源在不同平台或不同时间的重复记录，避免数据冗余。
4. 定时任务与增量更新 ：房源信息是动态变化的，我们需要工具能定时自动运行，并且每次只抓取新增或发生变动的房源，即增量更新，以节省资源和提高效率。
5. 可配置与易用性 ：用户应该能通过简单的配置（如目标城市、区域、价格区间、户型要求等）来定制抓取任务，而不需要修改代码。

seannet888/house-fetcher 这个项目正是围绕这些目标构建的。它通常采用模块化设计，将爬虫调度器、针对不同平台的解析器（Parser）、数据清洗模块、存储模块以及任务配置管理分离开，使得代码结构清晰，易于维护和扩展新的平台支持。

2.2 技术栈选型与考量

这类项目的技术选型有一套相对固定的模式，核心是平衡开发效率、运行稳定性以及对抗反爬虫的能力。

• 编程语言：Python 。这几乎是数据抓取领域的“标准答案”。其丰富的生态库（如Requests, Scrapy, BeautifulSoup, Selenium）和简洁的语法，能极大提升开发效率。 house-fetcher 极大概率也是基于Python构建的。
• HTTP请求库：Requests + 会话(Session) 。用于发送网络请求，获取网页HTML内容。使用Session可以维持Cookie，模拟用户连续访问的行为。
• HTML解析库：BeautifulSoup 或 lxml 。两者都是优秀的解析库。BeautifulSoup API 更友好，适合快速开发；lxml 解析速度更快，适合处理大量页面。项目中可能会根据复杂度混合使用。
• 动态页面渲染：Selenium 或 Playwright 。对于大量使用JavaScript动态加载数据的现代网站，单纯的Requests无法获取完整内容。此时需要无头浏览器（Headless Browser）来模拟真实用户操作。Selenium成熟稳定，Playwright较新，由微软开发，在速度和API设计上可能有优势。选型时需考虑目标网站的技术特点。
• 数据存储：SQLite 或 MySQL/PostgreSQL 。对于个人使用或数据量不大的情况，轻量级的SQLite是首选，它无需安装服务器，单个文件即可管理，非常方便。如果数据量庞大或需要多机协作，则考虑MySQL或PostgreSQL。项目中可能会定义统一的模型（Model）来对接不同数据库。
• 任务调度：APScheduler 或 Celery 。如果需要复杂的定时任务（如每天凌晨2点运行），APScheduler是一个轻量级的选择。如果任务队列庞大，需要分布式调度，则Celery更合适。对于简单的个人项目，甚至可以用系统的Crontab来调用Python脚本。
• 反爬对抗策略 ：这是爬虫项目的核心挑战之一。通常需要组合使用以下策略：
  • 请求头（User-Agent）伪装 ：模拟主流浏览器的请求头。
  • 代理IP池 ：轮换使用不同的IP地址发起请求，避免单个IP被封锁。
  • 请求频率控制 ：在请求间添加随机延迟，模拟人类浏览的停顿。
  • Cookie管理 ：妥善处理登录态和会话Cookie。
  • 验证码识别 ：对于出现验证码的网站，可能需要集成第三方OCR服务或手动处理方案。

注意 ：在开发和运行爬虫时，必须严格遵守目标网站的 robots.txt 协议，尊重网站的数据权益，控制抓取频率，避免对目标网站服务器造成过大压力。本分享仅限技术交流与个人合法合规使用。

3. 核心模块解析与实操要点

3.1 爬虫调度器与配置管理

调度器是整个项目的大脑，负责读取配置、协调各模块运行。一个健壮的调度器设计应该包含以下部分：

配置文件设计（如 config.yaml 或 config.json ）：

target_city: "上海"
districts:
  - "浦东新区"
  - "徐汇区"
  - "闵行区"
price_range:
  min: 300
  max: 600
unit: “万” # 或“元/月”
house_type: “2室1厅”
platforms:
  - name: “lianjia”
    enabled: true
    base_url: “https://sh.lianjia.com/ershoufang/”
  - name: “ke”
    enabled: true
    base_url: “https://sh.ke.com/ershoufang/”
schedule:
  enabled: true
  interval_hours: 6
database:
  type: “sqlite”
  path: “./data/houses.db”
anti_spider:
  delay_range: [1, 3] # 请求延迟范围（秒）
  use_proxy: false
  proxy_list: []

调度器的工作流程通常是：1) 加载配置文件；2) 根据 platforms 中启用的平台，依次实例化对应的爬虫解析器；3) 将配置中的搜索条件（区域、价格等）转化为每个平台特定的查询URL参数；4) 调用爬虫执行抓取；5) 将抓取结果送入数据清洗和存储管道。

实操心得 ：配置文件最好支持环境变量覆盖，这样可以将敏感信息（如数据库密码、API密钥）从代码中分离。例如，数据库连接字符串可以通过环境变量 DB_CONNECTION_STRING 传入。

3.2 平台解析器（Parser）的实现细节

这是技术含量最高、也是最容易“失效”的部分。每个平台都需要一个独立的解析器。以链家（lianjia）的二手房列表页为例，解析器的实现步骤：

1. 构建请求URL ：将配置中的“浦东新区”、“300-600万”等条件，拼接成链家网站能识别的查询URL，例如 https://sh.lianjia.com/ershoufang/pudong/price300-600/ 。
2. 发送请求与获取响应 ：使用Requests库发送HTTP GET请求。这里必须设置合理的请求头（Headers），至少包含一个真实的 User-Agent 。
3. 解析列表页 ：获取到的HTML，用BeautifulSoup定位到房源列表的容器元素。通常需要查看网页源代码，找到包裹每个房源信息的HTML标签和CSS类名。

   # 示例代码片段
   soup = BeautifulSoup(html_content, 'html.parser')
   house_list = soup.find_all('div', class_='info clear') # 此class名需根据实际网站调整
   for house in house_list:
       title_elem = house.find('a', class_='VIEWDATA CLICKDATA maidian-detail')
       title = title_elem.text.strip() if title_elem else “N/A”
       # ... 类似地提取价格、面积、户型等信息
   

4. 处理分页 ：解析出总页数或“下一页”的链接，循环抓取所有列表页。
5. 进入详情页 ：通常列表页信息有限，需要抓取每个房源的详情页来获取更全面的描述、图片和联系方式。这意味着要为每个房源再发起一次HTTP请求。
6. 数据提取与字段映射 ：从详情页HTML中提取更丰富的字段，并映射到我们定义的标准数据模型（Schema）上。

避坑指南 ：

• CSS选择器失效 ：网站前端改版是常态，之前好用的CSS选择器可能突然就失效了。解决方案是：a) 尽量选择语义化较强、相对稳定的父级容器标签和类名；b) 编写备用选择器路径；c) 实现监控告警，当解析失败率突然升高时通知维护者。
• 动态加载数据 ：很多网站采用滚动加载（无限滚动）或异步接口（Ajax）加载数据。对于滚动加载，可以用Selenium模拟滚动操作；对于异步接口，则是爬虫的“福音”——直接找到那个返回JSON数据的API接口地址，用Requests调用它，效率远高于解析HTML。打开浏览器的“开发者工具”（F12），切换到“网络”（Network）选项卡，筛选XHR/Fetch请求，在翻页或滚动时观察新增的请求，很可能就是数据接口。
• 数据隐藏在JavaScript变量中 ：有些数据并不直接写在HTML里，而是放在 <script> 标签的JavaScript变量中。这时需要用正则表达式或 json.loads() 来从脚本字符串中提取JSON数据。

3.3 数据清洗、去重与存储模型

抓取下来的原始数据往往是“脏”的，需要清洗。

1. 清洗 ：
   • 单位统一 ：价格可能是“500万”、“5000000元”、“5百万”，需要统一转换为数字 5000000 。面积可能是“89.5平米”、“89.5㎡”、“三室两厅”，需要拆分出纯数字面积。
   • 字符串处理 ：去除首尾空格、换行符等无用字符。
   • 空值处理 ：对于提取失败或本身为空的数据，设置合理的默认值（如 None 或空字符串）。
2. 去重 ：这是保证数据库质量的关键。判断两个房源记录是否为同一套房，通常需要一个“指纹”或“唯一标识”。最理想的情况是房源本身有唯一ID（如链家的 house_code ）。如果没有，则可以组合关键字段生成一个哈希值作为唯一标识，例如： hash(小区名 + 楼栋号 + 房间号) 。在存入数据库前，先检查此标识是否已存在，若存在则更新记录（如更新价格、更新时间），若不存在则插入新记录。
3. 存储模型设计 ：在数据库中设计一张 houses 表，字段应涵盖所有抓取的信息。此外，强烈建议添加以下辅助字段：
   • id : 自增主键。
   • source_id : 来自源平台的唯一标识。
   • fingerprint : 我们自己生成的去重标识。
   • created_at : 记录首次抓取到的时间。
   • updated_at : 记录最后一次更新的时间。
   • url : 房源原始链接，便于回溯。
   • platform : 来源平台（如“lianjia”）。

使用SQLAlchemy或Peewee这类ORM（对象关系映射）库，可以让我们用Python类来定义模型，操作数据库更优雅、安全。

4. 完整搭建与运行流程实录

假设我们从零开始，基于 seannet888/house-fetcher 的思想来搭建一个简易可用的系统。

4.1 环境准备与依赖安装

首先，确保你的电脑上安装了Python（建议3.8及以上版本）。然后创建一个新的项目目录并初始化虚拟环境，这能隔离项目依赖。

mkdir my-house-fetcher
cd my-house-fetcher
python -m venv venv  # 创建虚拟环境
# 在Windows上激活: venv\Scripts\activate
# 在macOS/Linux上激活: source venv/bin/activate

接着，安装核心依赖库。创建一个 requirements.txt 文件，内容如下：

requests>=2.28.0
beautifulsoup4>=4.11.0
lxml>=4.9.0
selenium>=4.0.0
webdriver-manager>=3.8.0  # 用于自动管理浏览器驱动
peewee>=3.15.0  # 轻量级ORM
pyyaml>=6.0     # 用于读取YAML配置
apscheduler>=3.10.0  # 定时任务调度

使用pip安装：

pip install -r requirements.txt

如果主要目标网站是动态加载的，Selenium是必需的。 webdriver-manager 会自动下载和匹配对应版本的ChromeDriver或GeckoDriver，省去手动配置的麻烦。

4.2 项目结构搭建

一个清晰的项目结构有助于长期维护。建议如下：

my-house-fetcher/
├── config.yaml              # 主配置文件
├── main.py                  # 程序主入口，调度器
├── models.py                # 数据库模型定义
├── spiders/                 # 爬虫解析器目录
│   ├── __init__.py
│   ├── base_spider.py      # 爬虫基类，定义公共接口
│   ├── lianjia_spider.py   # 链家爬虫
│   └── ke_spider.py        # 贝壳爬虫
├── utils/                   # 工具函数目录
│   ├── __init__.py
│   ├── logger.py           # 日志配置
│   └── helpers.py          # 数据清洗、请求工具等
├── data/                    # 数据目录（存放数据库文件）
│   └── houses.db
└── logs/                    # 日志目录

4.3 编写核心代码

第一步：定义数据模型 ( models.py )

from peewee import *
import datetime

db = SqliteDatabase('data/houses.db')

class BaseModel(Model):
    class Meta:
        database = db

class House(BaseModel):
    # 来源与标识
    platform = CharField()          # 来源平台，如 ‘lianjia’
    source_id = CharField(null=True) # 平台内部ID
    fingerprint = CharField(unique=True) # 去重指纹
    url = TextField()

    # 核心信息
    title = CharField()
    total_price = DecimalField(max_digits=12, decimal_places=2, null=True) # 总价
    unit_price = DecimalField(max_digits=10, decimal_places=2, null=True)  # 单价
    area = DecimalField(max_digits=8, decimal_places=2, null=True)         # 面积
    layout = CharField(null=True)   # 户型，如‘2室1厅’
    orientation = CharField(null=True) # 朝向
    floor = CharField(null=True)    # 楼层，如‘中楼层/6层’
    community = CharField(null=True) # 小区名
    district = CharField(null=True) # 行政区
    subdistrict = CharField(null=True) # 街道/板块

    # 详情与状态
    description = TextField(null=True)
    publish_time = DateTimeField(null=True)
    # 记录时间
    created_at = DateTimeField(default=datetime.datetime.now)
    updated_at = DateTimeField(default=datetime.datetime.now)

    class Meta:
        indexes = (
            (('platform', 'source_id'), True), # 联合唯一索引
        )

# 创建表
if __name__ == '__main__':
    db.connect()
    db.create_tables([House])
    print("数据库表创建成功。")

第二步：实现爬虫基类与链家爬虫示例 ( spiders/base_spider.py 和 spiders/lianjia_spider.py ) base_spider.py 定义了所有爬虫必须实现的方法（接口）。

from abc import ABC, abstractmethod

class BaseSpider(ABC):
    """爬虫抽象基类"""
    def __init__(self, name, base_url):
        self.name = name
        self.base_url = base_url
        self.session = requests.Session()
        self.session.headers.update({
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...'
        })

    @abstractmethod
    def parse_list_page(self, html, page_num):
        """解析列表页，返回房源链接列表和是否有下一页"""
        pass

    @abstractmethod
    def parse_detail_page(self, html, url):
        """解析详情页，返回结构化的房源数据字典"""
        pass

    @abstractmethod
    def generate_list_urls(self, config):
        """根据配置生成要抓取的列表页URL"""
        pass

    def fetch(self, url):
        """发送请求，返回响应文本，包含基础错误处理和延迟"""
        import time, random
        time.sleep(random.uniform(1, 3)) # 基础反爬延迟
        try:
            resp = self.session.get(url, timeout=10)
            resp.raise_for_status()
            return resp.text
        except requests.RequestException as e:
            print(f"请求失败 {url}: {e}")
            return None

lianjia_spider.py 实现具体的链家解析逻辑。

from bs4 import BeautifulSoup
from spiders.base_spider import BaseSpider
import re

class LianjiaSpider(BaseSpider):
    def __init__(self):
        super().__init__(name='lianjia', base_url='https://sh.lianjia.com/ershoufang/')

    def generate_list_urls(self, config):
        """根据配置生成链家列表页URL。简化示例：只处理区域"""
        urls = []
        for district in config.get('districts', []):
            # 将中文区域名转换为链家URL中使用的拼音或编码（此处需维护一个映射，或从网站分析）
            # 此处为示例，假设配置中直接给了区域路径
            base = f"{self.base_url}{district}/"
            # 可以在这里拼接价格、户型等筛选条件
            urls.append(base)
        return urls

    def parse_list_page(self, html, page_num):
        soup = BeautifulSoup(html, 'lxml')
        house_links = []
        # 查找房源列表项，CSS选择器需要根据实际网站调整
        list_items = soup.select('.sellListContent li .title a') # 示例选择器
        for link in list_items:
            href = link.get('href')
            if href and href.startswith('http'):
                house_links.append(href)

        # 判断是否有下一页
        next_page = soup.select_one('.page-box .next')
        has_next = next_page and 'disabled' not in next_page.get('class', [])
        return house_links, has_next

    def parse_detail_page(self, html, url):
        soup = BeautifulSoup(html, 'lxml')
        data = {}

        # 提取标题
        title_elem = soup.select_one('.sellDetailHeader .title .main')
        data['title'] = title_elem.text.strip() if title_elem else ''

        # 提取总价和单价 - 链家详情页有明确的标签
        total_price_elem = soup.select_one('.price .total')
        unit_price_elem = soup.select_one('.price .unitPriceValue')
        if total_price_elem:
            data['total_price'] = float(total_price_elem.text.strip().replace('万', '')) * 10000
        if unit_price_elem:
            data['unit_price'] = float(unit_price_elem.text.strip().replace('元/平米', ''))

        # 提取面积、户型、楼层等（位于某个信息列表内）
        info_items = soup.select('.base .content li')
        for item in info_items:
            text = item.text.strip()
            if '房屋面积' in text or '建筑面积' in text:
                area_match = re.search(r'[\d\.]+', text)
                if area_match:
                    data['area'] = float(area_match.group())
            elif '户型结构' in text or '房屋户型' in text:
                data['layout'] = text.split('：')[-1]
            elif '所在楼层' in text:
                data['floor'] = text.split('：')[-1]
            elif '房屋朝向' in text:
                data['orientation'] = text.split('：')[-1]

        # 提取小区和区域
        community_elem = soup.select_one('.communityName a')
        if community_elem:
            data['community'] = community_elem.text.strip()
        area_elems = soup.select('.areaName a')
        if len(area_elems) >= 2:
            data['district'] = area_elems[0].text.strip()
            data['subdistrict'] = area_elems[1].text.strip()

        # 生成指纹（简单示例：使用小区+面积+楼层的组合）
        fingerprint_str = f"{data.get('community','')}_{data.get('area','')}_{data.get('floor','')}"
        import hashlib
        data['fingerprint'] = hashlib.md5(fingerprint_str.encode()).hexdigest()
        data['url'] = url
        data['platform'] = self.name

        return data

第三步：编写主调度程序 ( main.py )

import yaml
from spiders.lianjia_spider import LianjiaSpider
from models import House, db
import logging
from utils.logger import setup_logger

setup_logger()
logger = logging.getLogger(__name__)

def load_config():
    with open('config.yaml', 'r', encoding='utf-8') as f:
        return yaml.safe_load(f)

def main():
    config = load_config()
    logger.info("开始执行房源抓取任务...")

    # 初始化爬虫
    spiders = []
    if config['platforms']['lianjia']['enabled']:
        spiders.append(LianjiaSpider())

    db.connect()
    for spider in spiders:
        logger.info(f"开始抓取平台: {spider.name}")
        list_urls = spider.generate_list_urls(config)
        for list_url in list_urls:
            page_num = 1
            has_next = True
            while has_next:
                logger.info(f"抓取列表页: {list_url}?pg={page_num}")
                html = spider.fetch(f"{list_url}pg{page_num}/") # 链家分页格式
                if not html:
                    break
                house_links, has_next = spider.parse_list_page(html, page_num)
                for link in house_links:
                    logger.debug(f"抓取详情页: {link}")
                    detail_html = spider.fetch(link)
                    if detail_html:
                        house_data = spider.parse_detail_page(detail_html, link)
                        if house_data:
                            save_or_update_house(house_data)
                page_num += 1
                if page_num > 50: # 安全限制，防止死循环
                    break
    db.close()
    logger.info("房源抓取任务完成。")

def save_or_update_house(data):
    """根据指纹保存或更新房源数据"""
    try:
        with db.atomic():
            house, created = House.get_or_create(
                fingerprint=data['fingerprint'],
                defaults=data
            )
            if not created:
                # 如果已存在，则更新部分字段（如价格、更新时间）
                update_data = {k: v for k, v in data.items() if k not in ['fingerprint', 'platform', 'url']}
                update_data['updated_at'] = datetime.datetime.now()
                House.update(**update_data).where(House.fingerprint == data['fingerprint']).execute()
                logger.info(f"更新房源: {data.get('title')}")
            else:
                logger.info(f"新增房源: {data.get('title')}")
    except Exception as e:
        logger.error(f"保存房源数据失败 {data.get('title')}: {e}")

if __name__ == '__main__':
    main()

4.4 配置与运行

1. 根据你的需求编写 config.yaml 。
2. 运行 python models.py 初始化数据库。
3. 直接运行 python main.py 开始一次抓取。

实现定时任务 ：可以使用APScheduler。在 main.py 中添加：

from apscheduler.schedulers.blocking import BlockingScheduler

scheduler = BlockingScheduler()
scheduler.add_job(main, 'interval', hours=6) # 每6小时执行一次
scheduler.start()

然后运行这个脚本，它就会在后台定时执行抓取任务。更生产环境的方式是使用系统的Crontab（Linux/macOS）或计划任务（Windows）来定时执行 python main.py 。

5. 常见问题与排查技巧实录

在实际运行中，你一定会遇到各种各样的问题。下面是我踩过的一些坑和解决方法。

5.1 请求被拒绝或返回异常页面

• 现象 ：返回状态码403、404，或者返回一个包含“验证”、“访问过于频繁”等字样的HTML页面。
• 排查与解决 ：
  1. 检查请求头 ：确保 User-Agent 是真实浏览器的值。可以定期从网上更新一批。此外， Referer 、 Accept-Language 等头部也可能被网站检查。
  2. 检查Cookie ：有些网站需要初始访问获得一个Cookie才能正常浏览。可以先用浏览器手动访问一次，复制Cookie字符串到爬虫的Session headers中。
  3. 启用代理IP ：这是应对IP封锁最直接有效的方法。在配置文件中设置 use_proxy: true ，并提供一个可靠的代理IP列表。免费代理不稳定，建议使用付费代理服务，并在代码中实现代理IP的自动切换和失效剔除机制。
  4. 进一步降低请求频率 ：增加请求间的随机延迟时间，模拟人类更随机的浏览间隔。

5.2 解析不到数据或数据错乱

• 现象 ：BeautifulSoup找不到元素，返回空列表，或者提取到的文本是乱码。
• 排查与解决 ：
  1. 确认页面已完整加载 ：对于动态网站，先用浏览器检查页面源代码（View Page Source），看看你需要的数据是否在初始HTML中。如果不在，就需要用Selenium。
  2. 验证CSS选择器 ：网站可能已经更新了页面结构。打开浏览器开发者工具，使用元素检查器（Inspector）重新确认目标元素最新的CSS选择器路径。尽量使用具有唯一性的类名或ID。
  3. 检查编码 ：确保请求返回的内容编码与解析时指定的编码一致。通常使用 resp.encoding = 'utf-8' 或从响应头中获取。
  4. 使用更健壮的解析方法 ：不要依赖单一的CSS选择器。可以尝试先定位到一个大的、稳定的父容器，再在其内部逐层查找。或者使用正则表达式辅助提取。

5.3 数据库操作错误或数据重复

• 现象 ：插入数据时主键冲突，或者明明是新房源却被识别为重复。
• 排查与解决 ：
  1. 优化“指纹”算法 ：之前用“小区+面积+楼层”生成指纹，可能重复率较高。可以尝试加入更多字段，如“总价+户型+朝向”，或者直接使用平台提供的唯一 house_code （如果抓得到）。
  2. 处理数据库连接 ：确保每次任务开始和结束时正确打开和关闭数据库连接。对于长时间运行的任务，要考虑连接超时和重连机制。Peewee的 db.connect() 和 db.close() 要成对调用，或在Web应用中使用连接池。
  3. 使用事务 ：像上面示例中的 with db.atomic(): 可以确保一组数据库操作要么全部成功，要么全部回滚，避免数据不一致。

5.4 定时任务不执行或异常退出

• 现象 ：配置了APScheduler或Crontab，但任务没有按预期运行。
• 排查与解决 ：
  1. 检查日志 ：这是最重要的。确保你的程序有完善的日志记录，将信息输出到文件。查看日志文件，看任务是否启动，在哪里报错。
  2. 环境变量问题（Crontab常见） ：Crontab执行的环境与用户Shell环境不同，可能找不到 python 命令或虚拟环境。在Crontab任务中，使用绝对路径，或者先在Shell脚本中激活虚拟环境再执行Python脚本。

     # 示例 crontab -e
     # 每6小时执行一次
     0 */6 * * * cd /path/to/my-house-fetcher && /usr/bin/python3 /path/to/my-house-fetcher/main.py >> /path/to/logs/cron.log 2>&1
     

  3. 处理程序异常 ：确保主函数 main() 有完善的 try...except 异常捕获，并将异常信息记录到日志，而不是让程序默默崩溃。否则，定时任务一旦出错就停止了。

5.5 法律与道德风险规避

这是一个必须单独强调的部分。技术无罪，但使用方式有对错。

1. 遵守 robots.txt ：在抓取任何网站前，先访问其 robots.txt 文件（如 https://www.example.com/robots.txt ）。如果它明确禁止爬虫访问你目标目录（如 Disallow: /ershoufang/ ），请尊重该规则，考虑寻找其他数据源或官方合作接口。
2. 控制抓取速度 ：将请求延迟设置得合理一些（比如2-5秒一个请求），避免对目标网站服务器造成明显的负载压力。你的抓取行为不应该影响正常用户的访问体验。
3. 明确数据用途 ：抓取的数据仅用于个人学习、研究或分析， 切勿用于商业用途、公开大规模分发或从事任何可能侵犯他人权益的活动 。很多网站的用户协议明确禁止批量抓取数据。
4. 规避个人信息 ：如果意外抓取到电话号码、具体门牌号等个人敏感信息，应在清洗阶段予以剔除或脱敏处理。

搭建和维护一个像 house-fetcher 这样的项目，是一个持续迭代的过程。网站会改版，反爬策略会升级，你的代码也需要随之调整。但这个过程本身，是对你网络编程、数据清洗、系统设计能力的绝佳锻炼。当你看到自己搭建的系统稳定运行，源源不断地为你提供结构化的房源信息，并能基于此做出更明智的决策时，那种成就感是非常实在的。最后，记得定期备份你的数据库，数据无价。