openai key scraping的进一步展开说明

scrapeghost: 一个用于爬取网站数据的实验性库

为何你不应当使用这个库

1. 它非常实验性，不保证API的稳定性或结果的准确性。
2. 它依赖于OpenAI的API，该API的速度较慢且可能会产生高昂的费用（在使用该库之前请参考费用）。
3. 目前使用Hippocratic License 3.0许可协议（请参阅FAQ）。使用时需自担风险。

使用步骤

1. 步骤一：获得OpenAI API密钥并设置环境变量：
export OPENAI_API_KEY = sk-...
2. 步骤二：依照您喜欢的方式安装该库：
pip install scrapeghost
poetry add scrapeghost
3. 步骤三：通过定义要提取的数据的结构来实例化SchemaScraper：

from scrapeghost import SchemaScraper

scrape_legislators = SchemaScraper(
    schema={
        "name": "string",
        "url": "url",
        "district": "string",
        "party": "string",
        "photo_url": "url",
        "offices": [
            {
                "name": "string",
                "address": "string",
                "phone": "string"
            }
        ]
    }
)

注意：对schema，并没有预定义的格式，GPT模型可以很好地理解您的意图，并且可使用任何您想要提供提示的值。
4. 步骤四：向scrape_legislators传递URL（或HTML），返回爬取到的数据：

resp = scrape_legislators("https://www.ilga.gov/house/rep.asp?MemberID=3071")
resp.data

{
    "name": "Emanuel 'Chris' Welch",
    "url": "https://www.ilga.gov/house/Rep.asp?MemberID=3071",
    "district": "7th",
    "party": "D",
    "photo_url": "https://www.ilga.gov/images/members/{5D419B94⑹6B4⑷F3B⑻6F1-BFF37B3FA55C}.jpg",
    "offices": [
        {
            "name": "Springfield Office",
            "address": "300 Capitol Building, Springfield, IL 62706",
            "phone": "(217) 782⑸350"
        },
        {
            "name": "District Office",
            "address": "10055 W. Roosevelt Rd., Suite E, Westchester, IL 60154",
            "phone": "(708) 450⑴000"
        }
    ]
}

命令行使用示例

#!/bin/sh
scrapeghost https://www.ncleg.gov/Members/Biography/S/436 
    --schema "{'first_name': 'str', 'last_name': 'str', 'photo_url': 'url', 'offices': [] }'" 
    --css div.card | python -m json.tool

{
    "first_name": "Gale",
    "last_name": "Adcock",
    "photo_url": "https://www.ncleg.gov/Members/MemberImage/S/436/Low",
    "offices": [
        {
            "type": "Mailing",
            "address": "16 West Jones Street, Rm. 1104, Raleigh, NC 27601"
        },
        {
            "type": "Office Phone",
            "phone": "(919) 715⑶036"
        }
    ]
}

该库的目的

基于Python的模式定义

预处理

• HTML清算：删除没必要要的HTML以减少API要求的大小和本钱。
• CSS和XPath选择器：通过编写单个CSS或XPath选择器对HTML进行预过滤。
• 自动拆分：可选择将HTML拆分为多个模型调用，以即可以爬取较大的网页。

后处理

• JSON验证：确保响应是有效的JSON格式（如果不是，可选择将其返回给GPT进行修复）。
• 模式验证：进一步使用模式验证响应。
• 幻觉检查：响应中的数据会不会真正存在于页面上？

本钱控制

openai key scraping的常见问答Q&A