当前位置：首页 > 行业动态 > 正文

从网页服务器获取数据并保存到本地sqlite as

admin
行业动态
2025-04-07
2

“

python，import sqlite3，import requests# 从网页服务器获取数据，response = requests.get('http://example.com/data')，data = response.json()# 连接到SQLite数据库（如果不存在则创建），conn = sqlite3.connect('local_database.db')，cursor = conn.cursor()# 创建表（如果不存在），cursor.execute('''CREATE TABLE IF NOT EXISTS data (id INTEGER PRIMARY KEY, info TEXT)''')# 插入数据，cursor.execute('INSERT INTO data (info) VALUES (?)', (str(data),))# 提交事务并关闭连接，conn.commit()，conn.close()，

“

从网页服务器获取数据并保存到本地SQLite数据库是一个常见的需求，特别是在需要处理和存储大量数据时，以下是详细的步骤和示例代码，展示如何实现这一过程。

一、准备工作

1、安装必要的软件：确保已经安装了Python环境，因为Python提供了丰富的库来支持网络请求和SQLite数据库操作，可以通过访问Python官方网站下载适合操作系统的安装包进行安装。

2、安装所需的库：使用pip命令安装requests库（用于发送HTTP请求）和sqlite3库（Python内置，无需额外安装，但需确保可用），在命令行中输入以下命令：

   pip install requests

二、从网页服务器获取数据

以获取一个API返回的JSON数据为例，假设该API的URL为https://api.example.com/data，使用requests库可以方便地发送HTTP请求并获取响应数据，示例代码如下：

import requests
发送GET请求
response = requests.get('https://api.example.com/data')
检查请求是否成功
if response.status_code == 200:
    # 解析JSON数据
    data = response.json()
else:
    print(f"请求失败，状态码：{response.status_code}")
    data = None

上述代码中，首先导入了requests库，然后使用requests.get()函数发送了一个GET请求到指定的URL，通过检查响应的状态码，可以判断请求是否成功，如果成功，则使用response.json()方法将响应内容解析为Python字典或列表（取决于JSON数据的结构）。

三、创建SQLite数据库并保存数据

需要在本地创建一个SQLite数据库，并将从网页服务器获取的数据保存到该数据库中，以下是具体的步骤和示例代码：

1、连接到SQLite数据库：使用sqlite3库提供的connect()函数连接到一个SQLite数据库文件，如果文件不存在，SQLite将自动创建一个空数据库。

从网页服务器获取数据并保存到本地sqlite as

import sqlite3
连接到SQLite数据库（如果不存在则创建）
conn = sqlite3.connect('local_database.db')
cursor = conn.cursor()

2、创建表：根据需要存储的数据结构，在数据库中创建一个或多个表，如果获取的数据包含用户的ID、姓名和电子邮件地址，可以创建一个名为users的表来存储这些信息。

创建表
cursor.execute('''
CREATE TABLE IF NOT EXISTS users (
    id INTEGER PRIMARY KEY,
    name TEXT,
    email TEXT
)
''')

上述代码中，使用了CREATE TABLE IF NOT EXISTS语句来确保表只在不存在时才被创建，表中的字段包括id（主键）、name（姓名）和email（电子邮件地址），分别对应不同的数据类型。

3、插入数据：将从网页服务器获取的数据插入到创建的表中，这通常涉及到遍历获取的数据，并为每个记录执行一个INSERT语句。

插入数据
if data:
    for item in data:
        cursor.execute('''
        INSERT INTO users (id, name, email) VALUES (?, ?, ?)
        ''', (item['id'], item['name'], item['email']))
    conn.commit()  # 提交事务
else:
    print("没有数据可插入")

在上述代码中，首先检查从网页服务器获取的数据是否为空，如果不为空，则遍历数据中的每个项目，并使用cursor.execute()方法执行INSERT语句将数据插入到users表中。?是占位符，用于防止SQL注入攻击，使用conn.commit()方法提交事务，确保数据被实际写入数据库。

4、查询数据：为了验证数据是否已正确保存到数据库中，可以执行一个SELECT语句来查询表中的数据。

从网页服务器获取数据并保存到本地sqlite as

查询数据
cursor.execute('SELECT  FROM users')
rows = cursor.fetchall()
for row in rows:
    print(row)

上述代码中，使用cursor.execute()方法执行了一个SELECT语句来查询users表中的所有记录，然后使用cursor.fetchall()方法获取所有查询结果，并遍历打印出来。

5、关闭连接：完成所有操作后，记得关闭与SQLite数据库的连接。

conn.close()

四、完整示例代码

将上述步骤整合在一起，得到一个完整的示例代码：

import requests
import sqlite3
从网页服务器获取数据
response = requests.get('https://api.example.com/data')
if response.status_code == 200:
    data = response.json()
else:
    print(f"请求失败，状态码：{response.status_code}")
    data = None
连接到SQLite数据库并保存数据
if data:
    conn = sqlite3.connect('local_database.db')
    cursor = conn.cursor()
    # 创建表
    cursor.execute('''
    CREATE TABLE IF NOT EXISTS users (
        id INTEGER PRIMARY KEY,
        name TEXT,
        email TEXT
    )
    ''')
    # 插入数据
    for item in data:
        cursor.execute('''
        INSERT INTO users (id, name, email) VALUES (?, ?, ?)
        ''', (item['id'], item['name'], item['email']))
    conn.commit()
    # 查询数据并打印结果
    cursor.execute('SELECT  FROM users')
    rows = cursor.fetchall()
    for row in rows:
        print(row)
    # 关闭连接
    conn.close()
else:
    print("没有数据可保存")