正文

RSS URL 状态监控与自动清理设计与实现

admin
admin V管理员 /0 评论 /12 阅读
1017
文章最后更新时间2024年10月17日，若文章内容或图片失效，请留言反馈！

本文档介绍了一个用于监控 RSS URL 状态并自动清理无效链接的 Demo。该 Demo 通过前后端协作，实时检查数据库中存储的 RSS URL 是否有效，并在发现失效链接时进行自动清理。Demo 的功能包括分页展示、异步状态检查和自动删除失效 URL。

功能模块概述

  1. RSS URL 状态展示与分页：通过前端页面展示 RSS URL 数据，并支持分页显示，方便查看大量数据。

  2. RSS URL 状态检查：异步检查每个 RSS URL 的 HTTP 状态码，判断其是否有效。

  3. 自动删除无效 RSS URL：自动检测到无效链接后，删除数据库中对应的记录，保持数据的准确性。

模块详细设计

1. RSS URL 状态展示模块（前端）

1.1 模块描述

该模块的主要任务是从数据库中提取 RSS URL 数据并通过表格形式进行展示。同时，通过 JavaScript 实现异步 URL 状态检查，并更新表格中的状态列。

1.2 功能点

  • 分页展示：每次展示一定数量的 RSS URL 数据，避免一次加载过多内容。

  • 状态动态更新：页面加载后，开始逐条异步检查 RSS URL 的状态，并将结果实时更新到表格中。

  • 自动删除无效 URL：如果 RSS URL 状态码不为 200、301 或 302，则触发删除操作，将该条记录从数据库中移除。

1.3 代码实现

以下是前端页面的 HTML 和 PHP 代码，用于从数据库加载数据，并生成表格形式的展示。通过 jQuery 实现异步状态检查。

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>RSS URL 状态检查</title>
    <link href="//cdn.staticfile.net/twitter-bootstrap/4.6.1/css/bootstrap.min.css" rel="stylesheet">
</head>
<body>

<div class="container mt-5">
    <h2>RSS URL 状态检查</h2>
    <table class="table mt-3">
        <thead>
        <tr>
            <th>ID</th>
            <th>URL</th>
            <th>标题</th>
            <th>状态</th>
        </tr>
        </thead>
        <tbody id="rss-data">
        <?php
        // 数据库连接
        $conn = new mysqli("localhost", "root", "123456", "root");

        // 检查数据库连接
        if ($conn->connect_error) {
            die("连接失败：" . $conn->connect_error);
        }

        // 每页显示的条目数
        $items_per_page = 2000;

        // 获取当前页数
        $current_page = isset($_GET['page']) ? $_GET['page'] : 1;

        // 计算起始条目
        $start = ($current_page - 1) * $items_per_page;

        // 从数据库中获取数据
        $sql = "SELECT id, url, title FROM Rssapi LIMIT $start, $items_per_page";
        $result = $conn->query($sql);

        if ($result->num_rows > 0) {
            while ($row = $result->fetch_assoc()) {
                echo "<tr data-id='" . $row['id'] . "' data-url='" . $row['url'] . "'>";
                echo "<td>" . $row['id'] . "</td>";
                echo "<td>" . $row['url'] . "</td>";
                echo "<td>" . $row['title'] . "</td>";
                echo "<td class='status-cell'>检查中...</td>"; // 初始状态为“检查中”
                echo "</tr>";
            }
        } else {
            echo "<tr><td colspan='4'>暂无数据</td></tr>";
        }
        $conn->close();
        ?>
        </tbody>
    </table>

    <!-- 分页链接 -->
    <ul class="pagination justify-content-center mt-4">
        <?php
        // 计算总页数
        $conn = new mysqli("localhost", "root", "123456", "root");
        $total_sql = "SELECT COUNT(*) AS total FROM Rssapi";
        $total_result = $conn->query($total_sql);
        $total_row = $total_result->fetch_assoc();
        $total_pages = ceil($total_row['total'] / $items_per_page);

        // 输出分页链接
        for ($i = 1; $i <= $total_pages; $i++) {
            echo "<li class='page-item'><a class='page-link' href='?page=$i'>$i</a></li>";
        }
        ?>
    </ul>
</div>

<!-- jQuery 引入 -->
<script src="//cdn.staticfile.net/jquery/3.6.0/jquery.min.js"></script>
<script>
    $(document).ready(function () {
        $('#rss-data tr').each(function () {
            const row = $(this);
            const url = row.data('url');
            const id = row.data('id');

            // 发送异步请求检查 URL 状态
            $.getJSON('check_url_status.php', {url: url}, function (data) {
                const status = data.status;
                const isRss = data.is_rss; // 是否为 RSS 页面
                row.find('.status-cell').text(status);

                // 如果状态码不是 200, 301, 302，或者不是 RSS 页面，则删除条目
                if (![200, 301, 302].includes(parseInt(status)) || !isRss) {
                    $.post('delete_url.php', {id: id}, function (response) {
                        if (response.success) {
                            row.remove(); // 前端删除对应的行
                        }
                    }, 'json');
                }
            });
        });
    });
</script>

</body>
</html>

2. RSS URL 状态检查模块（后端）

2.1 模块描述

该模块的任务是检查每个 RSS URL 的 HTTP 状态码，判断其是否有效。对于状态码为 200、301 或 302 的 URL，系统进一步检查其是否为有效的 RSS 页面。

2.2 功能点

  • HTTP 状态码检查：通过 get_headers 函数获取 URL 的状态码，并返回给前端。

  • RSS 有效性验证：进一步判断返回的页面是否为 RSS 页面，以确保 RSS URL 的正确性。

2.3 代码实现

check_url_status.php 用于处理状态检查的逻辑。

<?php
header('Content-Type: application/json');

$url = $_GET['url'] ?? '';

// 获取 URL 的 HTTP 状态码
function get_http_response_code($url) {
    $headers = @get_headers($url);
    if ($headers) {
        return substr($headers[0], 9, 3);
    } else {
        return '999'; // 无效的状态码
    }
}

// 检查 URL 是否为有效的 RSS 页面
function is_rss_page($url) {
    $http_code = get_http_response_code($url);
    return in_array($http_code, ['200', '301', '302']);
}

$status = get_http_response_code($url);
$rss_check = is_rss_page($url);

echo json_encode(['status' => $status, 'is_rss' => $rss_check]);
?>

3. 自动删除无效 URL 模块（后端）

3.1 模块描述

该模块通过接收前端传递的 URL ID，删除数据库中对应的无效 RSS URL 记录，确保数据库只保留有效数据。

3.2 功能点

  • 安全删除操作：通过 id 参数传递 URL ID，确保删除操作仅影响指定记录。

  • 删除操作的反馈：返回 JSON 格式的删除结果，通知前端操作是否成功。

3.3 代码实现

delete_url.php 处理删除操作的逻辑。

<?php
header('Content-Type: application/json');

// 数据库连接
$conn = new mysqli("localhost", "root", "123456", "root");

if ($conn->connect_error) {
    echo json_encode(['success' => false, 'error' => $conn->connect_error]);
    exit();
}

$id = $_POST['id'] ?? 0;

if ($id > 0) {
    // 删除指定的 URL
    $sql = "DELETE FROM Rssapi WHERE id = ?";
    $stmt = $conn->prepare($sql);
    $stmt->bind_param("i", $id);
    $success = $stmt->execute();

    if ($success) {
        echo json_encode(['success' => true]);
    } else {
        echo json_encode(['success' => false, 'error' => $stmt->error]);
    }

    $stmt->close();
} 
    echo json_encode(['success' => false, 'error' => '无效的 ID']);
}

$conn->close();
?>

详细模块分析

1. 前端分页与状态展示

前端页面利用 PHP 从数据库中读取 RSS URL，并以表格形式展示。通过分页功能减少单次加载的数据量，避免页面响应缓慢。每个 URL 的状态通过表格的 status-cell 列展示，状态值在页面加载后异步获取并实时更新。

2. 异步状态检查与自动删除

通过 jQuery 对每个表格行发起异步 HTTP 请求（通过 check_url_status.php），判断该 URL 是否为有效的 RSS 页面。如果 URL 无效，前端会通过 delete_url.php 向后端发起删除请求。前端页面也会自动删除该无效条目的展示行，确保页面数据与数据库实时同步。

3. 后端处理逻辑

后端 check_url_status.php 文件的主要功能是根据传入的 URL 返回 HTTP 状态码和是否为有效的 RSS 页面。delete_url.php 文件负责根据 ID 删除无效的 RSS URL。

总结

该 Demo 实现了一个简易的 RSS URL 监控与自动清理机制，通过前后端协作实时监控 RSS 链接的状态，并在发现无效链接时及时删除。虽然这是一个基础 Demo，但其设计思路具有较好的可扩展性，能够进一步完善为支持大规模 RSS 监控的工具。

目前该demo应用于HackTips官网


推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
宙飒天下