首页 / 定制服务

定制服务

没有标准套餐,只有为你的需求组合出来的方案。下面是四种最常见的服务形态,实际项目往往是它们的叠加。

服务形态 Service Tiers

按需求性质选择起点,具体范围在需求访谈后确定

TIER 01

单次定制采集

一次性交付 · 1—3 周

有明确的字段清单和时间范围,一次性采完交付。适合论文数据、一次性调研、历史数据补齐。

  • 需求访谈与字段清单确认
  • 源站可行性评估与方案设计
  • 小样本试采验收后转全量
  • 清洗、去重、口径校验
  • 数据字典 + 质量报告随交付
  • 交付后 30 天免费适配保障
TIER 02

长期数据托管

按周 / 日 / 实时 · 持续运维

数据要持续更新。我们负责调度、监控、源站改版适配,你只管用数。适合监测类与业务流场景。

  • 定时调度与增量识别
  • 采集成功率监控与告警
  • 源站改版主动跟进修复
  • 断点续采,不丢历史
  • API / 数据库 / 仓库直连
  • 月度数据质量报告
TIER 03

复杂站点适配

按难度评估 · 技术专项

目标站存在较强访问限制:签名参数、验证码、登录态、设备指纹。作为独立技术专项承接,也可并入采集项目。

  • 请求签名与加密参数还原
  • 验证码识别与打码对接
  • 浏览器指纹与行为模拟
  • 代理池调度与限速策略
  • 登录态维持与会话管理
  • 合规前提下的技术可行性结论
TIER 04

清洗与标注

按数据量与规则复杂度

数据你已有,需要整理成能用的样子。规则按你的口径写,不是通用模板套一遍。

  • 实体识别与跨源对齐
  • 单位、编码、命名归一
  • 行政区划与地址结构化
  • 异常值与逻辑一致性校验
  • 文本分类与人工标注
  • 输出可直接建模的宽表

交付标准 Delivery Standard

定制的边界靠标准兜住——每个项目都包含以下四项,不因规模而省略

字段字典

逐字段记录名称、类型、取值说明、来源位置与计算逻辑。口径写进文档,避免"我以为你说的是这个"。

样本验收

全量前先交付小样本供你核对字段与口径,确认后再放量。样本不满意,方案重做。

质量报告

覆盖率、完整率、重复率、异常值占比与抽样核对结果,随数据一同交付,问题可追溯。

格式适配

按你的下游系统交付:文件、API、数据库直连或仓库同步,字段命名沿用你的既有规范。

合规说明

采集范围、频率与授权依据逐项列明,仅采集公开数据,存在风险的需求在评估阶段即告知。

适配保障

交付后 30 天内源站改版导致的结构失效,免费修复;长期项目则全程持续跟进。

技术栈 Tech Stack

技术为需求服务,不同源站选不同工具,不拿一套框架硬套所有项目

采

采集层

Requests / httpx 轻量抓取,Playwright、Puppeteer 处理动态渲染与交互,mitmproxy 做 APP 与小程序的流量分析。

PlaywrightScrapymitmproxy
调

调度层

Airflow / Celery 编排任务依赖,Redis 做去重与状态管理,任务失败自动重试并触发告警通知。

AirflowCeleryRedis
存

存储层

MySQL / PostgreSQL 存结构化结果,对象存储放原始快照与附件,ClickHouse 承接大规模分析型查询。

PostgreSQLClickHouseS3 / COS
洗

清洗层

Pandas / Polars 做批量变换,正则与词典规则处理归一,需要时引入 NLP 模型做实体识别与分类。

PolarsspaCyOCR
监

监控层

Prometheus + Grafana 观测采集成功率与数据波动,结构变更检测在源站改版时第一时间告警。

PrometheusGrafana结构监控
交

交付层

FastAPI 暴露查询接口,直连数据库或同步至你的数据仓库,也可按约定周期推送文件到指定位置。

FastAPIWebhook仓库同步

报价逻辑 Pricing Logic

我们不挂价目表,因为定制项目的成本由三个变量决定,评估后 1 个工作日内给出明确数字

A

源站获取难度

是否需要登录、访问限制强度如何、是否需验证码处理、目标站点数量与分散程度,直接决定工程投入。

B

清洗工作量

字段数量、是否需要跨源匹配、实体归一难度、是否涉及 OCR 或人工标注,决定数据处理成本。

C

交付周期与频率

一次性还是长期更新、更新频率多高、是否需要实时监控,影响排期与后续运维投入。

说说你的需求,我们给结论

可行性、方案、工期、报价——1 个工作日内一次说清。