HA多重抓取

[![GitHub发布][releases-shield]][releases] ![许可证][license-shield]
[![pre-commit][pre-commit-shield]][pre-commit] [![Black][black-shield]][black]
[![hacs][hacsbadge]][hacs]
[![项目维护][maintenance-shield]][user_profile] [![请我喝咖啡][buymecoffeebadge]][buymecoffee]
[![Discord][discord-shield]][discord] [![社区论坛][forum-shield]][forum]

重要提示：故障排除

如果您无法抓取所需的值，请启用调试日志和log_response。这将为您提供大量信息以进行进一步调查。log_response会将所有响应写入文件。如果您想抓取的值不在BeautifulSoup输出的文件（*-soup.txt）中，Multiscrape将无法抓取它。很可能是通过JavaScript在后台获取的。在这种情况下，您最好的办法是在浏览器的开发者工具中调查网络流量，并尝试找到包含您要查找的值的JSON响应。

如果以上方法都无法解决问题，请使用Home Assistant论坛。我无法为每个人提供个人帮助，除非您确定存在bug，否则请不要创建GitHub问题。 查看wiki获取抓取指南和有关此组件功能的其他详细信息。

重要提示：做个好公民，认识到您的责任

您，且仅您自己，对您的抓取活动负责。做个好的（网络）公民。设置合理的scan_interval时间，在抓取之前寻求明确许可，并遵守当地和国际法律。尊重网站政策，以道德方式处理数据，注意资源使用，并定期监控您的行为。坚持这些原则以确保道德和可持续的抓取实践。

HA MultiScrape自定义组件

这个Home Assistant自定义组件可以通过单个HTTP请求从网页中抓取多个字段（使用CSS选择器），而现有的抓取传感器只能抓取单个字段。抓取的数据会以单独的传感器形式呈现。

该组件基于现有的Rest传感器和Scrape传感器。Rest和Scrape传感器的大部分属性都适用于此组件。

安装

[![hacs][hacsbadge]][hacs]

通过HACS（默认商店）安装或手动安装，将文件复制到新的'custom_components/multiscrape'目录中。

配置示例（YAML）

multiscrape:
- name: HA抓取器
  resource: https://www.home-assistant.io
  scan_interval: 3600
  sensor:
  - unique_id: ha_latest_version
    name: 最新版本
    select: ".release-date"
    value_template: "{{ value | trim }}"
  - unique_id: ha_release_date
    icon: >-
      {% if is_state('binary_sensor.ha_version_check', 'on') %}
      mdi:alarm-light
      {% else %}
      mdi:bat
      {% endif %}
    name: 发布日期
    select: ".release-date"
    attribute: "title"
    value_template: "{{ (value.split('released')[1]) }}"
  binary_sensor:
  - unique_id: ha_version_check
    name: 最新版本 == 2021.7.0
    select: ".release-date"
    value_template: '{{ value | trim == "2021.7.0" }}'
  attributes:
  - name: 发布说明链接
    select: ".release-date"
    attribute: href

选项

基于最新（预）发布版本。

传感器/二进制传感器

配置用于抓取数据的传感器。

刷新按钮

配置手动触发抓取的刷新按钮。

传感器属性

配置可以通过额外抓取值设置的传感器属性。

表单提交

配置表单提交功能，使您能够在抓取网站之前提交（登录）表单。有关此功能如何工作的更多详细信息可以在wiki上找到。

表单变量

配置将从form_submit响应中抓取的变量。这些变量可以在当前集成的主配置的value_template中使用：传感器/属性中的selector或头部中。一个常见用例是填充X-Login-Token头部，该头部是登录的结果。

示例：

multiscrape:
- resource: "https://somesiteyouwanttoscrape.com"
  form_submit:
    submit_once: True
    resource: "https://authforsomesiteyouwanttoscrape.com"
    input:
      email: "<email>"
      password: "<password>"
    variables:
    - name: token
      value_template: "{{ ... }}"
  headers:
    X-Login-Token: "{{ token }}"
  sensor: ...

选择器

用于配置抓取选项。

错误处理

配置在抓取错误（CSS选择器未返回值）情况下应该发生什么。

服务

对于每个multiscrape实例，将创建一个服务，以通过自动化触发抓取运行。（对于手动触发，现在可以配置按钮实体。） 这些服务命名为multiscrape.trigger_{integration name}。

Multiscrape还提供了get_content和scrape服务。get_content检索您想要抓取的网站内容。它显示的数据与您现在需要启用log_response并打开page_soup.txt文件时看到的相同。 scrape顾名思义就是进行抓取。它抓取网站并提供传感器和属性。

这两个服务接受与您在配置yaml中提供的相同配置（上面描述的内容），但有一个小而重要的注意事项：如果服务输入包含模板，这些模板在调用服务时会被Home Assistant自动解析。对于像resource和select这样的模板来说没问题，但对于需要应用于抓取数据本身的模板（如value_template），在调用服务时不能解析。因此，您需要稍微修改语法，在中间添加一个!。例如，{{变成{!{，%}变成%!}。然后Multiscrape会理解这个字符串需要在服务调用后作为模板处理。 如果有人有更好的解决方案，请告诉我！

要调用这些服