sign参数

阿里系：淘宝、大麦网等

def get_sign():
    ts = t
    token = tk
    data = ''
    text = f'{token}&{ts}&12574478&{data}'
    md5 = hashlib.md5()
    md5.update(text.encode('utf-8'))
    sign= md5.hexdigest()
    return sign

注释标识

百度贴吧：数据隐藏在注释里

from lxml import etree
html = etree.HTML(html_str.replace('<!--', '').replace('-->', ''))

第501页

大麦网评论、国家食品监管局

网页未放出全部数据，点击下一页只能查看到前500页数据

可能设置有查询搜索功能，用户有需求可以直接精确查找