近期,有小伙伴需要抖y平台的视频评论数据做分析,于是就有了今天的案例文章,文章分为两部分:一部分是具有python基础的源码,一部分是针对无代码经验的纯小白使用的抖音视频评论采集软件使用教程。
开撸!
纯python源码编辑,requests请求实现,不涉及selenium动态爬虫,这样对于一些只会基础python爬虫的小伙伴就更友好更容易理解了。源码可以自行二次更改使用,但是特此声明:本源码只做学习交流使用!那你自行使用的用途和后果自行承担!
部分源码示例:
import os import tkinter as tk import threading from douyin import Douyinrep class Douyin(threading.Thread): def __init__(self, runs, *args): super().__init__() self.runs = runs self.args = args self.setDaemon(True) self.start() def run(self): self.runs(*self.args) def task(data_text): log = Log_week() logger = log.get_logger() video_link_str = entry_vd.get("0.0", 'end') video_link_list = video_link_str.replace(" ", "").split("\n") video_link_list = [i for i in video_link_list if i] video_id_list = [i.replace("https://www.douyin.com/video/", "") for i in video_link_list] cookie_val = entry_ck.get("0.0", 'end') cookie_val = str(cookie_val).strip() #print('cookie_val:\n', cookie_val) entry_us = entry_ua.get("0.0", 'end') entry_us = str(entry_us).strip() Douyinrep(cookie_val, video_id_list,entry_us, txt_msglist, logger).get_dy_cmt() work_path = os.getcwd() if not os.path.exists(work_path + "/logs"): os.makedirs(work_path + "/logs") #创建窗口 window=tk.Tk() window.withdraw() window.update() window.title('DY_REP(唯一官方在售淘宝店铺:词云社-https://ciyunshe.taobao.com)') window.iconbitmap('img/logo.ico') window.resizable(0,0) width=800 height=600 screenwidth=window.winfo_screenwidth() screenheight=window.winfo_screenheight() login_size='%dx%d+%d+%d'%(width,height,(screenwidth-width)/2, (screenheight-height)/2) window.geometry(login_size) window.deiconify() canvas = tk.Canvas(window, width=width, height=height, highlightthickness=0) bg_image=tk.PhotoImage(file='img/main.gif') canvas.create_image(width/2, height/2, image=bg_image) canvas.pack() #软件信息介绍 canvas.create_text(400,570, text='''版本号:1.0抖音评论采集版 官方唯一在售淘宝店铺-词云社:https://ciyunshe.taobao.com 其他均属盗版侵权,不享受任何售后服务! 服务咨询邮箱:ciyunshe@163.com 声明:本软件仅供学习交流使用,内置信息受法律保护,未经许可严禁传播!''', font=('Microsoft JhengHei UI',7,),fill='#b7b7bd') # 创建cookie输入框 #cookies = tk.StringVar() entry_ck = tk.Text( window, font=("Microsoft JhengHei UI", 9), bg="#ffffff", fg="#000000", background='#eae9d6', borderwidth=0,) canvas.create_window(448, 68, width=498, height=17, window=entry_ck) canvas.pack() # 创建user_agent输入框 #user_agents = tk.StringVar() entry_ua = tk.Text( window, font=("Microsoft JhengHei UI", 9), bg="#ffffff", fg="#000000", background='#eae9d6', borderwidth=0,) canvas.create_window(448, 105, width=498, height=17, window=entry_ua) canvas.pack() # 创建视频链接输入框 #videos = tk.StringVar() entry_vd = tk.Text( window, font=("Microsoft JhengHei UI", 9), bg="#ffffff", fg="#000000", background='#eae9d6', borderwidth=0,) canvas.create_window(448, 216, width=498, height=119, window=entry_vd) canvas.pack() frame1 = tk.Frame(window, width=498, height=129,) frame1.pack_propagate(0) frame1.place(x=198, y=312) # 滚动条 scroll = tk.Scrollbar(frame1,width=15) # 放到Y轴竖直方向 scroll.pack(side=tk.RIGHT, fill=tk.Y) # 显示采集数据文本框 data_text = tk.Text(frame1, width=498, height=129,background='#eae9d6') data_text.config(yscrollcommand=scroll.set) data_text.pack() #启动采集按钮 btn_st=tk.PhotoImage(file='img/st.gif') btn_upst=tk.Button(window,image=btn_st,borderwidth=0,highlightthickness=0,activebackground="#11123b",command=lambda: MyThread(task, data_text)) btn_upst.place(x=322,y=496) #退出软件按钮 btn_ov=tk.PhotoImage(file='img/ov.gif') btn_upov=tk.Button(window,image=btn_ov,borderwidth=0,highlightthickness=0,activebackground="#11123b",command=window.quit) btn_upov.place(x=488,y=496) window.mainloop()
完整源码可以私信有偿获取(邮箱发送),也可以根据以上代码中的地址(店铺:词云社,https://ciyunshe.taobao.com)咨询客服自行选购(店铺会比私信便宜10元),看下最终采集效果(包括主体一级评论和回复性二级评论数据):
python源码介绍完毕,下面是第二部分:针对纯小白使用的抖音评言仑采集软件教程(仅适用win7-10系统,其他系统请绕道!)该软件获取方式依然是私信,有偿邮箱发送,或者直接根据以上代码中的地址(店铺:词云社,https://ciyunshe.taobao.com)咨询客服自行选购(店铺会比私信便宜10元)
DY_REP抖音采集器使用文档
由于抖y平台采集相比其他平台难度较大,因此软件中的参数设置是有要求的(特别是视频链接的转换!),请务必认真查看此文档参数查找方式后再使用DY_REP抖音采集软件,否则采集数据会报错!!!
一、重要参数-Cookie值和User-agent值查找方式:
1、用抖y账号登录抖音平台(不登录,Cookie值无法使用)。
2、登陆后,如下图:
按键盘上的快捷键F12调出开发者界面:
二、重要参数-视频链接的转换方式:
1、抖y平台的数据采集,需要将我们待采集的视频链接进行转换后才能使用,如下图所示:
“7.99 jPx:/ o@q.Rx 04/03 《车祸模拟器》嘿嘿,我下次一定做个好司机 # steam游戏 # 出租生涯模拟城市驾驶 https://v.douyin.com/iFMth11f/ 复制此链接,打开Dou音搜索,直接观看视频!”
上一篇:springboot集成mqtt