Skip to content

对微博评论的一个简单分析案例,爬取+情感分析+LDA主题分析

Notifications You must be signed in to change notification settings

juzizi44/weibo-comment-analysis

Repository files navigation

微博评论情感分析案例

  • 使用crawler.py爬取包含某一热搜(自定义关键词)的微博评论作为预测数据。
  • 使用bert_data_preprocesssing.py合并几个现有的微博评论数据集,做训练数据。
  • 使用bert_fine_tuning.py训练模型。
  • 使用new_data_predict.py预测自己爬取的评论数据,情感分为正向和负向。

微博LDA主题分析案例

  • 使用crawler.py爬取包含某一热搜(自定义关键词)的微博评论作为预测数据。

  • 使用LDA.py对需要预测的评论数据做主题分析。

docker(已训练好bert模型的情况)

docker build -t weibo_analyse:v0.1 ./
docker run \
--env MAX_PAGE=10 \
--env SEARCH_KEYWORD=唐山打人 \
--env TIME_UNIT=H \
-v result_store_path:/weibo_analysis/result \
weibo_analyse -itd

docker run --env MAX_PAGE=10 --env SEARCH_KEYWORD=唐山打人 --env TIME_UNIT=H -v your\path\weibo_analyse\result:/weibo_analysis/result weibo_analyse:latest -itd

About

对微博评论的一个简单分析案例,爬取+情感分析+LDA主题分析

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published