stop word？在百度的众多排名算法中，其中有一项是停用词。百度爬虫为了能够提高索引的速度和节省存储空间，当在索引页面内容时会对一些没有意义的词过过滤掉。也就是被爬虫停用到这些词，我们称被爬虫停掉的词称为停用词，那么，stop word？一起来了解一下吧。
设置stopword="xxx"
举个例子给你看看呗
比如要输入一首诗
file_name=input("请输入文件名：")
file_name=file_name+".txt"绝森something_file=open(file_name,"w")
stopword=":q"file_content=""戚肢print("请输入内并仔亩容【单独输入‘:q‘保存退出】：")for line in iter(input,stopword):
file_content=file_content+line+"\n"print (file_content,file=something_file)
something_file.close()
这时 结束命令就变为了 :q
Python默认遇到回车的时候，输入结束。所以我们需要更改这个洞察提示符，在遇到空行的时候，输入才结束。
stopword=''#输入停止符str='空姿'
forlineiniter(raw_input,stopword):#输入为空行，纳亏茄表示输入结束
str+=line+'\n'
#print(str)#测试用
raw_input就是从标注输入读宽斗皮取输入，输入的是慎差什么就是什么。
文档解释：销宽
The function then reads a line from input, converts it to a string (stripping a
trailing newline), and returns that.
InnoDB的全文索引使用反向索引的设计。反向索引存储了一个单词（word）列表，对于每个单词，都有一个文档的列表，来标识这个单词出现的地方。为了支持临近搜索（proximity search），每个单词的位置信息也以字节偏移的方式存储。
当创建了InnoDB全文索引，一系列的索引表会一同被创建，见下面的例子：
最前面的六个表包含了反向索引，它们被称作附属索引表（auxiliary index table）。当输入的表被索引（tokenized）后，每个独立的单词（亦称作“tokens”）会被携带其DOC_ID和位置信息插入到索引表中。根据单词第一森梁旅个字符的字符集排序权重，在六个索引表中对单词进行完全排序和分区。
反向索引分区到六个附属索引表以支持并行的索引创建。默认有2个线程复制索引（Tokenize）、排序、插入单词和关联数据到索引表中。工作的线程的数量由innodb_ft_sort_pll_degree 配置项控制的。对于大表的全文索引，可以考虑增加线程数量。
如果主表创建在 xx表空间，索引表存储在它们自己的表空间中。反之，索引表存储于其索引的表空间中。
前面例子展示的另外一种索引表被称作通用索引表，它们被用于全文索引的“删除处理（deletion handing）”和存储内部状态。
在百度的众多排名算法中，其中有一项是停用词。百度爬虫为了能够提高索引的速度和节省存储空间，当在索引页面内容时会对一些没有意义的词过过滤掉。也就是被爬虫停用到这些词，我们称被爬虫停掉的词称为停用词，英文叫stopword。
一、百度停用词类型
百度停包用词包括了语气助词、副词、介词、连接词等，通常自身并仔瞎无什么明确的意义，只有将其放入一个完整的句子中才有一定作用，如常见的“的”、“在”之类。
下面再举个例子来说明什么是停用词，象“IT技术点评”，虽然其中的“IT”从我们的本意上是指“Information Technology”，事实上这种缩写也能够为大多数人接受，但对搜索引擎来说，此“IT”不辩戚洞过是“it”，即“它”的意思，这在英文中是一个极其常见、同携枯时意思又相当含混的词，在大多数情况下将被忽略。我们在IT技术点评中保留“IT”更多地面向“人”而非搜索引擎，以求用户能明了IT技术点评网站涉及的内容限于信息技术，虽然从SEO的角度这未必是最佳的处理方式。
二、为什么要有停用词
搜索引擎的文本的检索量非常大，而其中很大一部分是语气助词，副词等基本上没有意义的文字，比如：哎，哎哟，别的，结果，让，不过，等等。
以上就是stop word的全部内容，然后得到了word2vec的词向量后，可以通过简单加权/tag加权/tf-idf加权等方式得到文档向量。这算是一种方法。当然，加权之前一般应该先干掉stop word，词聚类处理一下。还有。
