ChinaHadoop携手图书云打造大数据主题图书馆 免费企业图书馆 私人图书馆 共享图书更加便捷高效 扫码即刻开启图书共享时代

图书云为共享图书平台,通过图书云微信公众号可将自己的闲置图书共享出来,建立自己的微信私人共享图书馆,可与附近的朋友、同事、好友、群友、同学、邻居、俱乐部成员等分享自己的图书!也许,自己沉睡的图书是他人成长的阶梯!通过图书云,可以打造私人图书馆、企业图书馆、小区图书馆​!

本次ChinaHadoop携手图书云活动分为微信私人图书馆与企业图书馆两大活动主题!关注图书云公众号可开通私人图书馆,将自己的图书共享到平台,就近分享,特别适合​邻居、同事共享图书!动手能力强的可以自行扫码探索!想先了解的,可以扫码后,看看ChinaHadoop为图书云开设的介绍​!

一、私人图书馆

每个IT人士,或多或少都会有些​图书,这些书一点也不便宜!尤其是外文原版图书,看完也舍不得丢了,当废品卖了,更是​心疼!建立一个自己的私人小图书馆,让朋友邻居借着看,感觉就是不​一样!

1.1 巧用扫码录入

图书云支持扫码录入图书,扫图书的条形码,可直接将图书录入到平台,结合lbs技术,可让周围的朋友看到自己的图书!快速高效录入!

1.2 巧用书单码

图书云书单码是私人图书馆的快速入口,分享给朋友后,可让朋友进入到自己的私人图书馆中,浏览图书清单!支持分享到朋友圈,与圈里的​小伙伴共同图书!

1.3 实时微信提醒

关注图书云公众号之后,一旦有小伙伴相中的图书,能收到微信的实时提醒​!通过图书云小程序,可与借书的小伙伴进行实时文字聊天​!约时间、约地点,完成一次图书的​借阅!

二、图书云企业图书馆

图书云支持企业微信,通过图书云企业微信入口,可由企业微信管理员开通图书云企业微信功能,还未开通企业微信的企业负责人,可直接通过以下二维码​进行开通!非企业微信管理人员,无法直接开通,需要找管理员扫码开通!图书云​企业版,也是免费的!

图书云不仅支持私人图书馆、企业图书馆,也支持更多应用场景,可建立社区图书馆、微群图书馆、俱乐部图书馆、社区图书馆!更多的应用​场景等着大家去发现!ChinaHadoop欢迎各位小伙伴共享Hadoop大数据图书,共同建立以大数据为主题的线上​虚拟图书馆!

图书云  共享创建价值

 

有人的地方,就有江湖,有输入框的地方,就有注入风险!有输入框的地方,就有敏感词!敏感词就像一个平台杀手,可能直接导致平台被封锁!

敏感词是一个APP、一个网站、一个内容平台的“杀手”,危害程度杀伤力相当大。将一个文本中的敏感词过滤掉,是一个合法合规平台所必须使用的技术。敏感词的过滤算法是关键词查找、过滤打码的过程,可有效结合时间复杂度高效的树型结构进行算法设计与实现!

敏感词可能是脏话,也可能是不同文化背景下的禁词,也可能是政治敏感词汇,等等,敏感词可能导致平台遭受法律或政策的制约。举个简单的例子,非法涉黄的网站可能直接被取消网站备案,无法在中国大陆访问。不做敏感词的后果是相当严重的。

做为一个程序员,一个开发工程师,一定要掌握敏感词算法么?工程师分为很多派系,对于做搜索的工程师,算法,b树,敏感词过程,应该要从底层,从设计到实现都不能放过!做为应用工程师(小白程序员),能掌握算法原理,并能使用,我觉得就好了,树叶有专攻!来来来,来一段算法描述。目前查到的敏感词过滤算法。

一、敏感词少的情况

如果敏感词少的话,就直接使用replace,indexOf等等来搞定吧,只是这种情况存在的可能性太小了。敏感词可以说是很多很多。不过,不讲究效率的地方,能实现业务要求的话,使用这种方式也可以。

二、敏感词较多的情况

敏感词受政治、人文、种族各种因素影响,词汇量较多,要做到全面的过滤,自然要考虑考虑算法的设计,以保证过滤的高效性。在这里介绍网上流行的一种敏感词过滤算法。深入了解专业算法已经超出了本文的范畴,请自行找其他资料查看。网上流传的算法,主要是将敏感词库放到树型数据结构中,将带过滤的文本投射到敏感词树上,命中的就是踩到敏感词。用树型结构体加速匹配速度。

2.1 构建敏感词树

什么是树?主要是树型结构在时间复杂度上有优势。详细了解时间复杂度与树型算法,关注公众号回“算法”!今天不展开介绍树型结构。构建敏感词树型结构体,可以通过第三方库来完成,有现成的。回复公众号“敏感词库”可获取相关信息。如图所示,我们构建了一棵敏感词树,这棵树有傻子、傻逼、傻逼人三个敏感词​。

2.2 投射文本

把文本填充到敏感词树上,就能直观的看到哪些敏感词覆盖到了。如果有人在平台发布违禁信息,可以快速识别出来。在这里使用投射文本描述,只是为了描述算法,具体实现就看代码。如图所示,投射到树上文本“傻逼”,就是被发现的​敏感词。

敏感词过滤算法的核心就是这两步!一棵敏感词树,一次投射文本,就能把敏感词全遍找过来,高效​!

今天的算法分享就要告一段落了,赶紧播放赞助商广告!

敏感词过滤算法 为内容保驾护航 Java/.Net/C++/c/Python等语言是如何进行敏感词打码限制的 高效防范违规内容

JAX-WS RI 2.2.9 Java WebService Timeout时间设置

JDK1.8 +Tomcat环境,采用以下配置实现了超时配置,且验证有效。

bindingProvider.getRequestContext().put(“com.sun.xml.internal.ws.connect.timeout”, 30000);
bindingProvider.getRequestContext().put(“com.sun.xml.internal.ws.request.timeout”, 60000);

给人感觉,有多种不同的实现!小红帽RedHat给出的示例是针对JBoss,看起jdk有些不一样。

public void testConfigureTimeout() throws Exception
{
   //Set timeout until a connection is established
   ((BindingProvider)port).getRequestContext().put("javax.xml.ws.client.connectionTimeout", "6000");

   //Set timeout until the response is received
   ((BindingProvider) port).getRequestContext().put("javax.xml.ws.client.receiveTimeout", "1000");

   port.echo("testTimeout");
}
代码看起来跟引入的包名匹配度高,但是实测不生效。
而Github上的资料显示,不同的环境下,采用的配置有些不一样,也没有一个统一的标准。
A little overview of several implementations:
// Weblogic JAX-WS properties
((BindingProvider) port).getRequestContext().put(“com.sun.xml.ws.connect.timeout”, timeout);
((BindingProvider) port).getRequestContext().put(“com.sun.xml.ws.request.timeout”, timeout);
// JDK JAX-WS properties
((BindingProvider) port).getRequestContext().put(“com.sun.xml.internal.ws.connect.timeout”, timeout);
((BindingProvider) port).getRequestContext().put(“com.sun.xml.internal.ws.request.timeout”, timeout);
// JBOSS CXF JAX-WS properties, warning these might change in the future (CXF-5261)
((BindingProvider) port).getRequestContext().put(“javax.xml.ws.client.connectionTimeout”, timeout);
((BindingProvider) port).getRequestContext().put(“javax.xml.ws.client.receiveTimeout”, timeout);
小节,对于JAX-WS的超时配置,需要依据自身的环境配置来决定。默认的超时时间是30s连接,响应超时是60s,这个可以参与apache cfx官网。未验证。
参考
http://cxf.apache.org/docs/client-http-transport-including-ssl-support.html#ClientHTTPTransport(includingSSLsupport)-Example   搜索一下timeout可以查找到配置说明。
Attribute Description
ConnectionTimeout Specifies the amount of time, in milliseconds, that the client will attempt to establish a connection before it times out. The default is 30000 (30 seconds). 
0 specifies that the client will continue to attempt to open a connection indefinitely.
ReceiveTimeout Specifies the amount of time, in milliseconds, that the client will wait for a response before it times out. The default is 60000. 
0 specifies that the client will wait indefinitely.