hadasione的博客
hadasione · 共 9 篇文章
jvm调优
top -Hp pid printf "%x\n" 21742 找到耗时最长的进程 jstack pid | grep 54ee 定位某个类的方法 jstack 10535|grep -A 10 2a1d (最后十行) jmap 查询pid 内存线程 附:TOP命令中需要关注的值: (1)load average:此值反映了任务队列的平均长度;如果此值超过了CPU数量,则表示当前CPU数量不足以处理任务,负载过高 (2)%us:用户CPU时间百分比;如果此值过高,可能是代码中存在死循环、或是频繁GC等 (3)%sy:系统CPU时间百分比;如果此值过高,可能是系统线程竞争激烈,上下文切换过多,…
2016-07-18 10:10 · jvm调优 · 评论(0)
phantomjs
最近做爬虫,基于网页上面有很多ajax请求,可以采用httpclient找到相应的ajax,这样做比较麻烦,然后采用phantomjs,直接可以获取到网页所有信息。 public static String dealWithAjax(String url) throws IOException { Runtime rt = Runtime.getRuntime(); Process p = rt.exec("phantomjs.exe D:\rj\RedisImportMysql\src\js\test.js "+url); InputStream is = p.getInputStream…
2015-06-18 15:45 · phantomjs--爬虫 · 评论(0)
kafaka+spark+hdfs简单实例
1.spark的standalone搭建很简单,简单列出相应的配置文件. vi spark-env.sh #!/usr/bin/env bash export SCALA_HOME=/opt/scala-2.10.3 export JAVA_HOME=/opt/jdk1.7.0_79 export SPARK_MASTER_IP=192.168.1.16 export SPARK_WORKER_INSTANCES=3 export SPARK_MASTER_PORT=7776 export SPARK_MASTER_WEBUI_PORT=7777 export SPARK_WORKER_PO…
2015-05-09 12:37 · spark · 评论(0)
hadoop2.6集群搭建
下面是自己在公司的测试服务器上面搭建的HA #nohup java -jar puv_view.jar >> puv_out.file 2>&1 & #*/2 * * * * sh /usr/local/puv_jar/exc.sh 卸载centos自带的jdk yum -y remove java java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64 yum -y remove java java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64 rpm -qa | grep java 安装…
2015-04-29 12:20 · hadoop2.6HA搭建 · 评论(0)
uuid
1.今天对三千万数据进行pv,uv处理,突然有意思的建立了uuid作为主键,应用六个线程去处理六个文件,测试结果发现 (1)有uuid批量插入,每一万个数据提交一次, 前六分钟跑的速度还行,插入了250w数据,后面的插入数据慢慢走。让我无法忍受,直接关了。 (2)对puv汇总的时候select url,sum(nums) from puv group by url,发现也是慢的可以用时2.2分钟。 下面是测试结果: 320w 31 2.2分钟 270w 12 254w 8 250w 6 去掉uuid后,发现批量插入的数据很平衡,cpu一直处于平衡状态。 (1)对puv汇总的时候select …
2015-04-22 21:18 · uuid · 评论(0)
排序--快速排序
快速排序是一个 分治和递归 的一个思想。 快速排序思想是折半查找,从最右边开始查找,找到一个比k值小的然后对换,再从左边开始查找,找到一个比k值大的,然后对换。继续循环就完成第一次排序。拿到返回的位置后,左右两边开始递归。 package quicksort; import java.util.Arrays; /** @author liyu * */ public class Sort { public static void main(String args) { // TODO Auto-generated method stub int arr = {11, 2, 6, 15 , 1…
2015-04-10 11:03 · 快速排序 · 评论(0)
spark
1.简单关于气温topk小例子。 package jspark; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Fl…
2015-04-09 16:21 · spark-topk · 评论(0)
ajax跨域
index.html的ajax请求 get方式请求 后台调用:(spring mvc 返回的callback的json) /** @author liyu * */ @Controller public class PluginController { private Logger log = Logger.getLogger(PluginController.class.getName()); private static Random random =new Random(); @Autowired private Plugin_GuessService plugin_GuessServ…
2015-02-03 09:35 · jQuery 跨域 · 评论(0)
hadoop的RPC
hadoop rpc简单helloworld实现 1.rpc获取到服务器server Server server = RPC.getServer(new ServerInstanceImpl(),PRC_ADDRESS,PRC_PORT, new Configuration()); 2.rpc启动服务器 server.start(); 3.创建服务器实例接口 import org.apache.hadoop.ipc.VersionedProtocol; public interface ServerInstance extends VersionedProtocol { public sta…
2014-08-28 21:11 · hadoop rpc · 评论(0)