Lihuazhang (恒温) · 回帖

版主

Lihuazhang (恒温)

第 110 位会员 / 2013-10-21

阿里巴巴 @ 上海

412 篇帖子 • 7978 条回帖

2639 关注者

33 正在关注

33 收藏

人生很多事情你也已经经历了。从我们35岁开始，到60岁、70岁，也就是经历一些生老病死的日常事情。加油！

打赏支持

GitHub Public Repos

ai-agents-with-llama3 13
lihuazhang.github.com 9

my blog
juit5-json-params 7

juit5-json-params
MediaCrawler 1

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频｜评论爬虫、微博帖子｜评论爬虫
javascript-algorithms 1

Algorithms and data structures implemented in JavaScript with explanations and links to further r...
ahchoo 1

test for cloudfoundry
maigret 0

🕵️‍♂️ Collect a dossier on a person by username from 3000+ sites
pixel-agents-electron 0
pixel-agents 0

Pixel office.
AICowork 0

AICowork智能协作助手，帮助用户在办公、学习、创作等多个场景中提高效率。

More on GitHub

读 Selenium2Library 的一点疑惑 at 2018年04月03日

https://codeload.github.com/carbonblack/robotframework-selenium2library/zip/master

源码在这里，请 python 高手来看看吧。。。。
读 Selenium2Library 的一点疑惑 at 2018年04月03日

我也是猜测的啊。。。
读 Selenium2Library 的一点疑惑 at 2018年04月03日

你说的很对
怎么提前预知某查询由于数据量过大造成查询过慢 at 2018年04月02日

造大数据测试啊……
上海测试沙龙-TesterHome 沪江联合主办 at 2018年04月02日

ppt 已经更新
深圳线下测试沙龙有感 at 2018年04月02日

文笔不错
为什么我用 Badboy 录制一个局域网内的系统时，加载不出来页面 at 2018年04月02日

ie 的代理设置了没？
月薪终于超过年龄了 at 2018年03月30日

我年龄太大了，怎么办，只能改小身份证了。
请教个问题，python 可以用 type 获取数据类型，但是的出来的是<class 'int'>.现在只想要 int 这个字符串，不要 class。除了正则，用 isinstance 进行匹配，效率太低，全是逻辑代码。有没其他啥办法，谢谢？ at 2018年03月30日

标题名可以不可以再长一点？
111 at 2018年03月29日

说下待遇和工作时间呗
写字楼里电梯旁边的分众传媒的广告播放有 bug at 2018年03月29日

。。。你还关心这个
Appium insepector 是否支持 Iphone Web app 的录制 at 2018年03月29日

你自己试试看？
Android 模拟器启动太慢了 at 2018年03月29日

那模拟器可以用 x86 的那种么
Android 模拟器启动太慢了 at 2018年03月29日

用真机呀
# 每日一道面试题 # 矩阵变换 at 2018年03月28日

线性代数
北京买房应该考虑哪些因素 at 2018年03月27日

你是不习惯吧
关于 jmeter 性能测试的局限性 at 2018年03月27日

解释下加精理由，讨论区比较精彩，可以学到不少性能测试的东西。
MTSC2018 主席团阵容曝光 at 2018年03月27日

多多宣传
MTSC2018 主席团阵容曝光 at 2018年03月27日

梦想破灭了吗？
深度学习基础 (十六)-- TensorFlow 概览 at 2018年03月26日

我是装这个的。哈哈
深度学习基础 (十六)-- TensorFlow 概览 at 2018年03月26日

数学不好，比较吃力
深度学习基础 (十六)-- TensorFlow 概览 at 2018年03月26日

搭建环境太累了。。。上次那个 spark 花了我老多时间了。。网上资料太少了
AI 时代，测试人员应该做什么？ at 2018年03月26日

先把 @ycwdaaaa 的文章看一遍
CentOS7 NAT 模式下，指定静态 IP 无法上网，百思不得其解求助 at 2018年03月25日

网关不对啊

测试开发之路--Spark 之旅 (二)：基础操作 at 2018年03月25日

这里有几个坑要踩：

pip 的源，这里要设置下，否则好慢 https://blog.csdn.net/furzoom/article/details/53897318
如果你使用的是 java9，降级到 java8 吧
如果你用 pycharm，那么还得再配置个 java8 的 JAVA_HOME

所以总的来说，如果你在 mac 上的下载了，spark 2.3，然后你也用 pycharm 的话，那么：

先创建个项目
在这个项目的 project interpreter 里找到 pip，给他换个源：https://pypi.tuna.tsinghua.edu.cn/simple/
然后安装 pyspark
然后再安装 java8，装好之后，给 pycharm 加环境变量，只要加个 JAVA_HOME 指向 java8 就可以了。
然后就可以用了。

否则你会遇到下面的异常：

/Users/lihuazhang/code/spark-learn/one/venv/bin/python /Users/lihuazhang/code/spark-learn/one/SimpleApp.py
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/Users/lihuazhang/code/spark-learn/one/venv/lib/python2.7/site-packages/pyspark/jars/hadoop-auth-2.7.3.jar) to method sun.security.krb5.Config.getInstance()
WARNING: Please consider reporting this to the maintainers of org.apache.hadoop.security.authentication.util.KerberosUtil
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
2018-03-25 00:44:51 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
2018-03-25 00:44:51 WARN  Utils:66 - Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
Traceback (most recent call last):
  File "/Users/lihuazhang/code/spark-learn/one/SimpleApp.py", line 9, in <module>
    numAs = logData.filter(logData.value.contains('a')).count()
  File "/Users/lihuazhang/code/spark-learn/one/venv/lib/python2.7/site-packages/pyspark/sql/dataframe.py", line 455, in count
    return int(self._jdf.count())
  File "/Users/lihuazhang/code/spark-learn/one/venv/lib/python2.7/site-packages/py4j/java_gateway.py", line 1160, in __call__
    answer, self.gateway_client, self.target_id, self.name)
  File "/Users/lihuazhang/code/spark-learn/one/venv/lib/python2.7/site-packages/pyspark/sql/utils.py", line 63, in deco
    return f(*a, **kw)
  File "/Users/lihuazhang/code/spark-learn/one/venv/lib/python2.7/site-packages/py4j/protocol.py", line 320, in get_return_value
    format(target_id, ".", name), value)
py4j.protocol.Py4JJavaError: An error occurred while calling o35.count.
: java.lang.IllegalArgumentException
    at org.apache.xbean.asm5.ClassReader.<init>(Unknown Source)
    at org.apache.xbean.asm5.ClassReader.<init>(Unknown Source)
    at org.apache.xbean.asm5.ClassReader.<init>(Unknown Source)
    at org.apache.spark.util.ClosureCleaner$.getClassReader(ClosureCleaner.scala:46)
    at org.apache.spark.util.FieldAccessFinder$$anon$3$$anonfun$visitMethodInsn$2.apply(ClosureCleaner.scala:449)
    at org.apache.spark.util.FieldAccessFinder$$anon$3$$anonfun$visitMethodInsn$2.apply(ClosureCleaner.scala:432)
    at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733)
    at scala.collection.mutable.HashMap$$anon$1$$anonfun$foreach$2.apply(HashMap.scala:103)
    at scala.collection.mutable.HashMap$$anon$1$$anonfun$foreach$2.apply(HashMap.scala:103)
    at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:230)
    at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40)
    at scala.collection.mutable.HashMap$$anon$1.foreach(HashMap.scala:103)
    at scala.collection.TraversableLike$WithFilter.foreach(TraversableLike.scala:732)
    at org.apache.spark.util.FieldAccessFinder$$anon$3.visitMethodInsn(ClosureCleaner.scala:432)
    at org.apache.xbean.asm5.ClassReader.a(Unknown Source)
    at org.apache.xbean.asm5.ClassReader.b(Unknown Source)
    at org.apache.xbean.asm5.ClassReader.accept(Unknown Source)
    at org.apache.xbean.asm5.ClassReader.accept(Unknown Source)
    at org.apache.spark.util.ClosureCleaner$$anonfun$org$apache$spark$util$ClosureCleaner$$clean$14.apply(ClosureCleaner.scala:262)
    at org.apache.spark.util.ClosureCleaner$$anonfun$org$apache$spark$util$ClosureCleaner$$clean$14.apply(ClosureCleaner.scala:261)
    at scala.collection.immutable.List.foreach(List.scala:381)
    at org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner$$clean(ClosureCleaner.scala:261)
    at org.apache.spark.util.ClosureCleaner$.clean(ClosureCleaner.scala:159)
    at org.apache.spark.SparkContext.clean(SparkContext.scala:2292)
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:2066)
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:2092)
    at org.apache.spark.rdd.RDD$$anonfun$collect$1.apply(RDD.scala:939)
    at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)
    at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)
    at org.apache.spark.rdd.RDD.withScope(RDD.scala:363)
    at org.apache.spark.rdd.RDD.collect(RDD.scala:938)
    at org.apache.spark.sql.execution.SparkPlan.executeCollect(SparkPlan.scala:297)
    at org.apache.spark.sql.Dataset$$anonfun$count$1.apply(Dataset.scala:2770)
    at org.apache.spark.sql.Dataset$$anonfun$count$1.apply(Dataset.scala:2769)
    at org.apache.spark.sql.Dataset$$anonfun$52.apply(Dataset.scala:3253)
    at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:77)
    at org.apache.spark.sql.Dataset.withAction(Dataset.scala:3252)
    at org.apache.spark.sql.Dataset.count(Dataset.scala:2769)
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.base/java.lang.reflect.Method.invoke(Method.java:564)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:282)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.base/java.lang.Thread.run(Thread.java:844)


Process finished with exit code 1