我称这种bug是一个典型的“哈姆雷特”bug，就是指那种“报错情况相同但网上却会有各种五花缭乱解决办法”的bug，让我们不知道哪一个才是症结所在。
先看导入命令：
[root@host25 ~]# sqoop export --connect "jdbc:mysql://172.16.xxx.xxx:3306/dbname" --username=root --password=xxxxx --table rule_tag --update-key rule_code --update-mode allowinsert --export-dir /user/hive/warehouse/lmj_test.db/rule_tag --input-fields-terminated-by '\t' --input-null-string '\\N' --input-null-non-string '\\N' -m1
这个导入命令语法上其实是完全没问题的。
接下来是报错：
#截取部分 19/06/11 09:39:57 INFO mapreduce.Job: The url to track the job: http://dthost25:8088/proxy/application_1554176896418_0537/ 19/06/11 09:39:57 INFO mapreduce.Job: Running job: job_1554176896418_0537 19/06/11 09:40:05 INFO mapreduce.Job: Job job_1554176896418_0537 running in uber mode : false 19/06/11 09:40:05 INFO mapreduce.Job: map 0% reduce 0% 19/06/11 09:40:19 INFO mapreduce.Job: map 100% reduce 0% 19/06/11 09:45:34 INFO mapreduce.Job: Task Id : attempt_1554176896418_0537_m_000000_0, Status : FAILED AttemptID:attempt_1554176896418_0537_m_000000_0 Timed out after 300 secs 19/06/11 09:45:36 INFO mapreduce.Job: map 0% reduce 0% 19/06/11 09:45:48 INFO mapreduce.Job: map 100% reduce 0% 19/06/11 09:51:04 INFO mapreduce.Job: Task Id : attempt_1554176896418_0537_m_000000_1, Status : FAILED AttemptID:attempt_1554176896418_0537_m_000000_1 Timed out after 300 secs 19/06/11 09:51:05 INFO mapreduce.Job: map 0% reduce 0% 19/06/11 09:51:17 INFO mapreduce.Job: map 100% reduce 0% 19/06/11 09:56:34 INFO mapreduce.Job: Task Id : attempt_1554176896418_0537_m_000000_2, Status : FAILED AttemptID:attempt_1554176896418_0537_m_000000_2 Timed out after 300 secs 19/06/11 09:56:35 INFO mapreduce.Job: map 0% reduce 0% 19/06/11 09:56:48 INFO mapreduce.Job: map 100% reduce 0% 19/06/11 10:02:05 INFO mapreduce.Job: Job job_1554176896418_0537 failed with state FAILED due to: Task failed task_1554176896418_0537_m_000000 Job failed as tasks failed. failedMaps:1 failedReduces:0 19/06/11 10:02:05 INFO mapreduce.Job: Counters: 9 Job Counters Failed map tasks=4 Launched map tasks=4 Other local map tasks=3 Data-local map tasks=1 Total time spent by all maps in occupied slots (ms)=2624852 Total time spent by all reduces in occupied slots (ms)=0 Total time spent by all map tasks (ms)=1312426 Total vcore-seconds taken by all map tasks=1312426 Total megabyte-seconds taken by all map tasks=2687848448 19/06/11 10:02:05 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 19/06/11 10:02:05 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 1,333.3153 seconds (0 bytes/sec) 19/06/11 10:02:05 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 19/06/11 10:02:05 INFO mapreduce.ExportJobBase: Exported 0 records. 19/06/11 10:02:05 ERROR tool.ExportTool: Error during export: Export job failed! Time taken: 1340 s task IDE_TASK_ADE56470-B5A3-4303-EA75-44312FF8AA0C_20190611093945147 is complete.
可以看到，导入任务在INFO mapreduce.Job: map 100% reduce 0%时停住了，停了5分钟，然后任务自动重跑，又卡住停了5分钟，最后任务报了个超时的错误。
很显然，任务失败的直接原因是超时，但是超时的原因是因为导入过程的mapreduce任务卡住了，那mapreduce为什么会卡住呢？这个报错日志中并没有提到，这就是查原因时最麻烦的地方。
先说一下结果，最后查了很久才发现，是因为有一行的数据长度，超过了mysql设定的字段长度。也就是在往varchar(50)的字段里导入字符串“字符串很长很长很长很长很长很长很长很长很长”时，任务就阻塞住了。
在这里也跟大家汇总一下网上的各种原因，大家可以逐个检查
在map 100% reduce 0%时卡住的可能原因：(以往mysql导出为例)
1、长度溢出。导入的数据超过了mysql表的字段设定长度
解决办法：重设字段长度即可
2、编码错误。导入的数据不在mysql的编码字符集内
解决办法：其实在mysql数据库中对应UTF-8字符集的不是utf8编码，而是utf8mb4编码。所以当你的导入数据里有若如Emoji表情或者一些生僻汉字时，就会导不进去造成阻塞卡住。所以你需要注意两点：
(1)导入语句中限定useUnicode=true&characterEncoding=utf-8，表示以utf-8的格式导出；
(2)mysql建表语句中有ENGINE=InnoDB DEFAULT CHARSET=utf8mb4；
3、内存不足。导入数据量可能过大，或者分配内存太少
解决办法：要么分批导入，要么给任务分配更多内存
4、主机名错误。
解决办法：这个好像是涉及到主机名的配置问题
5、主键重复 。
解决办法：这是因为你导入的数据中有重复的主键值，要针对性处理一下数据
补充：sqoop从数据库到处数据到hdfs时mapreduce卡住不动解决
在sqoop时从数据库中导出数据时，出现mapreduce卡住的情况
经过百度之后好像是要设置yarn里面关于内存和虚拟内存的配置项．我以前没配置这几项，也能正常运行。但是这次好像运行的比较大。出现此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求。
解决方案如下：
在yarn-site.xml中加入如下配置：
<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>2.1</value> </property>
关闭yarn重启就好了！！！
以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。