Python MySQL CSV ส่งออกไปยังการเข้ารหัส json แปลก ๆ

ฉันได้ผลลัพธ์ที่ดีจริงๆ จากการใช้ pandas dataframe จาก Continuum Analytics

คุณสามารถทำสิ่งที่ชอบ:

import pandas as pd
from pandas import *

con='Your database connection credentials user, password, host, database to use'
data=pd.read_sql_query('SELECT * FROM YOUR TABLE',conn=con)

ถ้าอย่างนั้นคุณก็สามารถทำได้:

data.to_csv('path_with_file_name')

หรือแปลงเป็น JSON:

data.to_json(orient='records')

หรือหากคุณต้องการปรับแต่งรูปแบบ json ของคุณ โปรดดูเอกสารประกอบที่นี่: http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_json.html

คุณได้ลองใช้โมดูลตัวแปลงสัญญาณแล้วหรือยัง:

import codecs
....
codecs.EncodedFile(r, 'latin1').reader.read()

ฉันจำได้ว่าเคยมีปัญหาที่คล้ายกันมาระยะหนึ่งแล้ว และคำตอบคือเกี่ยวข้องกับวิธีการเข้ารหัสก่อน Python 3 ดูเหมือนว่า Codecs จะจัดการกับปัญหานี้ได้ค่อนข้างดี

ตามที่ผู้เขียนโค้ดกล่าวไว้ในความคิดเห็นของคำถาม เป็นการยากที่จะระบุปัญหาโดยไม่สามารถทำซ้ำได้ ดังนั้นฉันอาจจะเห่าต้นไม้ผิดต้น

คุณอาจมีปัญหาสองประการ แต่ขอถอยออกไปก่อน... เราไม่สามารถบอกได้ว่าข้อความนั้นนำเข้าไม่ถูกต้อง ส่งออกไม่ถูกต้อง หรือแสดงในลักษณะที่โง่เขลาเท่านั้น

ก่อนอื่นผมจะพูดถึง "การนำเข้า"...

อย่าพยายามแก้ไขการเข้ารหัส แทนที่จะอยู่กับการเข้ารหัส แต่ก่อนอื่น เรามาทำความเข้าใจก่อนว่าการเข้ารหัสคืออะไร อาจเป็น latin1 หรือ utf8 (หรือชุดอักขระที่มีแนวโน้มน้อยกว่าจำนวนมาก)

ค้นหาเลขฐานสิบหกของไฟล์ที่เข้ามา ใน Python โค้ดจะเป็นดังนี้สำหรับการทิ้งเลขฐานสิบหก (ฯลฯ) สำหรับสตริง u:

for i, c in enumerate(u):
    print i, '%04x' % ord(c), unicodedata.category(c),
    print unicodedata.name(c)

คุณสามารถไปที่นี่เพื่อดูรายการ ค่าเลขฐานสิบหกสำหรับอักขระ latin1 ทั้งหมด พร้อมด้วยเลขฐานสิบหก utf8 ตัวอย่างเช่น ó คือ latin1 F3 หรือ utf8 C2B3

ตอนนี้ เมื่อรู้การเข้ารหัสแล้ว บอก MySQL ได้เลย

LOAD DATA INFILE ...
    ...
    CHARACTER SET utf8  -- or latin1
    ...;

ในขณะเดียวกัน มันไม่สำคัญว่า CHARACTER SET ... ตาราง หรือ คอลัมน์ จะถูกกำหนดให้เป็นอะไร mysql จะแปลงรหัสหากจำเป็น ตัวอักษรภาษาสเปนทั้งหมดมีอยู่ใน latin1 และ utf8

ไปที่คำถามและคำตอบนี้< /em> .